Doris Routine Load导入数据的流程是怎样的?

提问者:帅平 问题分类:面试刷题
Doris Routine Load导入数据的流程是怎样的?
2 个回答
你是我此生最美的风景
你是我此生最美的风景
Routine Load导入数据的流程如下:
1、用户通过客户端发起创建routine load任务的请求
2、FE在收到请求后,会将请求任务通过Job Scheduler将任务超分为不同的task,每个task会负责不同数据的导入工作。
3、拆分的每个task会被Task Scheduler调度到不同的BE节点上
4、位于每个BE节点task任务会按照预先定义好的消费逻辑,完成数据的攒批然后调用stream load任务,完成对应批次数据的导入。
流程图如下:
发布于:1个月前 (02-08) IP属地:四川省
旧梦难醒
旧梦难醒
注意事项:
1、本质上还是调用的stream load任务,我们需要注意攒批的频次的设置,不能太过于频繁的去调用,避免未合并的版本数超限。
2、routine load任务的消费频次可以根据上有的数据量变化做一个设定。根据消息的峰值变化速率来设定不同任务的消费频次。
3、过多的routine load任务会占用一定的硬件资源,会导致查询性能的下降。(进程常驻)
发布于:1个月前 (02-08) IP属地:四川省
我来回答