全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Doris Routine Load导入数据的流程是怎样的？

提问者：帅平问题分类：面试刷题

Doris面试题 Doris

发布于：1个月前 (02-08) IP属地：四川省

2 个回答

你是我此生最美的风景

Routine Load导入数据的流程如下：

1、用户通过客户端发起创建routine load任务的请求
2、FE在收到请求后，会将请求任务通过Job Scheduler将任务超分为不同的task，每个task会负责不同数据的导入工作。
3、拆分的每个task会被Task Scheduler调度到不同的BE节点上
4、位于每个BE节点task任务会按照预先定义好的消费逻辑，完成数据的攒批然后调用stream load任务，完成对应批次数据的导入。

流程图如下：

发布于：1个月前 (02-08) IP属地：四川省

旧梦难醒

注意事项：

1、本质上还是调用的stream load任务，我们需要注意攒批的频次的设置，不能太过于频繁的去调用，避免未合并的版本数超限。
2、routine load任务的消费频次可以根据上有的数据量变化做一个设定。根据消息的峰值变化速率来设定不同任务的消费频次。
3、过多的routine load任务会占用一定的硬件资源，会导致查询性能的下降。（进程常驻）

发布于：1个月前 (02-08) IP属地：四川省

我来回答