全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言人工智能

Doris Broker Load导入数据的流程是怎样的？

提问者：帅平问题分类：面试刷题

Doris面试题 Doris

发布于：1个月前 (02-08) IP属地：四川省

2 个回答

离不开天空的云

BrokerLoad导入数据的流程如下：

1、用户在客户端创建broker load任务。
2、FE在接收到用户的创建请求后，会根据请求导入的源文件的数据量和文件数量以及BE的数量生成PLAN，并将plan分发到多个be节点上，每个be会负责一定数据量的导入任务。
3、对应的be在接收到导入任务时，会通过broker进程，去远端存储上拉去相应的数据到对应的be上。
4、所有的数据拉去结束后，由FE判断导入任务是否成功，并返回最终结果给用户

流程图如下：

发布于：1个月前 (02-08) IP属地：四川省

一闪一闪亮晶晶べ

注意事项：

1、最好是每个BE的节点上创建一个broker进程，同时broker进程的名称保持一致，用户在发起导入任务的时候，可以尽可能的保证所有的broker进程和对应的BE节点参与到导入任务中来，最大化的提高导入性能。
2、源文件不建议是数量较多的碎片化小文件，同时也不建议是数据量比较大的数量较少的文件个数，可以酌情把小文件合并或者大文件拆分成数量为BE倍数的个数，单个文件大概在数十GB大小的文件。

发布于：1个月前 (02-08) IP属地：四川省

我来回答