Doris Broker Load导入数据的流程是怎样的?

提问者:帅平 问题分类:面试刷题
Doris Broker Load导入数据的流程是怎样的?
2 个回答
离不开天空的云
离不开天空的云
BrokerLoad导入数据的流程如下:
1、用户在客户端创建broker load任务。
2、FE在接收到用户的创建请求后,会根据请求导入的源文件的数据量和文件数量以及BE的数量生成PLAN,并将plan分发到多个be节点上,每个be会负责一定数据量的导入任务。
3、对应的be在接收到导入任务时,会通过broker进程,去远端存储上拉去相应的数据到对应的be上。
4、所有的数据拉去结束后,由FE判断导入任务是否成功,并返回最终结果给用户
流程图如下:
发布于:1个月前 (02-08) IP属地:四川省
一闪一闪亮晶晶べ
一闪一闪亮晶晶べ
注意事项:
1、最好是每个BE的节点上创建一个broker进程,同时broker进程的名称保持一致,用户在发起导入任务的时候,可以尽可能的保证所有的broker进程和对应的BE节点参与到导入任务中来,最大化的提高导入性能。
2、源文件不建议是数量较多的碎片化小文件,同时也不建议是数据量比较大的数量较少的文件个数,可以酌情把小文件合并或者大文件拆分成数量为BE倍数的个数,单个文件大概在数十GB大小的文件。
发布于:1个月前 (02-08) IP属地:四川省
我来回答