Doris Stream Load导入数据的流程是怎样的?

提问者:帅平 问题分类:面试刷题
Doris Stream Load导入数据的流程是怎样的?
2 个回答
候你多时
候你多时
Stream Load整体导入流程如下:
1、用户发起导入请求,该请求可以直接发往FE,由FE将请求转发给某个BE,由该BE充当协调者的角色,也可以由用户自己在导入请求时指定某个BE为协调者角色,发起导入请求。
2、协调者在收到导入请求后,会把数据分发到其他BE数据节点,当集群内一份数据有两个数据节点完成数据写入后,就标志着这次导入事务成功,剩余的一份数据会由剩下的节点从这两个副本中去同步数据。
3、导入数据成功后,协调者会将导入任务的状态返回给用户。
流程图如下:
发布于:1个月前 (02-08) IP属地:四川省
酷味有余
酷味有余
注意事项:
1、请求直接发往FE时,需要注意重定向的问题,可能会由于网络问题造成导入任务的失败。
2、通常不建议使用一个导入任务导入较大的数据文件(比如数十上百GB),这样的话,会容易造成导入失败重试的代价过大,其次针对这种情况可以对源文件做一个拆分,通过多个Stream Load任务并行的方式(手动指定不同的协调者BE),来提高Stream Load导入任务的导入性能。
发布于:1个月前 (02-08) IP属地:四川省
我来回答