Doris Stream Load执行流程是什么?

提问者:帅平 问题分类:面试刷题
Doris Stream Load执行流程是什么?
1 个回答
披起头发是娇弱
披起头发是娇弱
Stream Load具体执行流程如下:
1、用户提交Stream Load的Http请求到FE,FE対Http的Header解析(其中包括解析数据导入的库、表、Label等信息),然后进行用户鉴权。如果Http的Header解析成功并且用户鉴权通过,FE会将Stream Load的Http请求转发到一台BE节点,该BE节点将作为本次Stream Load的Coordinator;否则,FE会直接向用户返回Stream Load的失败信息。
2、Coordinator BE接收到Stream Load的Http请求后,会首先进行Http的Header解析和数据校验,其中包括解析数据的文件格式、数据body的大小、Http超时时间、进行用户鉴权等。如果Header数据校验失败,会直接向用户返回Stream Load的失败信息。
3、当上述数据校验都通过后,FE会生成任务生成导入计划,并且开启事务向Coordinator BE进行导数,Coordinator BE接受到数据之后会通过BRPC同步至Executor  BE,当Executor BE完成数据导入后,Coordinator BE通过Thrift RPC 向FE发送Commit Transaction的请求。
4、FE收到Coordinator BE发送的Commit Transaction的请求之后,会对事务进行提交, 并向Executor BE发送 Publish Version的任务,如果Executor BE正常完成FE返回Commit Transaction,如果执行超时,FE返回Publish Version,最终由Coordinator BE向用户返回Stream Load的最终结果。
发布于:1个月前 (02-06) IP属地:四川省
我来回答