Doris使用stream load 导入数据非常慢怎么排查?

提问者:帅平 问题分类:数据库
Doris使用stream load 导入数据非常慢怎么排查?按照官方文档stream load 导入效率应该是最高的啊
1 个回答
披起头发是娇弱
披起头发是娇弱
stream load导入速度慢的排查方向有:
1、监控搜集 BE 的 CPU、内存、IO 等资源使用情况,确保资源充足。
2、根据 Load ID 和 Txn ID 在 BE.INFO 日志中搜索慢请求,重点查看进行输送的 Coordinator BE (即 Stream Load 发送的那个 BE)。
3、检查客户端到 BE 的网络连通情况,如实时 ping 延迟和网络带宽。
4、客户端如何向 BE 发送数据,如果发送过程之序自身就慢,导致 Stream Load 总时间为长。
5、检查是否触发了内存下刷,可以通过搜索 BE.INFO 中的 reducing 日志确认。
6、导入对应的并发数是否过高,如果并发数超过 HTTP Server 线程数 (默认为 48),就可能导致接收客户端数据慢。
7、确认是否导入 Mow 表,因 Mow 表需要计算 delete bitmap,并分析计算时间。
8、可以看看sync_tablet_meta 参数的状态(sync_tablet_meta 设置为false的话, BE 元数据rocksdb之前就没有sync,断电可能会出现丢数据情况。设置为true的话,在hdd上 sync操作会比较费
发布于:4个月前 (01-14) IP属地:四川省
我来回答