Flink如何定位数据倾斜的问题?

提问者:帅平 问题分类:面试刷题
Flink如何定位数据倾斜的问题?

 您阅读本篇文章共花了: 

1 个回答
吹南风
吹南风
1、定位反压
Flink Web UI 自带的反压监控(直接方式)、Flink Task Metrics(间接方式)。通过监控反压的信息,可以获取到数据处理瓶颈的 Subtask。

2、确定数据倾斜
Flink Web UI 自带Subtask 接收和发送的数据量。当 Subtasks 之间处理的数据量有较大的差距,则该 Subtask 出现数据倾斜。
发布于:5个月前 (11-20) IP属地:四川省
我来回答