全部面试刷题微服务数据库消息队列搜索引擎大数据运维 go语言机器学习

Flink如何定位数据倾斜的问题？

提问者：帅平问题分类：面试刷题

Flink如何定位数据倾斜的问题？

Flink

发布于：6个月前 (11-20) IP属地：四川省

1 个回答

吹南风

1、定位反压

Flink Web UI 自带的反压监控（直接方式）、Flink Task Metrics（间接方式）。通过监控反压的信息，可以获取到数据处理瓶颈的 Subtask。

2、确定数据倾斜

Flink Web UI 自带Subtask 接收和发送的数据量。当 Subtasks 之间处理的数据量有较大的差距，则该 Subtask 出现数据倾斜。

发布于：6个月前 (11-20) IP属地：四川省

我来回答