FlinkSQL中有哪些常见的性能调优参数?

提问者:帅平 问题分类:大数据
FlinkSQL中有哪些常见的性能调优参数?
3 个回答
绿水长流
绿水长流
Checkpoint配置
#流作业通常设为1~5分钟,批作业可关闭Checkpoint。
SET 'execution.checkpointing.interval' = '1min';
#配置Checkpoint超时时间,避免长时间阻塞
SET 'execution.checkpointing.timeout' = '10min';
发布于:2周前 (05-29) IP属地:
冷心丿玫瑰
冷心丿玫瑰
并行度相关的配置
#根据CPU核心数和任务类型设置(如CPU密集型设为物理核数,IO密集型可适当增加)
SET 'parallelism.default' = '8';  -- 8线程并行
#针对特定算子(如窗口聚合、JOIN)单独设置并行度。
SELECT ..., COUNT(*) 
FROM table 
GROUP BY key 
-- 通过注释指定并行度
/*+ PARALLEL(16) */
发布于:2周前 (05-29) IP属地:
帅的很低调
帅的很低调
TaskManager配置:
#根据物理机内存和作业规模调整,通常占总内存的70%~80%。
taskmanager.memory.process.size: 4g  # 4GB总内存
#控制JVM堆内存大小,避免频繁GC
env.java.opts: "-Xmx3072m -Xms3072m"  # 堆内存3GB
发布于:2周前 (05-29) IP属地:
我来回答