【Flink学习】(五)Flink 并行度与任务链,任务运行核心原理
本文主要整理Flink 底层任务运行机制,学会合理设置并行度,初步具备任务调优思维。
一、并行度概念
并行度代表 Flink 任务运行的线程数量,决定任务处理速度,分为全局并行度、算子并行度、客户端并行度。
二、并行度设置
分为三种方式
1、代码中设置全局并行度
2、单独为某个算子设置并行度
3、提交任务时动态指定并行度
三、Flink 任务执行流程
客户端提交任务 → 生成执行图 → 拆分算子任务 → 分配资源并行执行
四、任务链机制
1、什么是任务链
连续无分区算子合并为一个任务执行,提升执行效率
2、开启 / 关闭任务链方法
3、任务链使用场景与优化技巧
五、并行度生产调优规则
并行度与 Kafka 分区匹配规则,避免数据倾斜、消费拥堵等基础问题。
