当前位置: 首页 > news >正文

Flink 术语通关手册:彻底搞懂 Flink 所有名词

一、核心运行架构类

1、Flink 整体核心架构(标准集群部署)

四大核心组件:

1、Client 客户端: 提交 Job, 解析 JobGraph,上传 Jar、配置,连接 JobManager

2、JobManager(JM,主节点)

  • JobMaster: 单个 Job 的管理者,生成 ExecutionGraph、调度 Task、协调 Checkpoint、故障恢复
  • ResourceManager (RM):向 Yarn/K8s/Standalone 申请 TaskManager 资源,管理 Slot 池
  • Dispatcher:接收客户端 Job 提交,启动对应 JobMaster,提供 Rest 接口

3、TaskManager(TM,工作节点)

  • 真正执行计算任务的进程,一台机器可启多个 TM
  • 内部划分Slot(任务槽):TM 的并发执行单元,Slot 数量 = 该 TM 最大并行度
  • 每个 Slot 拥有独立内存,多个 Task 线程在 Slot 内运行

4、Resource Provider:资源层(Standalone/Yarn/K8s/Mesos),提供容器 / 机器资源

负责 Flink 集群整体结构、进程、资源、部署模式包含名词:


2、 Job、JobGraph、ExecutionGraph、Task、SubTask 关系

1、Job:用户编写的完整数据流程序(一条业务任务)

2、JobGraph:Client 将代码编译后的逻辑 DAG,节点 = 算子(Operator),边 = 数据流,无并行度拆分

3、ExecutionGraph:JobMaster 拆分 JobGraph 得到物理执行图

  • 每个算子根据并行度拆分成多个SubTask(子任务)
  • SubTask 是最小调度执行单元,一个并行度对应一个 SubTask

4、Task:Flink 调度最小单元,一组链式算子的 SubTask 打包成一个 Task(算子链 Operator Chain 优化)

  • 同一 Slot 内只能运行同一个 Job 的 Task
  • 算子链内所有 SubTask 共享一个线程,减少数据序列化 / 网络开销

3、10 道分层自测题

题目1、Flink 集群中负责申请机器资源、管理 TaskManager 槽位池的组件是?(C)
A. Dispatcher
B. JobMaster
C. ResourceManager
D. Client

题目2、请简述 Client、JobManager、TaskManager 三者在 Job 提交到运行全过程的分工。

答案:  

1、Client:解析代码生成 JobGraph,上传任务 Jar 包,向 Dispatcher 提交 Job;

2、JobManager:Dispatcher 接收任务,启动 JobMaster;RM 向资源框架申请 TM 资源;JobMaster 生成 ExecutionGraph、拆分 SubTask、调度 Task、管理 Checkpoint 与故障恢复;

3、TaskManager:启动 Slot,接收分配的 Task,在线程中执行算子 SubTask,完成数据计算、状态存储、网络数据传输。

题目 3、“一个 TaskManager 的 Slot 数量决定了该 TaskManager 最多能同时执行多少个 SubTask”,这句话是否正确?说明理由。

错误 !  Slot 限制的是Task 数量,不是 SubTask;一个 Task 内部可包含多个链式算子的 SubTask,单个 Slot 能承载多个 SubTask,仅限制同时运行 1 个 Task。

题目 4、JobGraph 和 ExecutionGraph 的核心区别是什么,分别由哪个组件生成?

答案:

1、JobGraph:逻辑执行图,Client 生成,只定义算子 DAG,不拆分并行子任务;

2、ExecutionGraph:物理执行图,JobMaster 生成,根据并行度拆分为多个 SubTask,划分 Task,用于实际调度。

题目 5、什么是算子链(Operator Chain)?哪些操作会打断算子链?算子链对 Task、Slot 分布有什么影响?

算子链:将上下游无 shuffle 的算子合并为同一个 Task,共享线程、减少网络 IO;

打断链操作:keyBy、rebalance、broadcast、partition 自定义重分区、设置 chain.disable;

http://www.jsqmd.com/news/1256990/

相关文章:

  • Umi-OCR:如何免费离线解决PDF文字无法复制的终极指南
  • AIGC不是风口,是操作系统级变革:Gartner预测2025年73%企业将重构IT栈,你准备好了吗?
  • Lifecycle 原理
  • 2026平湖口碑好的黄金回收商家推荐|十年老店实测,本地市民信赖之选 - 微城市网络
  • 如何在浏览器中实现终极3D模型查看?Online3DViewer完整免费指南
  • PyTorch强化学习实战——基于策略梯度法解决Pong环境
  • FigmaCN终极指南:3分钟让Figma界面全中文化,设计师效率提升50%
  • PM有效沟通与主动汇报-打造靠谱标签
  • 【Linux】七.进程概念篇一《操作系统核心概念一篇通:冯诺依曼体系、OS 设计与进程管理》
  • QMK Toolbox:如何5分钟完成机械键盘固件刷写?面向新手的完整教程
  • VLA-世界模型-TVA:具身智能的递归改进引擎(2)
  • 《天道》观后感——以悟道之心,破执念之困
  • 宁波装修装饰GEO服务商代理加盟选型哪家靠谱?2026年宁波GEO代理服务商本地推荐与合作路径解析 - 小随科技
  • 如何解决Android Studio语言障碍:中文语言包安装与配置完全指南
  • Umi-OCR:免费开源的离线文字识别完整指南,5分钟快速上手终极方案
  • Out-of-Distribution Detection with Positive and Negative Prompt Supervision Using Large Language ...
  • FigmaToCode:智能设计到代码的自动化转换引擎
  • 济南壹软网络科技有限公司加入山东省软件行业协会,推动企业规范化发展再上新台阶 - 壹软科技
  • GetQzonehistory终极指南:3步找回你丢失的QQ空间青春记忆
  • 2026平湖黄金回收正规商家推荐|实体门店实测,全程透明无套路 - 微城市网络
  • Android 7系统日志(八)定制安卓的日志系统
  • Claude Code 配置完全指南(一):.claude 目录结构全景解析
  • 3分钟掌握微信单向好友检测:WechatRealFriends让社交关系一目了然 [特殊字符]
  • KVM主题:qcow2快照链与写时复制原理深度解析
  • QiLinkOS:研发人员的专利避坑与审查答复助手(SDKV0.1)
  • Large Language Models and 3D Vision for Intelligent Robotic Perception and Autonomy
  • BetterNCM安装器终极指南:3分钟搞定网易云插件自动化部署
  • 我们在 Workbuddy 做了个 Skill,10 分钟摸透一个行业!
  • java第二天
  • 2026石家庄黄金回收摸底:长安新华裕华桥西高新区五家实体店实探,卖金不踩坑指南 - 人间烟火小记