当前位置: 首页 > news >正文

flink执行图 - 教程

Flink执行图是描述作业从逻辑拓扑到物理部署的转换过程的核心数据结构,分为四层结构:

执行图分层结构

  1. StreamGraph(逻辑流图)
    根据用户通过DataStream API编写的代码生成的最初DAG图,表示程序的拓扑结构,通常在客户端完毕。

  2. JobGraph(作业图)
    StreamGraph经过优化后生成,提交给JobManager的数据结构。主要优化包括将符合条件的节点合并为算子链(Operator Chains),减少数据交换开销。

  3. ExecutionGraph(执行图)
    JobManager将JobGraph并行化后生成的核心调度结构,包含所有任务的并行实例、中间信息集及依赖关系。此阶段会为每个Task分配并行度,生成对应的ExecutionVertex。

  4. 物理执行图
    由TaskManager根据ExecutionGraph部署Task后形成的实际运行结构,并非具体数据结构,而是物理任务实例的拓扑关系。

关键优化机制

运行时组件协作

JobManager负责将JobGraph转换为ExecutionGraph并调度任务,TaskManager通过Slot资源执行具体Task,最终形成物理执行图

http://www.jsqmd.com/news/7724/

相关文章:

  • 深入解析:华为Pura 80芯片细节曝光,预示着华为多款新品即将震撼登场!
  • 应用拓扑讲义整理 Chapter 6. 单纯复形(Simplicial Complexes)
  • 完整教程:华为麒麟9010、9020、9030、9040系列芯片的性能参数及其与高通芯片的对比
  • AQS(ReentrantLock)源码浅析
  • 完整教程:【数据结构】快速排序与归并排序的实现
  • 05. 事件处理
  • 总结问题2 软工10.3
  • BPL包无法调试的问题
  • 信息科学与数据分析:真正的区别是什么?
  • awk命令一文速通
  • 小程序开发:开启定制化custom-tab-bar但不生效疑问,以及使用NutUI-React Taro的安装和使用
  • 最短路练习
  • 杂题,为什么博客的标题必须互异
  • 学习笔记:压位高精
  • 吉司机 + 历史和练习
  • 探索3D空间的视觉基础模型系列 - 指南
  • 近期杂题,怎么重名了
  • vp 记录 edu 181
  • 状压 DP
  • 近期杂题
  • 学习笔记:分拆数与 Ferrers 图
  • DDP 与全局平衡二叉树
  • 并查集 D. Shark [Codeforces Round 484(Div. 2)]
  • 实用指南:Spark核心技术解析:从RDD到Dataset的演进与实践
  • 随笔0
  • 加密算法基本原理、特点及采用场景
  • Hackersdaddy ROUGE CTF 2025 完整解题记录
  • 学习comfyui
  • 完整教程:uniapp 日历组件 uni-datetime-picker
  • 实用指南:精读C++20设计模式:行为型设计模式:中介者模式