042、Workflow 工作流编排:pipeline vs parallel 的选择、Barrier 机制与性能对比
042、Workflow 工作流编排:pipeline vs parallel 的选择、Barrier 机制与性能对比
上周五凌晨两点,我盯着Claude Code的日志输出发呆。一个本该在15分钟内跑完的模型训练pipeline,硬生生拖了47分钟。更诡异的是,同样的workflow配置,上周三还跑得飞快。排查到最后,发现是三个数据预处理步骤被错误地串行化了——它们明明可以并行执行,却因为我在workflow定义里少写了一个parallel关键字,导致GPU在大部分时间里都在空转等数据。
这种问题在Claude Code的workflow编排中太容易踩坑了。今天就把pipeline和parallel的选择逻辑、Barrier机制的坑,以及性能对比的真实数据,一次性说清楚。
Pipeline:你以为的“顺序执行”其实没那么简单
Pipeline是最直观的编排模式——步骤A做完,再做步骤B,再做步骤C。但Claude Code的pipeline实现里藏着一个容易被忽略的细节:每个step的输入输出是严格类型检查的。
# 别这样写,会踩坑steps