10.3 服务优化：连续批处理、动态批处理、负载均衡实战
服务优化：连续批处理、动态批处理、负载均衡实战
提升吞吐、降低延迟，生产级推理服务优化。本节基于《AI工程》第9章「Inference Optimization」— Inference Service Optimization：连续批处理、动态批处理、并行推理、KV 缓存管理、提示缓存、负载均衡。
一、批处理策略
Chip Huyen 在《AI工程》第9章将服务优化列为推理优化的两大方向之一（另一为模型优化）。服务优化关注如何在给定模型下，通过批处理、缓存、负载均衡等手段，提升吞吐、降低延迟。本节系统展开书中提出的服务优化技术。
1.1 静态批处理
- 固定 batch size
- 请求需凑齐或填充
- 实现简单，利用率可能不高
1.2 动态批处理
- batch size 可变
- 根据排队请求数量调整
- 提高利用率
1.3 连续批处理
《AI工程》强调，**连续批处理（Continuous Batching）**是服务优化的重要技术。请求可随时加入、完成即退出，减少等待时间。vLLM、TGI 等推理框架已支持。