系统部署性能调优：延迟、吞吐和显存不能只选一个
系统部署性能调优：延迟、吞吐和显存不能只选一个
一、推理性能要按场景定义
深度学习模型部署时，性能调优通常围绕三个指标：延迟、吞吐和资源占用。在线服务希望单次请求延迟低，批处理任务希望吞吐高，边缘设备希望显存或内存占用低。这三个目标经常互相冲突，因此调优前必须明确场景。
推理链路包括请求解析、预处理、模型前向、后处理和结果返回。很多服务只优化模型前向，却忽略 tokenizer、图片解码、数据拷贝和 JSON 序列化。对于 NLP 模型，tokenizer 可能成为 CPU 瓶颈；对于 CV 模型，图像预处理可能占用大量时间。端到端延迟比单纯模型耗时更有意义。
二、端到端链路：预处理和后处理也要计时
flowchart LR A[请求进入] --> B[预处理] B --> C[Batch 合并] C --> D[模型推理] D --> E[后处理] E --> F[结果返回]动态 batch 是提高吞吐的常用方法。服务在短时间窗口内聚合多个请求，一次送入模型推理。这样可以提升 GPU 利用率，但会增加排队延迟。实时接口的 batch 等待时间不能太长，否则 P99 会明显变差。调优时应同时报告 batch size、队列等待、模型耗时和总延迟。
三、推理计时实践：拆分阶段才能定位瓶颈
下面是一个简化的推理计时示例，用于拆分各阶段耗时。生产环境中应写入指标系统，而不是只打印日志。
import time def infer(request, tokenizer, model): t0 = time.perf_counter() inputs = tokenizer(request["text"], return_tensors="pt", truncation=True) t1 = time.perf_counter() try: outputs = model(**inputs) except RuntimeError as exc: return {"status": "error", "reason": str(exc)} t2 = time.perf_counter() result = outputs.logits.argmax(dim=-1).tolist() t3 = time.perf_counter() return { "status": "ok", "result": result, "cost": { "preprocess_ms": (t1 - t0) * 1000, "model_ms": (t2 - t1) * 1000, "postprocess_ms": (t3 - t2) * 1000, }, }四、优化取舍：量化、引擎和 batch 都要回归评测
量化、蒸馏、ONNX 导出、TensorRT 编译都可以提升推理效率，但它们需要验证精度损失。尤其是分类边界接近的任务，int8 量化可能导致少数样本翻转。性能优化必须保留回归测试集，记录优化前后的指标差异。
显存管理也不能忽略。模型权重、KV cache、batch 输入和中间激活都会占显存。对于生成式模型，序列长度增加会显著抬高缓存开销。调大 batch 提升吞吐的同时，可能让显存接近上限，导致偶发 OOM。
生产落地补充：从能跑到可维护
从生产落地角度看，这类方案不能只停留在主流程。更关键的是把输入校验、失败分支、资源上限和回滚路径提前写清楚。主流程通常容易在演示环境里跑通，真正暴露问题的是异常输入、依赖抖动、并发放大和权限边界。一篇技术方案如果没有解释这些约束，读者很难判断它能否放进真实系统。
评估时建议先定义三类指标：正确性指标、稳定性指标和成本指标。正确性指标回答结果是否可信，稳定性指标回答失败时是否可控，成本指标回答持续运行是否划算。三类指标要同时进入验收清单，不能只用平均耗时或单次成功率证明方案有效。
实现层面还需要把观测数据留出来。日志至少包含请求标识、关键参数摘要、耗时、状态和错误类型；指标至少覆盖成功率、超时率、重试次数和队列长度；必要时再补 Trace 关联上下游调用。这样排查问题时不用靠猜，也能区分是代码逻辑、外部依赖还是容量配置导致的故障。
测试策略也要覆盖边界条件。除了正常样例，还要准备空输入、超大输入、重复请求、依赖超时、权限不足和部分成功等用例。涉及并发时，应补充压力测试和资源泄漏检查；涉及数据处理时，应补充幂等校验和结果一致性校验。测试不是装饰，而是保证后续重构仍然可信的依据。
上线节奏最好采用灰度方式。先在低风险流量中验证关键指标，再逐步扩大范围，并保留快速关闭开关。若新方案会改变用户数据、执行外部动作或影响计费链路，就要增加人工确认、审计记录和回滚脚本。这样即使出现偏差，也能把影响限制在可接受范围内。
五、总结
模型部署性能调优要端到端观察延迟、吞吐和资源占用。动态 batch、量化和推理引擎优化都有价值，但必须结合真实场景、P99 延迟和精度回归一起评估。