《大模型实战指南》—— 面向软件开发者的系统性入门5

第五章 高效推理：量化、批处理与推理引擎

“一个未经优化的大模型，就像一辆没装涡轮的超跑 —— 潜力巨大，但油耗惊人。”

—— 本书作者 _abab

5.1 为什么需要推理优化？—— 从成本与体验双视角

大模型推理的核心矛盾是“性能需求” 与 “资源成本” 的平衡。以 Qwen-7B 为例（FP16 精度，无任何优化）：

• 模型存储：≈14 GB（FP16 权重，每个参数 2 字节）
• 显存占用：≈22 GB（含模型权重 + KV Cache + 中间计算张量，8K 上下文）
• 生成速度：≈10 token/s（单请求，A100 80G）
• 并发能力：≈5~8 个请求 / 秒（A100 80G，无批处理）
• 成本估算：A100 小时租金 ≈5 美元，支持 100 并发需 12~15 张 A100，日成本 ≈1440 美元

而经过量化 + 推理引擎 + 批处理 三重优化后：