ops-quant：INT8 量化推理在昇腾上的工程实践
大模型从 7B 到 70B，参数每增大 10 倍，一张卡就装不下了。FP16 下 LLaMA-70B 占 140GB——4 张 32GB 的卡才放下。换成 INT8 后参数占 70GB——2 张卡就够了。
ops-quant 是 CANN 管理量化算子的仓库——把 FP16 的模型参数和激活值量化为 INT8，精度损失可控但显存减半。
为什么大模型需要量化
量化是用更低精度（INT8、INT4）替代 FP16 做推理。FP16 每个参数占 2 bytes，INT8 每个占 1 byte。对于 100B 参数的模型：
- FP16：200GB → 需要 7 张 32GB 卡
- INT8：100GB → 需要 4 张 32GB 卡
卡数减半的实际意义：推理服务的成本减半，或者同样成本下单卡可支持的 Batch 扩大了。
INT8 量化原理
量化的核心公式：x_int8 = clamp(round(x_fp16 / scale) + zero_point, -128, 127)
scale：量化步长——FP16 范围除以 256zero_point：零点偏移——INT8 的零点对应 FP16 的零点clamp：截断到 INT8 范围
每个 Tensor 有自己的scale和zero_point。权重的量化参数在模型转换时通过 Calibration 确定——跑一批校准数据，统计每层权重的数值分布，选取最优的 scale。
昇腾NPU如何执行量化算子
ops-quant 的量化核在 Cube Unit 上直接执行 INT8 矩阵乘——Cube Unit 输入 INT8 数据，输出 INT32 累加结果，再做反量化回 FP16。
// INT8 GEMM Kernel（简化）// Cube Unit 输入 INT8，输出 INT32__cube__voidgemm_int8(int8_t*A,int8_t*B,int32_t*C,intM,intN,intK){// Cube Unit 的 INT8 矩阵乘cube_gemm_int8(A,B,C,M,N,K);// C 是 INT32 累加结果// 反量化：INT32 → FP16for(inti=0;i<M*N;i++){float16 value=(float16)(C[i])*weight_scale;C_fp16[i]=value;}}INT8 矩阵乘相比 FP16 的收益：
- Cube Unit 的 INT8 算力是 FP16 的 2 倍（INT8 的乘法更简单）
- 数据搬运量减半（1 byte vs 2 bytes）
- INT32 累加器避免了精度损失
量化前后性能对比
在 Ascend 910 上对 LLaMA-13B 的量化推理实测：
| 指标 | FP16 | INT8 W8A8 | 变化 |
|---|---|---|---|
| 模型大小 | 26GB | 13GB | -50% |
| KV Cache (n=4096) | 2.8GB | 1.4GB | -50% |
| 推理延迟 | 78ms | 82ms | +5% |
| 精度 (LAMBADA) | 72.3% | 71.8% | -0.5% |
INT8 的推理延迟略高（+5%），原因是反量化的额外计算——但显存直接减半。对于显存是瓶颈的部署场景，这 5% 的延迟代价完全值得。
量化误差分析
量化误差的主要来源：
权重量化误差。权重分布通常是正态的——大部分值集中在均值附近，少数绝对值很大的值是离群点。离群点会导致 scale 偏大，正常值的量化精度下降。W8A8 量化（权重和激活都是 INT8）在 LLaMA-13B 上的精度损失约 0.3-0.5%。
激活值量化误差。激活值的分布更复杂——LayerNorm 的输出集中在零附近，GELU 的输出有截断。ops-quant 支持每通道独立量化——不同通道用不同的 scale，减少分布差异带来的精度损失。
量化校准
ops-quant 的权重量化需要 Calibration 数据集——跑一小批代表性数据，统计每层权重的数值分布，找到最优的 scale。
Calibration 的流程：
- 用 FP16 模型跑 Calibration 数据
- 统计每层权重的 min/max/分布直方图
- 为每层选择量化 scale——通常选择 KL 散度最小化的 scale
- 用选定的 scale 量化权重
Calibration 数据的质量直接影响量化后的精度。如果 Calibration 数据不具代表性（比如只用了 10 条文本但上线后遇到了公式、代码等不同分布的文本），量化后的模型可能在未见过的输入上精度下降 1-2%。
W8A16 vs W8A8
ops-quant 支持两种量化模式：
- W8A16：权重 INT8，激活 FP16。显存减半，推理精度损失极小（<0.1%）
- W8A8：权重 INT8，激活 INT8。显存减半，Cube Unit 的 INT8 算力翻倍，但激活量化引入的误差更大（0.3-0.5%）
LLaMA 系列模型对 W8A8 的容忍度较高——Mixtral 等 MoE 模型对量化更敏感，建议用 W8A16。
参考仓库
ops-quant 量化算子库
ATC 量化转换流程