大模型为什么要量化？量化有哪些技术

🎯 为何需要量化？

量化旨在将模型中的高精度浮点数（如 FP32）转换为低精度数值（如 INT8、INT4），以在模型效果损失可控的前提下，实现显著优化。其核心优势包括：

• 大幅压缩模型体积与显存占用
  模型体积与位宽成正比。以 LLaMA 13B 模型为例，不同精度的显存占用差异巨大：

  • FP32：约 52 GB
  • FP16：约 26 GB
  • INT8：约 13 GB
  • INT4：约 6.5 GB
    从 FP32 降至 INT8 或 INT4，模型体积可缩小 2-8 倍，使得在单张 24GB 显卡上运行大型模型成为可能。

• 显著提升推理速度
  低精度整数运算（尤其是 INT8）在现代硬件（如 GPU TensorCore、CPU VNNI 指令集）上拥有更高的计算吞吐量和更低的延迟。例如，在 NVIDIA A100 上，INT8 推理速度通常是 FP16 的 2-4 倍，功耗也更低。

• 降低部署成本与能耗
  更小的模型意味着更低的存储、带宽和算力需求，直接降低了云服务器和边缘设备的运行成本与能耗，对电池供电设备（如手机、IoT）至关重要。

• 拓宽硬件部署范围