大模型中量化是什么

大模型量化，简单来说，就是用更少比特的整数（如 INT8、INT4）来近似表示模型中的高精度浮点数（如 FP32、FP16）。

这是一种在不显著损害模型效果的前提下，大幅压缩模型、加速推理的核心技术。

🎯 为何需要量化？

大语言模型动辄数十亿甚至上千亿的参数，使用 FP32 格式存储，对显存和算力的要求极高。量化技术正是为了解决这一痛点：

• 降低显存/内存占用：模型体积可缩小 2-8 倍。
• 提升推理速度：低精度运算在支持它的硬件上（如 GPU TensorCore）速度更快。
• 减少能耗与成本：更低的算力和带宽需求，意味着更低的功耗和硬件成本。

例如，一个 BF16 格式的 320 亿参数模型，大小约 64GB；而使用 AWQ 等 4-bit 量化方案后，文件可压缩至约 20GB，从而能在单张 24GB 显存的显卡上运行。

⚙️ 量化如何工作？

量化的本质是一个数学映射过程，将浮点数x_f转换为低精度整数x_q：

1. 确定映射范围：分析原始浮点数的最大值和最小值，确定一个合理的量化区间。
2. 计算缩放与偏移：通过线性映射公式，将浮点数区间“