大模型---量化

目录

1.对称量化与非对称量化

2.量化的粒度

3.量化的对象

4.PTQ和QAT（什么时候量化）

5.静态量化与动态量化（量化参数什么时候确定）

6.常见的模型格式

量化，本质上就是把模型里原本高精度的数值表示，换成更低精度的表示。最典型的是把FP32、FP16这类浮点数，改成INT8、INT4之类更省空间的形式。这样做的核心目标是降低显存/内存占用、加快推理，并且降低部署成本。具体来说，FP32每个参数4字节，FP16/BF16每个参数2字节
INT8每个参数1字节，INT4每个参数0.5字节，对于同一个模型，如果只看权重存储，从FP16到INT8，大约能再省一半；从FP16到INT4，大约能省到四分之一。

量化本质上是在建立浮点数到整数的映射，原来权重是连续实数，比如：0.137、-0.824、1.562、0.004 ...，量化以后，要把它们映射到有限个整数格子里，比如8位整数只有256个取值。

我们可以将原来模型看作“高清原图”，量化后则是“高压缩图片”，目标就是尽量少损失效果，换来更低的内存占用。

补充：weight packing（权重打包），它涉及将多个权重参数合并或“打包”成一个量化单元，以减少模型的内存占用和提高计算效率。其用于量化后的高效存和读，比如4bit权重，一个权重只占半个字节。那两个4bit权重就可以塞进1个字节里。这就是最简单的packing。工程实现里会按块、按组、按硬件友好的内存布局打包，以便更快加载/访存，以及更高效地调用kernel。

1.对称量化与非对称量化

对称量化要求”零点对应零”，量化范围以0为中心对称。非对称量化则还需要学习零点zero-point，其实也就是在对称量化的基础上，给整数坐标平移了一下原点，让整数空间里的某个整数z，去对应实数空间中的0，非对称量化更适合分布不对称的数据。

量化的公式：

（1）量化：

，

其中q为量化后的整数，x为原始浮点数，s(scale)为缩放因子，round表示四舍五入，z(zero-point)为零点，,：整数范围上下界，clip表示截断到合法范围内

（2）反量化：

其中为反量化后的近似值

可简单记忆为：量化=先除以 scale，再加zero-point