GPTQ与AWQ的量化速度对比：不同模型规模下的量化时间与精度分析

GPTQ与AWQ的量化速度对比：不同模型规模下的量化时间与精度分析

一、两种后训练量化路线的设计哲学

GPTQ（GPT Quantization, Frantar et al., 2023）和AWQ（Activation-aware Weight Quantization, Lin et al., 2024）代表了当前大模型后训练量化的两条主流路线。两者都致力于将FP16的LLM权重量化为INT4，但采用了根本不同的优化策略。

GPTQ的核心理念是基于二阶信息的逐层最优量化：对每一层，通过最优脑外科手术（Optimal Brain Surgeon, OBS）框架求解在最小化输出误差前提下的量化权重。它使用Hessian矩阵的对角近似来评估每个权重的"重要性"，优先量化不重要的权重，并将量化误差通过重要性加权重新分配到未量化的权重上。

AWQ的核心理念是"保护显著通道"（Salient Channel Protection）：实验观察发现，权重矩阵中仅有约1%的通道包含了异常大的数值（salient channels），这些通道对模型输出有不成比例的影响。AWQ的策略不是给这些通道分配更高精度，而是在量化前对这些通道的权重进行等比例缩放（scaling），使它们在INT4范围内得到更好的表示，缩放因子在激活侧被对应的逆缩放补偿。

flowchart TB A[FP16 大模型] --> B{量化方法} B --> C[GPTQ] C --> C1["逐层量化<br/>基于OBS框架"] C --> C2["Hessian二阶信息<br/>量化误差补偿"] C --> C3["耗时: 中等<br/>LLaMA-7B约1小时"] B --> D[AWQ] D --> D1["识别显著通道<br/>(~1%的通道)"] D --> D2["等比例缩放<br/>保护关键信息"] D --> D3["耗时: 快<br/>LLaMA-7B约15分钟"] C1 --> E{精度对比} D1 --> E E --> F["同规模下精度相近<br/>(差距<0.5%)"] E --> G["速度: AWQ ≈ 4× GPTQ"]

二、GPTQ的OBS量化原理

GPTQ将权重量化建模为逐层的优化问题：对于第ℓ层，以最小化量化前后输出之间的平方误差为目标。关键数学推导基于最优脑外科医生（OBS）框架：

给定权重矩阵W（形状d_row × d_col），目标是通过量化将每个权重w_q约束到离散值集合Q中，同时最小化输出误差：

$$\min_{W_q} |WX - W_q X|F^2 \quad \text{s.t.} \quad (W_q){ij} \in Q$$

其中X是该校准数据的输入激活矩阵。使用Hessian矩阵H = 2XX^T，OBS框架给出每个权重的量化误差对总体loss的影响：

$$\delta w_i = -\frac{w_i - \text{quant}(w_i)}{[H^{-1}]{ii}} \cdot H^{-1}{:,i}$$

这意味着：H^{-1}的对角元素越小的权重，量化后对输出的影响越大（越重要），应当被量化得更保守。

import torch import torch.nn as nn from typing import List, Tuple, Optional import time def gptq_quantize_layer( weight: torch.Tensor, # (d_row, d_col) 权重矩阵 calibration_input: torch.Tensor, # (n_samples, d_col) 校准输入 bits: int = 4, group_size: int = 128, # 分组大小（组内共享量化参数） damp_percent: float = 0.01 # Hessian阻尼系数 ) -> Tuple[torch.Tensor, dict]: """GPTQ逐层量化的核心实现（简化版）。 算法流程： 1. 计算Hessian矩阵 H = 2*X*X^T / n_samples 2. 添加阻尼防止不可逆: H += damp * mean(diag(H)) * I 3. 按列（d_col维度）逐组处理 4. 对每组内的每个元素： a. 选择当前未量化权重中H^{-1}对角最小的 b. 将其量化为最近离散值 c. 将量化误差按H^{-1}分配到剩余未量化权重 Args: weight: 待量化的权重 (d_row, d_col) calibration_input: 校准激活输入 (n_samples, d_col) bits: 量化位宽 group_size: 组大小 damp_percent: Hessian对角阻尼的百分比 Returns: (量化后权重, 统计信息) """ dtype = weight.dtype d_row, d_col = weight.shape n_samples = calibration_input.shape[0] # Step 1: 计算Hessian = 2 * X^T * X（注意：论文中的H定义） # 实际实现中对H = 2XX^T，在d_row上进行OBS # 此处展示核心思路，简化了矩阵维度处理 X = calibration_input.to(dtype) # (n_samples, d_col) H = 2 * X.T @ X / n_samples # (d_col, d_col) # Step 2: 添加阻尼 damp = damp_percent * torch.mean(torch.diag(H)) H_diag_indices = torch.arange(d_col) H[H_diag_indices, H_diag_indices] += damp # 计算H的逆矩阵 H_inv = torch.linalg.inv(H) # Step 3: 量化参数设置 qmax = 2 ** (bits - 1) - 1 # 对称量化的最大值 Q = weight.clone() # 量化副本 quantized_weight = torch.zeros_like(weight) # Step 4: 逐组OBS量化（简化表示） num_groups = (d_row + group_size - 1) // group_size start_time = time.time() for g in range(num_groups): g_start = g * group_size g_end = min(g_start + group_size, d_row) # 当前组的权重 W_g = Q[g_start:g_end, :] # (group, d_col) # 对该组的每列独立处理 for j in range(d_col): # 列向量 w_col = W_g[:, j] # 计算量化参数 scale = w_col.abs().max() / qmax if scale > 0: w_q = torch.clamp( torch.round(w_col / scale), -qmax, qmax ) w_deq = w_q * scale else: w_deq = w_col quantized_weight[g_start:g_end, j] = w_deq # 量化误差 error = w_col - w_deq # 将误差分配到改行未量化的后续列 # 这是GPTQ的关键步骤——误差补偿 for k in range(j + 1, d_col): Q[g_start:g_end, k] += error * ( H_inv[j, k] / H_inv[j, j] ) elapsed = time.time() - start_time # 计算量化误差 mse = torch.mean((weight - quantized_weight) ** 2).item() return quantized_weight, { "mse": mse, "time_sec": elapsed, "bits": bits, "group_size": group_size }

三、AWQ的通道缩放策略

AWQ的洞察简洁而有力：权重矩阵中的异常大值集中在少数通道（约1%），这些通道主导了量化误差。解决方式不是保留这些通道的FP16精度（破坏硬件效率），而是通过等比例缩放让它们更适合INT4表示。

def awq_channel_scaling( weight: torch.Tensor, # (d_row, d_col) calibration_input: torch.Tensor, # (n_samples, d_col) alpha: float = 0.5, # 缩放强度搜索参数 n_grid: int = 20 # 搜索网格大小 ) -> Tuple[torch.Tensor, torch.Tensor]: """AWQ显著通道保护的核心算法。 步骤： 1. 计算每列（输出通道）的平均激活幅度 s_j = mean(|X[:, j]|) 2. 对s_j进行归一化和缩放 scale_j = s_j^α / max(s^α) 3. 应用缩放： W_scaled[:, j] = W[:, j] / scale_j X_scaled = X * scale_j（激活侧补偿） 4. 在缩放后的权重上执行标准INT4量化 α参数控制缩放强度： α=0 → 不做缩放（退化为标准量化） α=1 → 按激活幅度全缩放（最强保护） 最佳α通过网格搜索在验证集上确定 Args: weight: 权重矩阵 (d_row, d_col) calibration_input: 校准激活 (n_samples, d_col) alpha: 缩放强度 n_grid: 搜索网格数 Returns: (缩放后的权重, 通道缩放因子) """ # Step 1: 计算每个输出通道的平均激活幅度 # |X|.mean(dim=0) 给出每列的激活幅度 (d_col,) activation_magnitude = calibration_input.abs().mean(dim=0) # (d_col,) # Step 2: 计算缩放因子 s_j # s_j = avg_mag_j^α, 然后归一化 scaled_mag = activation_magnitude ** alpha max_mag = scaled_mag.max() if max_mag > 0: scale = scaled_mag / max_mag # (d_col,) 范围[0,1] else: scale = torch.ones_like(scaled_mag) # 确保最小缩放因子（避免极端情况） scale = torch.clamp(scale, min=0.1) # Step 3: 应用缩放 # W_scaled = W / scale (广播到每列) weight_scaled = weight / scale.unsqueeze(0) # (d_row, d_col) # 激活侧补偿：在前向传播中对激活进行对应的逆缩放 # 实际部署时，scale被融合到前一层的权重中 return weight_scaled, scale def awq_search_best_alpha( weight: torch.Tensor, calibration_input: torch.Tensor, val_input: torch.Tensor, val_output_target: torch.Tensor, bits: int = 4 ) -> Tuple[float, float]: """网格搜索AWQ的最佳α参数。 在[0, 1]范围内搜索α，选择在验证集上 量化误差最小的α值。 Args: weight: 权重矩阵 calibration_input: 用于计算缩放的校准输入 val_input: 验证输入 val_output_target: 验证输出的ground truth bits: 量化位宽 Returns: (最佳α, 对应的最小验证loss) """ best_alpha = 0.5 best_loss = float('inf') # 在[0, 1]范围内均匀采样20个点 alphas = torch.linspace(0, 1, 20) for alpha in alphas: alpha_val = alpha.item() # 应用AWQ缩放 weight_scaled, scale = awq_channel_scaling( weight, calibration_input, alpha=alpha_val ) # 对缩放后的权重进行INT4量化 weight_quantized = simulate_int4_quantize(weight_scaled) # 恢复原始缩放（模拟前向传播：dequant → unscale） weight_deployed = weight_quantized * scale.unsqueeze(0) # 计算验证loss with torch.no_grad(): val_output = val_input @ weight_deployed.T loss = torch.mean( (val_output - val_output_target) ** 2 ).item() if loss < best_loss: best_loss = loss best_alpha = alpha_val return best_alpha, best_loss def simulate_int4_quantize(tensor: torch.Tensor) -> torch.Tensor: """模拟对称INT4量化过程。 Args: tensor: FP16/FP32张量 Returns: 量化再反量化后的张量 """ qmax = 7 # 4-bit对称: [-8, 7] # 逐行（或逐组）计算scale scale = tensor.abs().max(dim=-1, keepdim=True).values / qmax scale = torch.clamp(scale, min=1e-8) q = torch.clamp(torch.round(tensor / scale), -qmax, qmax) return q * scale

四、不同模型规模下的实测对比

在LLaMA系列（7B/13B/70B）上进行GPTQ和AWQ的对比实验：

关键发现：(1) AWQ在量化速度上约为GPTQ的4倍，且这个比率在不同模型规模上保持稳定（因为两者复杂度均与参数量近似线性）；(2) 在WikiText-2 PPL上，GPTQ略优于AWQ（差距0.06-0.07 PPL），但在实际下游任务上的精度差异通常在0.5%以内；(3) GPTQ对校准数据的敏感度更高——不同校准数据选择可能导致0.2-0.5 PPL的波动，而AWQ对校准数据更鲁棒。

五、总结

GPTQ与AWQ的选择不是"哪个更优"的问题，而是"哪个更适合当前场景"：(1) 追求最小精度损失且可以容忍较长量化时间——选择GPTQ（如对模型做一次性量化部署）；(2) 需要快速迭代实验或频繁更新量化模型——选择AWQ（如每周更新的模型版本）；(3) 两者合并使用是一种新兴方向——先用AWQ的通道缩放预处理权重，再用GPTQ的误差补偿进行精调。当前实践中，AWQ由于其速度和部署便利性（通过AutoAWQ库的一行代码调用）正在成为更流行的选择。