第58节：Transformers 原生量化完全手册【PTQ 算法详解与 QAT 实践】

一、引言

大语言模型的飞速发展带来了一个现实困境：模型越来越大，而硬件资源有限。以 Llama 3 405B 为例，其全精度（FP16）推理需要超过 800GB 显存，远远超出单张 A100/H100（80GB）的容量。这种资源门槛使得大模型的部署与推理成为一个极具挑战性的技术问题。

量化技术应运而生，成为破解这一困境的核心手段。简单来说，量化就是将模型的高精度参数从 32 位或 16 位浮点数转换为 8 位或 4 位整数，从而大幅降低显存占用。一个 7B 参数的 FP16 模型需要约 14GB 显存，而 4-bit 量化后可降至约 3.5GB——压缩率高达 75%。

在众多量化实现方案中，Hugging Face Transformers 凭借其原生集成优势脱颖而出。开发者无需繁琐的环境配置或模型转换，只需一行代码即可完成量化模型的加载与推理。这种开箱即用的体验，极大地降低了量化技术的使用门槛。

然而，量化方案的多样性也给开发者带来了选择困惑。目前 Transformers 原生支持的量化方案包括：bitsandbytes、GPTQ、AWQ 和 TorchAO。此外，还有 Optimum 工具链下的 Quanto、AQLM 等扩展方案。这些方案在压缩率、精度损失、推理速度和使用便捷性上各有侧重，如何根据具体场景做出合理选择，是一个值得深入探讨的问题。

本文的核心目标是围绕用户指定的两个主题——PTQ（Post-Training Quantization，训练后量化）与QAT（Quantization-Aware Training，量化感知训练）——对 Transformers 原生支持的量化算法进行全面梳理。文章结构如下：

• 第二部分：介绍量化的基础概念，帮助读者建立必要的知识框架。
• 第三部分：深入讲解 PTQ 的核心原理与 Transformers 原生支持的各种方案，包括 bitsandbytes、GPTQ、AWQ 和 TorchAO。
• 第四部分：详细阐述 QAT 技术的原理、实现路径以及在 Transformers 生态中的应用。
• 第五部分：提供量化选型的决策框架与完整代码示例。
• 第六部分：通过对比总结与案例展示，帮助读者将理论付诸实践。

二、量化基础概念

2.1 什么是模型量化

模型量化本质上是一种数值精度转换技术：将高精度浮点参数（如 FP32/FP16/BF16）转换为低精度整数参数（如 INT8/INT4）。这种转换带来的核心收益包括：

• 显存占用大幅降低：INT4 相比 FP16 可减少 75% 的显存占用。
• 推理速度提升：低精度计算可利用硬件加速指令（如 NVIDIA Tensor Core），实现更快的矩阵运算。
• 能效优化：相同计算负载下，低精度运算的能耗显著低于高精度运算。

但量化并非没有代价。精度下降是量化最核心的权衡维度——当位宽从 32 位降至 8 位或 4 位时，信息量的损失不可避免。如何在压缩率和模型精度之间找到最佳平衡点，是量化技术的核心命题。

2.2 核心术语

在深入量化技术之前，有必要先厘清几个关键术语：

PTQ（Post-Training Quantization，训练后量化）：模型训练完成后直接进行量化，无需重新训练或微调，仅做精度转换和校准即可使用。

QAT（Quantization-Aware Training，量化感知训练）：在训练过程中模拟量化噪声，让模型提前适应量化带来的精度损失，从而在量化后保持更高的精度。

Bit（位宽）：量化后每个参数占用的比特数，常用 8bit、4bit，Transformers 原生优先支持 INT8/INT4。

Calibration（校准）：PTQ 中用少量代表性数据统计参数分布，确定量化阈值，使量化后的数值分布尽可能接近原始分布。

Scale / Zeropoint（缩放因子与零点）：量化核心参数，用于建立高精度浮点数与低精度整数之间的映射关系。

2.3 对称量化与非对称量化

量化映射主要有两种方式：

对称量化：假设输入数据关于零点对称，零点固定为 0。计算公式为：

x_int = round(x_fp32 / scale) x_fp32_recovered = x_int × scale

非对称量化：使用灵活的零点，适合非对称分布的数据。计算公式为：

x_int = round(x_fp32 / scale + zero_point) x_fp32_recovered = (x_int - zero_point) × scale

非对称量化通常能取得更高的精度，但需要额外存储和计算零点。

2.4 Transformers 原生量化的优势

Transformers 库将量化能力深度集成到PreTrainedModel.from_pretrained()方法中，为开发者带来四大核心优势：

1. 开箱即用：无需复杂代码，只需在加载模型时传入quantization_config参数。
2. 生态兼容：与 Hugging Face 全生态无缝对接，包括数据集、Trainer、PEFT 等技术。
3. 跨硬件支持：同时支持 GPU 与 CPU 推理，统一 API 降低迁移成本。
4. 官方维护：紧跟最新大模型架构（Llama、Qwen、GLM 等），稳定性和兼容性有保障。

三、PTQ（训练后量化）：原理与原生方案

3.1 PTQ 的核心思想

PTQ 的核心思想是：在模型训练完成后，直接对模型参数进行量化，不修改模型权重的原始分布。它只需要少量校准数据来统计激活值分布，确定量化参数，即可完成量化过程。

PTQ 的优势在于：

• 极速量化：整个过程通常在几秒到几分钟内完成，无需大规模训练。
• 无需训练数据：只需要少量校准样本（通常几百到几千条）。
• 零代码成本：Transformers 提供的 API 封装了全部细节。

PTQ 的局限性在于：

• 精度损失相对较大：特别是在 4-bit 及以下位宽，精度下降较为明显。
• 不适合极低比特：2-bit 及以下量化通常需要 QAT 或更复杂的算法。

3.2 PTQ 的核心流程

PTQ 的关键流程包括以下几个步骤：

步骤一：模型准备。加载预训练的 FP16/BF16 模型到内存。

步骤二：校准数据准备。从目标任务分布中采样少量代表性数据（通常几十到几百条）。

步骤三：确定量化参数。通过前向传播统计各层的激活值范围，计算出每个量化层的 scale 和 zero_point。

步骤四：权重和激活量化。将模型权重转换为低精度整数表示。

步骤五：反量化计算。在实际推理时，将量化后的权重反量化为浮点数进行矩阵运算，或使用硬件加速的低精度计算核直接运算。

3.3 Transformers 原生支持的 PTQ 算法概览

目前 Transformers 已原生集成并支持的量化方案包括 bitsandbytes、GPTQ、AWQ 和 TorchAO。以下是各方案的核心对比：

3.4 bitsandbytes：最简单的量化方案

3.4.1 技术概述

bitsandbytes 是目前 Transformers 中最简单、最易用的量化方案，它是与 Hugging Face 深度合作的轻量级 CUDA 封装库。bitsandbytes 最大的特点是零样本量化——无需校准数据集和校准过程，任何包含torch.nn.Linear模块的模型都可以开箱即用地进行量化。

bitsandbytes 提供了两种核心量化方法：

• LLM.int8()：8-bit 量化，通过分离异常值处理（用 16-bit 矩阵乘法处理异常值，其余用 8-bit 计算），在几乎不损失精度的情况下将显存占用降低一半。
• 4-bit NF4/FP4：支持 NF4（Normal Float 4，为正态分布权重专门优化的 4-bit 格式）和 FP4 两种 4-bit 数据类型。

3.4.2 适用场景

bitsandbytes 适用于以下场景：

• 快速实验与调试，不想折腾模型转换
• 内存受限环境下的推理
• QLoRA 微调的基础（NF4 + LoRA 组合）

3.4.3 代码示例

fromtransformersimportAutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfigimporttorch# 配置 4-bit 量化参数bnb_config=BitsAndBytesConfig(load_in_4bit=True,# 启用 4-bit 加载bnb_4bit_quant_type="nf4",# 使用 NF4 量化类型bnb_4bit_use_double_quant=True,# 启用双重量化，进一步压缩 scalebnb_4bit_compute_dtype=torch.bfloat16# 计算时使用 bfloat16 精度)# 加载量化模型model=AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",quantization_config=bnb_config,device_map="auto",trust_remote_code=True)tokenizer=AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf")# 推理（使用方式与原始模型完全一致）inputs=tokenizer("Explain quantum computing",return_tensors="pt").to("cuda")outputs=model.generate(**inputs,max_new_tokens=100)print(tokenizer.decode(outputs[0]))

3.5 GPTQ：高精度 4-bit 量化的标杆

3.5.1 技术概述

GPTQ（Generative Pre-trained Transformer Quantization）是一种最先进的训练后量化方法，旨在将 LLM 压缩到 4 位精度的同时保持最小的准确性损失——通常低于 2%。它特别适用于在消费级 GPU 上部署超过 700 亿参数的模型，可将显存占用减少 4 倍，推理速度相比 FP16 提升 3-4 倍。

GPTQ 采用逐层量化优化策略：对每一层独立地进行量化，利用基于近似二阶信息的一次性权重量化方法，在量化过程中调整本层的权重值以最小化量化误差。

与 bitsandbytes 不同，GPTQ 需要校准数据集。Transformers 通过GPTQConfig类提供对 GPTQ 的原生支持。

3.5.2 适用场景

GPTQ 适用于以下场景：

• 需要将超大模型（70B+）部署到有限显存中
• 对精度要求较高，希望 4-bit 量化损失控制在 2% 以内
• 生产环境部署，可以接受预先准备校准数据集

3.5.3 代码示例

fromtransformersimportAutoModelForCausalLM,AutoTokenizer,GPTQConfigfromdatasetsimportload_dataset# 准备校准数据dataset=load_dataset("c4",split="train",streaming=True)calibration_texts=[example["text"]forexampleindataset.take(128)]# 配置 GPTQ 量化gptq_config=GPTQConfig(bits=4,# 4-bit 量化group_size=128,# 分组大小，推荐 128desc_act=False,# 激活顺序，False 兼容 CUDA 核damp_percent=0.01,# 阻尼因子dataset=calibration_texts,# 校准数据集)# 加载并量化模型model=AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf",quantization_config=gptq_config,device_map="auto",trust_remote_code=True)tokenizer=AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf")

3.5.4 已知问题与注意事项

使用transformers与auto_gptq时，可能会遇到 CUDA 扩展未安装的警告和推理速度变慢的问题。这表明auto_gptq无法找到兼容的融合 CUDA 核，回退到了基础实现。解决方案是：

• 从源码安装auto_gptq，或使用与 CUDA 版本匹配的预编译 wheel
• 在 Linux 环境下可安装auto-gptq[triton]以启用 Triton 加速

3.6 AWQ：激活感知的权重量化

3.6.1 技术概述

AWQ（Activation-aware Weight Quantization，激活感知权重量化）是一种硬件友好的 4-bit 权重量化方法。它的核心洞察是：并非所有权重对模型精度同等重要——那些与激活值分布关系更密切的“显著权重”应当以更高精度保护。

AWQ 通过分析激活值统计信息来确定哪些权重需要被保护，从而在权重量化场景下取得了比 GPTQ 略高的精度表现。研究表明，AWQ 的精度损失通常低于 1%。

3.6.2 适用场景

AWQ 适用于以下场景：

• 追求极致精度（损失 <1%）
• 使用较新 GPU（Ampere、Ada 架构），支持 Marlin 内核（部分 GPU 上推理速度可提升 2 倍）
• 需要激活感知量化的场景

3.6.3 代码示例

fromtransformersimportAutoModelForCausalLM,AutoTokenizer,AwqConfig# 配置 AWQ 量化awq_config=AwqConfig(bits=4,# 4-bit 量化group_size=128,# 分组大小zero_point=True,# 使用零点version="gemm",# 使用 GEMM 内核)# 加载 AWQ 量化模型model=AutoModelForCausalLM.from_pretrained("TheBloke/Llama-2-7B-Chat-AWQ",quantization_config=awq_config,device_map="auto",trust_remote_code=True)tokenizer=AutoTokenizer.from_pretrained("TheBloke/Llama-2-7B-Chat-AWQ")

3.7 TorchAO：PyTorch 原生量化引擎

3.7.1 技术概述

TorchAO（Torch Architecture Optimization）是 PyTorch 团队开发的量化引擎，现已深度集成到 Transformers 中。TorchAO 支持多种量化方案，包括 INT4 权重量化、INT8 动态激活量化、FP8 量化等。

TorchAO 的核心优势在于：

• PyTorch 原生：与 PyTorch 生态完全统一，无需额外依赖
• 硬件感知：针对不同硬件提供优化的量化策略
• 灵活配置：支持分组量化、HQQ（Half-Quadratic Quantization）等高级选项

3.7.2 适用场景

TorchAO 适用于以下场景：

• 追求 PyTorch 生态统一性的团队
• 需要 FP8 量化（仅 H100/A100 等高端 GPU 支持）
• 希望使用 HQQ 等高级量化算法

3.7.3 代码示例

fromtransformersimportTorchAoConfig,AutoModelForCausalLMfromtorchao.quantizationimportFloat8DynamicActivationInt4WeightConfig# 配置 TorchAO 量化（Float8 激活 + INT4 权重）quantization_config=TorchAoConfig(quant_type=Float8DynamicActivationInt4WeightConfig(group_size=128,use_hqq=True# 启用 HQQ 优化))# 加载并自动量化模型model=AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.2-1B",torch_dtype="auto",device_map="auto",quantization_config=quantization_config)# 保存量化模型# model.save_pretrained("./quantized_model")

3.8 FP8 量化：新一代硬件原生支持

FP8 量化使用 8 位浮点表示，在保持较高精度的同时将显存占用减半。FP8 计算需要计算能力大于 8.9 的 NVIDIA GPU，具体包括 Ada Lovelace 架构、Hopper 架构及后续 GPU 世代。

FP8 的优势在于：

• 硬件原生支持：H100 等 GPU 的 Tensor Core 对 FP8 有专门优化
• 精度损失极小：相比 INT8 精度保留更完整
• 训练友好：支持 FP8 混合精度训练

在 Transformers 中，FP8 量化通过 TorchAO 的Float8DynamicActivationInt4WeightConfig等配置实现。

四、QAT（量化感知训练）：让模型学会“与量化共处”

4.1 QAT 的核心思想

QAT（Quantization-Aware Training）与 PTQ 的本质区别在于：QAT 在训练过程中就模拟量化效果，让模型在训练时“体验”量化带来的精度损失，从而学会在这种损失下做出最优预测。

QAT 的基本流程可以概括为：

1. 插入伪量化节点：在训练网络的适当位置插入 FakeQuantization 节点，模拟量化-反量化过程。
2. 正常前向传播：前向传播时经过伪量化节点，让模型“看到”量化后的数值分布。
3. 反向传播与权重更新：梯度通过伪量化节点（直通估计器 STE），正常更新全精度权重。
4. 训练完成后执行量化：将训练好的全精度权重转换为真正的低精度整数权重。

4.2 QAT 的优势与挑战

优势：

• 精度损失更小：尤其在低比特（4-bit 及以下）场景，QAT 的精度显著优于 PTQ。
• 适配性强：可以针对特定任务或数据集进行优化。
• 可控性好：通过调整训练超参数，可以在压缩率和精度之间灵活权衡。

挑战：

• 计算成本高：需要额外的训练时间和计算资源。
• 需要训练数据：QAT 需要在目标任务的数据上进行训练。
• 实现复杂度高：相比 PTQ，QAT 的代码实现和调优更为复杂。

4.3 Transformers 生态中的 QAT 实现路径

4.3.1 QLoRA：4-bit 量化 + 低秩适配器

QLoRA 是一种创新的 QAT 方案，它结合了 4-bit 量化和 LoRA 微调。其核心流程是：将预训练模型量化为 4-bit（使用 NF4 数据类型）并冻结，同时引入可训练的低秩适配器（LoRA）。训练过程中，梯度通过冻结的量化模型反向传播到 LoRA 参数。

QLoRA 的三大核心技术是：

1. NF4 量化：专门为正态分布权重设计的 4-bit 数据类型。
2. 双重量化：对量化 scale 进行二次量化，进一步压缩显存。
3. 分页优化器：利用 NVIDIA 统一内存技术，在显存紧张时自动将优化器状态迁移到 CPU 内存。

4.3.2 PyTorch 2 Export QAT

PyTorch 2 引入了基于torch.export的图模式 QAT 流程。这个流程与 PTQ 流程在大部分步骤上相似，主要区别在于使用prepare_qat_pt2e替代prepare_pt2e，并在模型量化之前执行训练。

importtorchfromtorchao.quantization.pt2e.quantize_pt2eimportprepare_qat_pt2e,convert_pt2efromexecutorch.backends.xnnpack.quantizer.xnnpack_quantizerimport(get_symmetric_quantization_config,XNNPACKQuantizer)# 定义模型classM(torch.nn.Module):def__init__(self):super().__init__()self.linear=torch.nn.Linear(5,10)defforward(self,x):returnself.linear(x)example_inputs=(torch.randn(1,5),)m=M()# Step 1: 导出模型到图结构m=torch.export.export(m,example_inputs).module()# Step 2: 量化感知训练准备quantizer=XNNPACKQuantizer().set_global(get_symmetric_quantization_config())m=prepare_qat_pt2e(m,quantizer)# Step 3: 在此处执行训练（省略训练代码）# Step 4: 转换为量化模型m=convert_pt2e(m)# 注意：使用专门的函数切换到 eval 模式fromtorchao.quantization.pt2eimportmove_exported_model_to_eval move_exported_model_to_eval(m)

使用 PyTorch 2 Export QAT 需要注意：model.eval()或model.train()在程序捕获后不再适用，需要使用move_exported_model_to_eval()和move_exported_model_to_train()来切换模式。

4.3.3 Optimum Quanto

Optimum Quanto 是 Hugging Face 推出的量化库，专注于设备无关的线性量化，支持对模型权重进行低精度压缩，适配多模态模型（大语言模型、视觉模型、扩散模型）。它原生集成于 Hugging Face 生态，支持 float8、int8、int4、int2 等多种低精度数据类型。

Quanto 的基础是对称线性量化，同时整合了 HQQ（半二次量化）以降低低比特量化的误差。

fromtransformersimportAutoModelForCausalLM,QuantoConfig# 定义量化配置quant_config=QuantoConfig(weights="int8",# 目标权重精度（可选 int8/int4/int2/float8）activations=None,# 激活量化（实验性支持）quantize_bias=False,# 是否量化偏置张量)# 加载带量化的模型model=AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B",torch_dtype="auto",device_map="auto",quantization_config=quant_config)

4.4 PTQ 与 QAT 的对比总结

五、量化选型指南与代码示例

5.1 量化方案选择决策框架

面对多种量化方案，开发者可以根据以下决策框架进行选择：

1. 场景优先：推理 vs 微调

• 纯推理部署：GPTQ 或 AWQ 是首选，精度高且推理速度快。若追求极致简便，bitsandbytes 零样本量化亦可满足大部分需求。
• 微调场景：QLoRA + bitsandbytes NF4 是最佳组合，可在极低显存下完成微调。

2. 硬件约束：显存容量与 GPU 世代

• 显存充足（>48GB）：可使用 8-bit 量化或 FP16 直接推理。
• 显存中等（24-48GB）：4-bit 量化是最优选择，GPTQ/AWQ 均可。
• 显存紧张（<24GB）：优先考虑 4-bit 量化 + 大分组（group_size=128），或使用 GGUF 混合精度。
• GPU 世代较新（Ampere/Ada/Hopper）：可利用 AWQ 的 Marlin 内核或 FP8 量化（H100）。

3. 精度要求：损失容忍度

• 损失 <1% 必须：选择 8-bit 量化（bitsandbytes LLM.int8() 或 FP8），或使用 QAT。
• 损失可接受 2-5%：4-bit 量化（GPTQ/AWQ）可满足大部分应用。
• 极致压缩需求：考虑 2-bit 量化（AQLM），但必须结合 QAT。

4. 模型架构兼容性

• 标准 Transformer：所有方案均可使用。
• MoE 模型：部分量化方案可能遇到兼容性问题，建议优先使用 bitsandbytes 或已验证的方案。
• 多模态模型：bitsandbytes 因其通用性（仅依赖 Linear 层）是最安全的选择。

5.2 精度-显存权衡的量化数据参考

根据最新的系统性研究，不同量化方案的精度表现如下：

• 8-bit 量化：平均精度损失约 0.8%，几乎可忽略不计，是风险最低的量化选择。
• 4-bit 量化：平均精度损失显著增加，尤其在长上下文输入任务上，损失最高可达 59%。不同模型对 4-bit 量化的敏感度差异巨大：例如 Qwen-2.5 72B 在 BNB-nf4 下仍保持稳健，而 Llama-3.1 70B 在同一任务上经历了 32% 的性能下降。
• 量化方法差异：即使同为 4-bit 量化，不同算法（GPTQ-int4 vs AWQ-int4 vs BNB-nf4）在不同模型和任务上的表现也有显著差异。

5.3 完整代码示例：从加载到推理

importtorchfromtransformersimport(AutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig,GPTQConfig,AwqConfig,TorchAoConfig,)fromtorchao.quantizationimportFloat8DynamicActivationInt4WeightConfigimporttimedefbenchmark_inference(model,tokenizer,prompt,max_new_tokens=100):"""测量推理速度"""inputs=tokenizer(prompt,return_tensors="pt").to("cuda")torch.cuda.synchronize()start=time.time()withtorch.no_grad():outputs=model.generate(**inputs,max_new_tokens=max_new_tokens)torch.cuda.synchronize()elapsed=time.time()-start tokens_generated=outputs.shape[1]-inputs["input_ids"].shape[1]returntokens_generated/elapsed,tokenizer.decode(outputs[0])defquantize_with_bitsandbytes(model_name):"""使用 bitsandbytes 进行 4-bit 量化"""bnb_config=BitsAndBytesConfig(load_in_4bit=True,bnb_4bit_quant_type="nf4",bnb_4bit_use_double_quant=True,bnb_4bit_compute_dtype=torch.bfloat16)model=AutoModelForCausalLM.from_pretrained(model_name,quantization_config=bnb_config,device_map="auto",trust_remote_code=True)returnmodeldefquantize_with_gptq(model_name,calibration_texts):"""使用 GPTQ 进行 4-bit 量化"""gptq_config=GPTQConfig(bits=4,group_size=128,desc_act=False,damp_percent=0.01,dataset=calibration_texts,)model=AutoModelForCausalLM.from_pretrained(model_name,quantization_config=gptq_config,device_map="auto",trust_remote_code=True)returnmodeldefquantize_with_torchao_int4(model_name):"""使用 TorchAO 进行 INT4 权重量化"""quantization_config=TorchAoConfig(quant_type=Float8DynamicActivationInt4WeightConfig(group_size=128,use_hqq=True))model=AutoModelForCausalLM.from_pretrained(model_name,torch_dtype="auto",device_map="auto",quantization_config=quantization_config)returnmodel# 主函数示例if__name__=="__main__":model_name="meta-llama/Llama-2-7b-chat-hf"# 替换为实际模型名print("="*60)print("Transformers 原生量化方案对比")print("="*60)# 方案1: bitsandbytes 4-bit (最简单)print("\n[方案1] bitsandbytes 4-bit NF4")try:model_bnb=quantize_with_bitsandbytes(model_name)tokenizer=AutoTokenizer.from_pretrained(model_name)speed,output=benchmark_inference(model_bnb,tokenizer,"Explain machine learning in simple terms",max_new_tokens=50)print(f"推理速度:{speed:.2f}tokens/s")print(f"显存占用:{torch.cuda.memory_allocated()/1024**3:.2f}GB")exceptExceptionase:print(f"加载失败:{e}")# 清理显存torch.cuda.empty_cache()

六、总结

本文对 Transformers 原生支持的大模型量化算法进行了系统性梳理，围绕 PTQ 与 QAT 两条技术主线展开。

PTQ 技术栈：bitsandbytes 以零样本量化和开箱即用见长，是快速验证和 QLoRA 微调的最佳选择；GPTQ 以高精度 4-bit 量化著称，适合需要将大模型压缩到有限显存的生产场景；AWQ 通过激活感知机制保护重要权重，在精度上略胜 GPTQ；TorchAO 作为 PyTorch 原生方案，提供了与 PyTorch 生态的统一体验。

QAT 技术栈：QLoRA 以 NF4 量化+低秩适配器的创新组合，在极低显存下实现了与全量微调相媲美的效果；PyTorch 2 Export QAT 提供了基于图模式的现代量化流程；Optimum Quanto 作为生态原生工具，提供了设备无关的线性量化能力。

从精度表现来看，8-bit 量化（包括 LLM.int8() 和 FP8）平均精度损失约 0.8%，是风险最低的选择；4-bit 量化精度损失显著增加，尤其在长上下文任务上，不同模型和量化方法之间的表现差异巨大。建议在实际部署前进行充分评估。

展望未来，随着 NVIDIA Blackwell 等新一代 GPU 对 FP8 和 INT4
的原生硬件支持不断完善，量化技术将更加普及。更低比特的量化方案（2-bit）以及混合精度量化策略将成为新的研究热点。对于开发者而言，掌握
Transformers 原生量化工具链，将是参与大模型应用开发不可或缺的基础能力。

🌟 感谢您耐心阅读到这里！
💡 如果本文对您有所启发欢迎：
👍 点赞📌 收藏 📤 分享给更多需要的伙伴。
🗣️ 期待在评论区看到您的想法, 共同进步。
🔔 关注我，持续获取更多干货内容～
🤗 我们下篇文章见～