自回归生成图像检测：D3QE方法解析与应用

1. 自回归生成图像检测的挑战与机遇

在计算机视觉领域，生成式AI技术的快速发展已经彻底改变了图像合成的方式。从早期的生成对抗网络(GAN)到近年来的扩散模型，再到最新的视觉自回归(AR)模型，每一代技术都在图像质量和生成效率上实现了显著突破。然而，这些技术进步也带来了新的挑战——如何准确识别由AI生成的图像，特别是在自回归模型生成的图像检测方面，传统方法已经显得力不从心。

自回归模型通过离散token预测的方式生成图像，这与GAN的对抗训练或扩散模型的迭代去噪有着本质区别。这种差异主要体现在三个方面：首先，自回归模型使用向量量化(VQ)技术将连续视觉内容压缩为离散序列；其次，其生成过程基于条件概率链，通过逐步预测后续元素来构建完整图像；最后，有限码本容量导致生成图像在统计分布上与真实图像存在系统性差异。这些特性使得基于高频伪影或像素级模式的传统检测方法难以奏效。

关键发现：我们的实验表明，真实图像在码本向量激活上呈现均匀分布，而自回归生成的图像则表现出明显的极化现象——高频码本条目激活率是真实图像的3-5倍，这种分布差异为检测提供了可靠依据。

2. D3QE方法的核心设计原理

2.1 离散分布差异的理论基础

自回归模型的离散化过程会引入独特的统计特征，这主要源于两个机制：一方面，有限码本容量难以完全捕捉自然图像的长尾分布，训练目标迫使编码器将相似特征映射到相同码本条目；另一方面，top-p/top-k采样策略的直接截断导致长尾分布被人为修剪。如图1所示，这些效应造成了真实与生成图像在码本统计上的可观测差异。

我们通过量化分析发现，这种分布差异主要体现在：

1. 码本使用集中度：生成图像倾向于重复使用少量高频码本向量
2. 激活分布形态：真实图像呈现平滑的长尾分布，生成图像则呈现尖峰厚尾特征
3. 空间相关性：生成图像的量化误差在空间上表现出更强的模式化特征

2.2 方法整体架构

D3QE框架包含三个关键组件（如图2所示）：

1. 量化误差表示模块：通过冻结的VQVAE编码器将图像转换为离散表示，并计算连续与离散表示间的量化残差
2. 离散分布差异感知Transformer(D3AT)：将码本频率统计动态集成到注意力机制中
3. 语义特征嵌入模块：利用CLIP-ViT提取全局语义特征，捕捉生成图像的语义不一致性

# 量化过程核心代码示例 def quantize(z, codebook): # z: 连续潜在表示 [h,w,c] # codebook: 可学习码本 [N,c] distances = torch.cdist(z.flatten(0,1), codebook) # 计算距离 indices = torch.argmin(distances, dim=1) # 找到最近码本索引 z_q = codebook[indices].view(z.shape) # 量化表示 quantization_error = z_q - z # 量化误差 return z_q, quantization_error, indices

3. 关键技术实现细节

3.1 量化误差特征提取

给定输入图像I∈R^{H×W×3}，我们首先通过编码器E获得连续潜在表示z=E(I)∈R^{h×w×c}。随后使用包含N个c维向量的码本Z进行向量量化，得到量化表示z_q。量化误差计算为：

$$ \hat{z} = (z_q - z) \in \mathbb{R}^{h \times w \times c} $$

这一残差特征编码了离散化过程中的信息损失，实验表明其在区分真实与生成图像方面具有高度判别性。我们同时维护两个频率统计模块，分别跟踪真实和生成图像的码本索引分布：

$$ D_s^{(t+1)}[k] = D_s^{(t)}[k] + \sum_{i,j} \mathbf{1}[q(z_{ij})=k], s \in {\text{real}, \text{fake}} $$

其中D_s^{(t)}[k]记录训练步骤t时码本索引k的累积频率。

3.2 离散分布感知注意力机制

传统Transformer的自注意力机制被扩展为离散分布差异感知自注意力(D3ASA)：

$$ \text{D}^3\text{ASA}(\mathbf{X}, \Delta \mathbf{D}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}} + \frac{\mathbf{Q_D}\mathbf{K}^T_\mathbf{D}}{\alpha}\right)\mathbf{V} $$

其中Q_D和K_D由码本频率差异ΔD通过MLP投影得到：

$$ \Delta \mathbf{D} = \text{normalize}(D_{\text{fake}} - D_\text{real}) $$

这种设计使得模型能够显式地利用码本统计差异来指导特征学习。如图3所示，分布信息被整合到注意力权重计算中，形成了一种内容-分布双驱动的新型注意力机制。

3.3 多粒度特征融合策略

为兼顾局部离散特征和全局语义信息，我们设计了分层特征融合方案：

1. 局部离散特征：通过D3AT模块提取，关注量化误差和码本分布差异
2. 全局语义特征：使用冻结的CLIP-ViT提取，捕捉生成图像的语义异常
3. 特征对齐：通过可学习的MLP将两类特征投影到共享嵌入空间

最终分类器采用如下形式：

$$ y = \text{MLP}(\text{concat}[\mathcal{A}\text{D}(\mathbf{F}\text{D}), \mathcal{A}\text{CLIP}(\mathbf{F}\text{CLIP})]) $$

这种融合策略在保持模型轻量化的同时，实现了多尺度特征的有效互补。

4. 实验验证与结果分析

4.1 ARForensics基准数据集

我们构建了首个专注于自回归模型的检测基准ARForensics，包含：

• 7种主流AR模型：LlamaGen、VAR、Infinity等
• 304,000张图像：152,000真实(ImageNet) + 152,000生成
• 三种分割：训练集(100K)、验证集(10K)、测试集(42K)

数据集设计特点：

1. 覆盖token-based和scale-based两种自回归架构
2. 包含不同分辨率(256×256至1024×1024)的生成样本
3. 文本到图像模型使用标准化提示模板生成
4. 真实图像独立采样，避免评估偏差

4.2 性能比较实验

如表1所示，D3QE在ARForensics测试集上平均准确率达到82.11%，较传统方法有显著提升：

特别值得注意的是，对于新型scale-based模型VAR，我们的方法达到85.33%准确率，比次优方法UnivFD(80.53%)有明显优势，这验证了离散分布特征的有效性。

4.3 跨范式泛化能力

为评估方法普适性，我们在GAN和扩散模型生成图像上进行了零样本测试：

1. GAN检测：平均准确率83.73%，AP 92.23%
   • ProGAN AP 97.68%，GauGAN AP 97.94%
2. 扩散模型检测：平均准确率78.61%，AP 89.60%
   • Stable Diffusion v1.4/v1.5准确率均超83%

这表明尽管这些模型没有显式离散化，但其生成过程中的低维流形约束会产生类似离散效应的分布模式，D3QE能够有效捕捉这些特征。

4.4 抗干扰鲁棒性测试

现实场景中图像常经历各种扰动，我们测试了JPEG压缩和中心裁剪下的性能保持度：

1. JPEG压缩(质量因子60)：AP保持85%以上
2. 严重裁剪(裁剪比例0.5)：AP仍超过80%

相比传统方法在像素扰动下性能急剧下降的情况，D3QE展现出更强的稳定性，这归功于其基于分布统计而非局部伪影的检测机制。

5. 实际应用中的关键考量

5.1 计算效率优化

D3QE在实际部署时需考虑以下优化策略：

1. 码本统计缓存：预计算常见数据集的码本频率，减少实时统计开销
2. 注意力稀疏化：对D3ASA模块采用top-k注意力，降低计算复杂度
3. 特征蒸馏：将CLIP替换为更轻量的视觉编码器

5.2 持续学习框架

为适应快速演进的自回归模型，我们设计了增量学习机制：

1. 动态码本扩展：当检测到新模型的分布偏移时，自动扩展码本容量
2. 统计量滑动更新：采用指数加权移动平均(EWMA)更新频率统计
3. 模块化微调：仅训练D3AT和分类器头部，保持主干网络冻结

5.3 典型失败案例分析

在测试中发现的局限性包括：

1. 低纹理图像：如纯色背景肖像，量化误差特征不明显
2. 高度压缩图像：码本统计信息部分丢失
3. 混合生成图像：真实与生成内容拼接的复合图像

针对这些情况，我们建议结合EXIF元数据分析、局部检测策略等补充技术。

这项工作的核心价值在于首次系统性地挖掘了自回归模型离散生成特性与检测任务间的内在联系，所提出的D3QE框架不仅在当前模型上表现优异，其设计理念也为未来新型生成模型的检测提供了可扩展的方法论基础。实验证明，关注生成过程的本质特征而非表面伪影，是构建鲁棒检测器的有效途径。