对比学习中的嵌入幅度：提升检索性能的关键信号
1. 对比学习中的嵌入幅度：超越单位超球面的视角
在深度学习领域，对比学习已经成为获取高质量表征的核心范式。无论是计算机视觉中的SimCLR、MoCo，还是自然语言处理中的SimCSE、DPR，抑或是跨模态的CLIP模型，对比学习都展现出强大的表征能力。传统对比学习普遍采用余弦相似度（Cosine Similarity）作为相似性度量，这一选择看似自然，却隐含着一个关键假设：通过将表征投影到单位超球面（unit hypersphere），余弦相似度默认嵌入向量的幅度（magnitude）不携带任何任务相关信息。
这个假设真的成立吗？本文将通过系统性研究揭示：在特定任务场景下，嵌入幅度不仅不是噪声，反而是提升模型性能的关键信号源。我们将深入探讨幅度学习（magnitude learning）的机制、适用条件及其在检索任务中的实践价值。
核心发现：幅度学习能够为检索任务带来高达72%的跨域性能提升，而这一增益主要来自于模型对嵌入幅度的有意识利用，而非传统的方向相似性。
1.1 余弦相似度的隐含约束
余弦相似度的数学定义为：
$$ \text{scos}(q, d) = \frac{q^\top d}{|q|\cdot|d|} = \hat{q}^\top \hat{d} $$
其中$\hat{v} = v/|v|$表示L2归一化后的单位向量。从几何角度看，余弦相似度将表征约束在单位超球面$S^{n-1} = {x \in \mathbb{R}^n : |x|=1}$上，使得相似性计算完全取决于向量的方向（夹角θ），而忽略其幅度。
这种约束实际上将表征空间从$\mathbb{R}^n$的n个自由度降为$S^{n-1}$的n-1个自由度。在数学上，这等价于假设：$|q|$和$|d|$不包含任何对任务有用的信息。然而，这一假设缺乏充分的理论依据，更多是历史惯例使然。
1.2 幅度作为学习信号的潜力
近年来的研究发现，嵌入幅度可能隐含重要信息：
- 词嵌入幅度与信息增益相关（Oyama et al., 2023）
- 注意力机制中value向量的幅度反映token重要性（Guo et al., 2024）
- CLIP图像特征的幅度与感知质量相关（Liao et al., 2025）
这些发现暗示，幅度可能作为"置信度"或"强度"的指标。那么，关键问题转变为：模型能否通过对比学习主动学习到利用幅度信息的能力？这正是本文研究的核心。
2. 幅度学习的理论框架
2.1 相似性函数的几何结构
我们建立了一个统一的查询-文档归一化框架，通过独立控制查询端和文档端的归一化程度，系统研究幅度学习的效果。具体定义四种变体：
Cosine：双侧归一化 $$\text{scos}(q,d) = \hat{q}^\top \hat{d}$$
Dot Product：无归一化
$$\text{sdot}(q,d) = q^\top d = |q||d|\cos\theta$$QNorm：仅归一化查询端
$$\text{sqnorm}(q,d) = \hat{q}^\top d = |d|\cos\theta$$DNorm：仅归一化文档端
$$\text{sdnorm}(q,d) = q^\top \hat{d} = |q|\cos\theta$$
这四种变体构成了归一化策略的完整空间（如图1所示），使我们能够精确分析幅度各组件的作用。
2.2 任务对称性原则
幅度学习的有效性高度依赖于任务对称性：
对称任务（如语义文本相似度STS）：要求$\text{sim}(a,b)=\text{sim}(b,a)$，只有Cosine和Dot满足，QNorm/DNorm会破坏对称性。
非对称任务（如检索）：查询和文档角色明确，允许使用QNorm/DNorm。此时，幅度可以编码角色特定信息：
- 文档幅度→相关性强度
- 查询幅度→匹配置信度
这一原则通过实验验证：在STS上，QNorm/DNorm性能下降40+点；而在检索任务中，它们能带来显著提升。
2.3 学习动态的非对称性
查询和文档幅度在训练和推理中扮演不同角色：
推理阶段（命题4.1）：
- 文档幅度直接影响排名：$\pi_{\text{qnorm}} = \pi_{\text{dot}}$（按$|d|\cos\theta$排序）
- 查询幅度无影响：$\pi_{\text{cos}} = \pi_{\text{dnorm}}$（按$\cos\theta$排序）
训练阶段：
- 文档幅度：通过改变分数影响正负样本分离
- 查询幅度：调节梯度强度（DNorm下有效温度$\tau_{\text{eff}} = \tau/|q|$）
这种非对称性解释了为何单侧归一化常优于双侧：保留一侧幅度可稳定优化过程。
3. 幅度学习的实证分析
3.1 实验设置
我们在多种检索模型和数据集上验证幅度学习的效果：
模型：
- BERT类检索器：Contriever、RetroMAE、E5
- 大语言模型：Qwen3-Base-0.6B
训练范式：
- 微调预训练检索器
- 从基础LLM训练
- 随机初始化训练
评估基准：
- 领域内：MS MARCO、TREC-DL
- 跨域：BEIR（14数据集）、BRIGHT（12数据集）
- 多跳推理：2WikiMHopQA等
3.2 关键发现
发现一：幅度学习显著提升跨域泛化
如表1所示，幅度学习在跨域场景中表现尤为突出：
| 模型 | 领域内增益 | 跨域增益 (BEIR) | 跨域增益 (BRIGHT) |
|---|---|---|---|
| Contriever | +1-2% | +7.4% | +72% |
| RetroMAE | +4-7% | +8% | +55% |
这种模式表明，幅度编码的是领域无关的相关性信号（如文档特异性），而角度相似性可能过拟合到领域特定模式。
发现二：单侧归一化优于双侧
无论是QNorm还是DNorm，单侧归一化都显著优于双侧归一化（Cosine）。这与理论分析一致：单侧归一化提供稳定的参考方向，同时保留一侧的幅度信息。
特别地，不同模型偏好不同策略：
- Contriever：偏好QNorm（保留文档幅度）
- RetroMAE：偏好DNorm（保留查询幅度）
这与它们的预训练方式有关：Contriever的对比预训练已使文档幅度编码相关性，而RetroMAE的MAE预训练则受益于查询幅度调节梯度。
发现三：Fisher信息矩阵预测最优策略
Fisher信息矩阵（FIM）的条件数$\kappa$可预测最优归一化策略：
$$\kappa = \frac{\lambda_{\max}(F)}{\lambda_{\min}(F)}$$
选择使$\kappa$较小的策略（如表2）：
| 模型 | $\kappa$(QNorm) | $\kappa$(DNorm) | 预测 | 实际 |
|---|---|---|---|---|
| Contriever | 3.83 | 3.84 | QNorm | QNorm |
| RetroMAE | 6.96 | 6.92 | DNorm | DNorm |
这一方法在实践中非常有用，无需训练即可预测最佳配置。
3.3 幅度编码的内容分析
通过Cohen's d统计量量化相关与不相关文档的幅度差异：
$$d = \frac{\mu_{\text{rel}} - \mu_{\text{irrel}}}{\sigma_{\text{pooled}}}$$
发现：
- 微调模型：d > 0（相关文档幅度更大）
- 随机初始化：d < 0（相反模式）
- 相关性强度与性能增益正相关（r=0.57-0.68）
这表明成功的幅度学习需要预训练提供语义基础。
4. 实践指导与应用
4.1 可学习归一化作为安全默认
我们提出可学习归一化：
$$\text{slearn}(q,d) = \frac{q^\top}{|q|^{\gamma_q}} \cdot \frac{d}{|d|^{\gamma_d}}, \gamma = \sigma(\hat{\gamma}) \in [0,1]$$
通过初始化$\gamma=0.5$，模型可自动发现最优策略。实验表明：
- 作为默认方案，其性能接近最佳手动策略
- 对模型特性无先验要求，鲁棒性强
4.2 端到端RAG评估
在RAG系统中，幅度学习带来的检索改进能有效传导至最终问答性能：
| 方法 | TriviaQA (EM) | 相对增益 |
|---|---|---|
| Cosine | 32.3 | - |
| QNorm | 40.2 | +24.5% |
这表明幅度学习具有实际应用价值。
4.3 实施建议
适用场景：
- 非对称任务（检索、推荐）
- 数据充足或预训练充分
策略选择：
- 计算FIM条件数预测
- 或使用可学习归一化
注意事项：
- 对称任务必须用Cosine
- 注意模型架构约束（如E5需移除归一化层）
5. 结论与展望
本文系统研究了对比学习中的嵌入幅度，揭示了其在非对称任务中的关键作用。幅度学习通过释放单位超球面约束，为模型提供了额外的学习维度。实验表明，幅度学习尤其有利于跨域泛化，且其效果可通过理论工具预测。
未来方向包括：
- 将框架扩展到其他非对称任务（推荐、代码检索）
- 研究预训练如何影响幅度学习能力
- 探索幅度与模型校准的关系
这项研究表明，重新审视深度学习中的"传统智慧"可能带来意外收获。幅度学习作为一种简单却有效的技术，有望成为检索系统的新标配。