GMM-Anchored JEPA：自监督语音表征学习新方法
1. 项目概述
在语音处理领域，自监督学习已成为获取高质量语音表征的主流方法。传统方法如HuBERT和WavLM依赖于迭代的离线k-means聚类，这种方法不仅计算成本高昂，而且硬聚类分配会丢失声学边界的不确定性信息。我们提出的GMM-Anchored JEPA方法通过一次性拟合高斯混合模型(GMM)并使用其冻结的软后验作为辅助目标，有效解决了这些问题。
关键创新点：使用GMM的软聚类特性保留声学边界的不确定性信息，同时通过冻结模型避免迭代重聚类带来的计算开销。
2. 核心方法解析
2.1 整体框架设计
GMM-Anchored JEPA包含两个阶段：
- GMM拟合阶段：在log-mel频谱图上一次性拟合K组分的对角协方差GMM
- 联合训练阶段：学生编码器同时优化两个目标：
- 预测来自EMA教师的掩码潜在表示(JEPA损失)
- 匹配聚类头输出与冻结GMM后验(聚类损失)
这种设计的关键在于：
- 冻结的GMM提供稳定的声学目标，防止编码器共适应
- 软后验保留声学边界的不确定性
- 衰减的监督权重(λ从1.0到0.01)确保早期声学 grounding，后期JEPA主导
2.2 GMM拟合细节
我们选择对角协方差GMM而非全协方差，主要基于以下考虑：
- 计算效率：对角协方差在大型语料库上更易处理
- 频率独立性：log-mel特征各维度相对独立
- 参数稳定性：避免小样本情况下的奇异矩阵
软后验计算如下：
qₖ(m) = πₖN(m; μₖ, σ²ₖ) / ∑ⱼπⱼN(m; μⱼ, σ²ⱼ)其中πₖ是混合权重，μₖ和σ²ₖ分别是第k个高斯组分的均值和方差。
2.3 联合训练机制
2.3.1 JEPA损失
L_JEPA = 1/|M| ∑_{t∈M} ||hψ(z̃_student)_t - z_teacher,t||²其中：
- M是掩码位置集合
- hψ是预测器
- z̃_student是带掩码的学生表示
- z_teacher是教师表示
2.3.2 聚类损失
使用KL散度衡量聚类头输出与GMM后验的差异：
L_cluster = 1/|M| ∑_{t∈M} KL(q_gmm,t || p_cluster,t)2.3.3 总损失
采用线性衰减的加权方案：
L_total = L_JEPA + λ(t)·L_cluster λ(t) = λ_start + (λ_end - λ_start)·t/T_max典型设置为λ_start=1.0，λ_end=0.01。
3. 实现细节与优化
3.1 数据增强策略
为提高模型鲁棒性，我们采用两种增强方式：
3.1.1 噪声添加
x_aug = x_clean + α·n α = sqrt(E_clean / (10^(SNR/10)·E_noise))其中：
- SNR从[-5,20]dB随机采样
- 应用概率25%
3.1.2 语句混合
x_mix[t1:t2] = x1[t1:t2] + β·x2[s1:s2] β = sqrt(E1·10^(ρ/10)/E2)其中：
- ρ从[-5,5]dB随机采样
- 最大重叠50%
- 应用概率25%
3.2 模型架构
3.2.1 编码器设计
采用跨步卷积+Conformer堆栈：
- 初始卷积：k=7, p=3, 1→C0通道
- 跨步块序列：
- 跨步卷积(k=2s, stride=s)
- Snake-Beta激活
- 残差块(膨胀卷积[1,3,5])
- 密度自适应注意力
- Conformer堆栈(4层)：
- 半步前馈(扩展因子4)
- 多头自注意力(32头)
- 深度可分离卷积(k=31)
总跨步[8×8×5]=320，对应16kHz下的20ms帧。
3.2.2 注意力机制创新
采用门控相对位置偏置：
- 对数分桶处理远距离位置：
bucket(i-j) = |i-j| if |i-j|<B/4 = B/4 + (B/4)·log(|i-j|/(B/4))/log(D_max/(B/4)) otherwise- 基于查询的门控：
g_update = σ(q·u) g_reset = σ(q·w)其中u,w是可学习向量。
4. 实验与分析
4.1 实验设置
- 数据：约50k小时语音(LibriLight大子集+English Granary)
- 基线：
- Pure JEPA(λ=0)
- WavLM-style(相同架构+k-means)
- 评估任务：
- ASR(LibriSpeech)
- 情感识别(IEMOCAP)
- 槽位填充(SNIPS)
4.2 主要结果
4.2.1 语音识别(WER)
| 模型 | WER(%) | 相对改进 |
|---|---|---|
| Pure JEPA | 100.00 | - |
| WavLM-style | 33.22 | 基线 |
| GMM-JEPA | 29.18 | -12.2% |
| GMM-JEPA-T | 28.68 | -13.7% |
4.2.2 槽位填充(F1)
| 模型 | Type F1 | 相对改进 |
|---|---|---|
| Pure JEPA | 5.0 | - |
| WavLM-style | 59.1 | 基线 |
| GMM-JEPA | 64.7 | +5.6 |
4.2.3 情感识别(准确率)
| 模型 | 平均准确率 | 相对改进 |
|---|---|---|
| WavLM-style | 65.46 | 基线 |
| GMM-JEPA | 67.30 | +1.8 |
| GMM-JEPA-T | 67.76 | +2.3 |
4.3 聚类质量分析
4.3.1 熵与聚类使用
| 模型 | 熵(%) | 使用聚类数 |
|---|---|---|
| Pure JEPA | 45 | 516/1024 |
| WavLM-style | 31 | 978/1024 |
| GMM-JEPA | 85 | 1007/1024 |
| GMM-JEPA-T | 98 | 1013/1024 |
4.3.2 可视化分析
UMAP投影显示：
- Pure JEPA：塌缩到小密集区域
- WavLM-style：扩散重叠的聚类
- GMM-JEPA：局部化、分离良好的聚类区域
5. 关键发现与讨论
5.1 残差监督的必要性
当λ_end=0时，模型性能显著下降：
- WER从29.18%升至40.95%
- 熵从84.7%降至57.7%
- 使用聚类数从1011降至506
这表明GMM锚定不仅是初始化手段，更是持续的稳定器。
5.2 架构通用性
方法在两种架构上均有效：
- Conformer-based(GMM-JEPA)
- Transformer-based(GMM-JEPA-T)
特别地，Transformer版本：
- 语音识别表现最佳(28.68% WER)
- 聚类熵最高(98%)
- 音素对齐最好(NMI=0.24)
5.3 软聚类的优势
相比硬聚类：
- 保留声学边界不确定性
- 提供更丰富的监督信号
- 实现更均匀的聚类使用(98% vs 31%熵)
6. 实际应用建议
基于我们的实验经验，给出以下实施建议：
GMM配置：
- 从K=512开始，根据GPU内存逐步增加
- 使用对角协方差确保训练稳定性
- 在10%数据上预拟合确定合适K值
训练技巧：
- 初始λ=1.0保持至少10%训练时长
- 线性衰减到λ=0.01效果最佳
- 最终λ不宜设为0，建议保持微小值(0.01-0.05)
数据增强：
- SNR范围[-5,20]dB效果均衡
- 语句混合比例控制在25%-30%
- 能量归一化避免幅值失真
架构选择：
- 需要音素级任务：优先Transformer
- 需要说话人特征：优先Conformer
- 内存受限时：减少Conformer层数
实测中发现：当batch size较小时(如<256)，适当增大λ_end(如0.05)有助于稳定训练。