DistillGaze：基于视觉基础模型的轻量化视线追踪技术解析
1. DistillGaze框架解析：基于视觉基础模型的轻量化视线追踪技术
视线追踪（Eye Tracking，ET）技术正成为增强现实（AR）和虚拟现实（VR）领域的核心交互方式。从游戏中的动态注视点到医疗训练中的注意力分析，精确的视线追踪能大幅提升用户体验。然而，传统方法面临两大痛点：一是设备硬件迭代带来的重复数据采集成本，二是标注数据获取困难导致的模型泛化瓶颈。
Meta Reality Labs团队提出的DistillGaze框架，通过视觉基础模型（Visual Foundation Models，VFMs）与知识蒸馏的巧妙结合，实现了仅需合成数据和无标注真实数据就能训练高性能设备端模型的突破。这个方案最吸引人的地方在于：在2000+参与者的实测中，其中位视线误差降低58.62%的同时，模型体积压缩至256K参数——相当于一个普通手机APP图标的大小。
2. 核心技术原理与架构设计
2.1 视觉基础模型在视线追踪中的适配挑战
现成的DINOv3等视觉基础模型在自然图像处理中表现出色，但直接应用于近眼红外图像时会出现显著性能下降。通过t-SNE可视化分析发现，原始VFMs的特征空间存在"身份主导"现象——不同用户的眼部图像会形成明显聚类，而同一用户不同视线方向的样本则紧密聚集（如图1a所示）。这表明模型更关注个人生物特征而非视线变化。
这种现象源于三个领域差异：
- 成像差异：AR/VR设备使用近轴红外摄像头，与自然图像的RGB数据分布不同
- 任务差异：视线追踪需要捕捉瞳孔、虹膜的微小形变，而非高级语义理解
- 角度差异：头戴设备常遇到极端离轴角度，导致眼部图像部分遮挡
2.2 两阶段蒸馏框架设计
DistillGaze的创新在于分阶段解决领域适应与模型压缩问题：
阶段一：领域专家教师模型训练
- 双数据流输入：同步处理标注合成数据（165K帧）和无标注真实数据（6,299段录制）
- 自监督学习：采用BYOL架构，教师模型接收弱增强图像，学生模型处理强增强图像
- 损失函数设计：
其中L_syn使用平滑L1损失处理合成数据标注，L_ssl通过MSE对齐师生模型特征，L_pseudo将教师预测作为真实数据的伪标签total_loss = λ_syn * L_syn(θ_s) + λ_ssl * (L_ssl + L_pseudo)
阶段二：轻量化学生模型蒸馏
采用三重监督策略：
- 特征蒸馏：通过VICReg损失对齐师生模型的中间特征
L_KD = λ_inv||z_t - z_s||² + λ_varVar(z_s) + λ_covCov(z_s) - 输出蒸馏：最小化师生模型预测差异
- EMA自蒸馏：引入学生模型的滑动平均版本提供一致性正则化
关键技巧：使用余弦调度动态调整λ_syn和λ_ssl权重，初期侧重合成监督，后期加强自监督学习
3. 实现细节与优化策略
3.1 数据工程方案
合成数据生成：
- 使用Blender渲染998个虚拟用户的眼部图像
- 覆盖不同人种、光照条件、头部姿态组合
- 精确标注瞳孔中心、虹膜边界等几何特征
真实数据处理：
- Project Aria眼镜采集的640×480红外图像
- 降采样至320×240提升处理效率
- 强增强策略包含：
- MTF滤波模拟光学退化
- 运动模糊模拟头部移动
- 随机阴影和反光模拟环境变化
3.2 模型架构选型
教师模型：
- 基础架构：DINOv3 ViT-B（86M参数）
- 新增组件：
- 三层的MLP投影头（隐藏层512维）
- gaze回归头（4输出对应左右眼偏航/俯仰）
学生模型：
- 主干网络：FBNet架构（256K参数）
- 二元输入处理：共享权重的双目特征提取
- 特征融合：通道拼接后接1D卷积降维
3.3 训练优化技巧
- 渐进式解冻：先固定VFMs底层参数，逐步解冻高层
- 异常值抑制：在平滑L1损失中设置γ=15°截断阈值
- 记忆库管理：维护最近1000个伪标签的滑动窗口
- 混合精度训练：FP16计算配合动态损失缩放
4. 性能评估与对比实验
4.1 评估指标设计
采用EU（Error-User）矩阵多维度评估：
- E50U50：中位用户的中位误差（典型场景）
- E90U90：90分位用户的90分位误差（极端情况）
- 分层bootstrap计算95%置信区间
4.2 基准对比结果
| 方法 | 参数量 | E50U50(°) | 提升幅度 |
|---|---|---|---|
| 纯合成监督基线 | 256K | 3.48 | - |
| DINOv3线性探测 | 86M | 5.47 | -57.2% |
| DARE-GRAM | 256K | 2.96 | 14.9% |
| DistillGaze（最终） | 256K | 1.44 | 58.6% |
特别值得注意的是，在E90U90指标上，本方法将误差从14.84°降至8.45°，这意味着对戴眼镜、浓妆等困难用户的识别可靠性显著提升。
4.3 消融实验发现
损失函数选择：
- 传统DINO损失：E50U50 1.50°
- 本文MSE损失：1.33°（提升11.3%）
架构对比：
- ConvNext-S学生模型：2.01°
- ViT-B学生模型：1.44°（验证ViT在细粒度任务优势）
数据组合实验：
- 仅合成数据：3.48°
- 无标注真实数据：1.44°（证明域适应有效性）
5. 实战部署建议
5.1 设备端优化技巧
量化部署：
- 采用8-bit整数量化
- 使用TFLite GPU代理加速
- 实测延迟<5ms（Quest Pro设备）
个性化微调：
// 用户校准期间收集9帧样本 void onUserCalibration(FrameQueue q) { auto opt_params = optimizeWithLM(gaze_model, q); updateModelParameters(opt_params); }能耗控制：
- 动态帧率调节（静止时5fps，运动时20fps）
- 瞳孔ROI检测减少处理区域
5.2 常见问题解决方案
问题1：极端角度下误差激增
- 方案：增加合成数据中的离轴样本比例
- 参数：将最大偏航角从±30°扩展到±45°
问题2：镜面反射干扰
- 方案：在数据增强中添加随机光斑
- 模型：增加注意力机制中的局部窗口大小
问题3：跨设备泛化
- 方案：构建多设备合成数据池
- 技巧：使用NeRF渲染不同相机位姿的图像
6. 应用前景与扩展方向
当前框架已展示出在AR/VR领域的巨大潜力，但其价值远不止于此：
- 医疗诊断：结合帕金森病患者的视线颤动模式分析
- 驾驶监控：轻量化实现驾驶员注意力检测
- 教育评估：课堂注意力分布可视化
未来可探索：
- 多模态融合（结合IMU数据提升鲁棒性）
- 在线自学习（持续优化部署模型）
- 跨模态蒸馏（将红外特征知识迁移到RGB模型）
这项工作的核心启示在于：通过"合成数据+无监督适应"的组合，我们能够打破计算机视觉任务对标注数据的依赖。特别是在设备端场景下，知识蒸馏展现了惊人的参数效率——用0.3%的参数量达到接近大模型的性能。