港科大沈劭劼、谭平团队最新成果：开源280万全景数据集，实现零样本立体匹配
「一举攻克全景3D视觉两大瓶颈」
目录
01 行业痛点：数据匮乏与畸变失效的双重桎梏
1. 数据集稀缺，泛化能力受限
2. 球面畸变破坏单目先验一致性
02 核心突破：超大数据与航向对齐先验双驱动
1. 280万级合成数据集，打破数据壁垒
2. 航向对齐法向量，适配球面几何
3. 迭代匹配架构，兼顾精度与效率
03 实验验证：零样本性能全面领先
1. 跨域数据集碾压对比
2. 消融实验验证核心设计
3. 真实环境与里程计落地
04 行业价值与局限
1. 核心价值
2. 现存局限
05 总结
全景立体匹配能让机器人在未知环境里实时感知360°的三维深度，这是导航和AR/VR的关键能力。
上下排布的全景相机是获取这种能力的核心硬件，但用它来做高精度立体匹配，目前卡在两个地方：一是带标注的训练数据太少，模型换个场景就容易失效；二是全景图像特有的球面畸变，让很多在透视图像上很成熟的模型方法直接“水土不服”。
针对这个问题，香港科技大学沈劭劼教授联合谭平教授团队提出了H-OmniStereo。他们没有沿着小数据修修补补的旧路走，而是直接构建了一个超大规模合成数据集来打破数据瓶颈，并设计了一种航向对齐法向量先验来适配球面几何，最终实现了零样本全景立体匹配。
图| 上下全景相机对与全景立体匹配重建效果
01 行业痛点：数据匮乏与畸变失效的双重桎梏
全景立体匹配的核心优势是上下相机形成的垂直对极线，可直接适配透视立体匹配的成熟架构。但从透视到全景的迁移并非易事，核心矛盾集中在两方面：
图| 现有上下全景立体数据集对比
1. 数据集稀缺，泛化能力受限
现有全景立体数据集规模极小，最大仅4万对图像，且场景多局限于室内、相机参数固定。模型多在同域数据训练测试，零样本泛化能力极差，难以适配户外、动态场景及消费级相机的多变参数。
2. 球面畸变破坏单目先验一致性
透视图像训练的单目深度模型，在全景球面畸变下精度骤降。而全景深度模型预测的是到球面中心的距离，同一3D点在上下视图中深度值不一致，导致先验特征不可靠。此外，全景图像航向旋转不改变局部模式，但固定坐标系下的法向量会随视角变化，模型需区分相同模式的不同法向量，训练效率低且易过拟合。
这些问题导致现有方法（如360SD-NET、MODE）在跨域场景中误差极高，难以落地真实环境。
02 核心突破：超大数据与航向对齐先验双驱动
H-OmniStereo的核心创新是超大规模合成数据集与航向对齐法向量估计，从数据和模型设计层面同时破解行业难题。
1. 280万级合成数据集，打破数据壁垒
图| 合成全景立体数据集样本
团队基于NVIDIA Isaac Sim构建超大规模全景立体合成数据集，包含283万对上下等矩形图像，是现有数据集的70倍。数据集设计兼顾规模与多样性：
- 场景多元：涵盖室内外、结构化场景（GRUtopia、HM3D）与随机混沌场景，融合80万高分辨率3D资产；
- 参数随机化：相机基线0.05–0.5米、姿态（滚转/俯仰）±45°随机生成，覆盖真实消费级相机参数范围；
- 标注完备：每帧包含精准深度、表面法线标签，为多任务训练提供监督。
该数据集不仅规模空前，更通过随机布局模拟真实世界复杂性，为零样本泛化提供数据基础，且将开源共享。
2. 航向对齐法向量，适配球面几何
图| 标准相机坐标系法 vs 航向对齐法
传统全景法向量在固定相机坐标系定义，忽略航向旋转不变性，导致特征不一致。H-OmniStereo提出航向对齐法向量先验，核心是让法向量随像素经度旋转，公式如下：
其中，为相机坐标系法向量，
为像素经度角。该设计实现三大优势：
- 旋转不变性：相同局部模式对应相同法向量，模型无需区分重复模式，训练效率提升；
- 跨视图一致：同一经度像素共享坐标系，上下视图法向量特征对齐；
- 畸变鲁棒：适配球面几何，缓解边缘区域畸变影响。
团队用840万全景图像（含合成数据与公开数据集）训练法向量估计器，为立体匹配提供几何先验。
3. 迭代匹配架构，兼顾精度与效率
H-OmniStereo采用混合特征迭代优化框架：
图| H-OmniStereo 整体网络架构
- 特征提取：冻结预训练法向量估计器，提取几何特征，结合侧调适配器融合图像外观特征，构建混合特征；
- 代价体构建：生成3D相关代价体与4D混合代价体，通过注意力混合滤波聚合信息；
- 迭代优化：用ConvGRU迭代细化视差，同步预测不确定性，过滤不可靠匹配点，提升精度；
- 损失设计：分三阶段训练——法向量角损失、视差平滑L1损失、不确定性负对数似然损失，逐步优化模型。
03 实验验证：零样本性能全面领先
1. 跨域数据集碾压对比
图| 全景立体匹配定量对比（3D60/3D60Warp/MVS GI）
在3D60、3D60Warp（旋转鲁棒性）、MVS GI（户外泛化）三大跨域测试集上，H-OmniStereo的MAE、RMSE等核心指标远优于现有方法，误差仅为360SD-NET的1/6、MODE的1/9。定性结果显示，其视差图边界更清晰、无纹理区域更平滑，点云重建细节更丰富。
图| 视差图定性对比（360SD-Net、MODE、 ours）
2. 消融实验验证核心设计
- 数据规模：数据集从52万增至283万，MAE从0.147降至0.103，证明规模与多样性的重要性；
图| 训练数据规模消融
- 航向对齐：相比固定坐标系，全图MAE降低15%，中心裁剪（视野不匹配）场景降低76%，鲁棒性显著提升；
图| 航向对齐法与固定法的消融（全图 + 中心裁剪）
- 先验对比：航向对齐法向量优于DepthAnythingV2、DA²等单目模型，球面畸变下特征更可靠。
图| 单目先验消融对比
3. 真实环境与里程计落地
模型直接适配消费级全景相机，无需微调即可重建清晰家具、平整墙面。集成至全景视觉里程计后，在 unseen 场景轨迹误差降低30%，可实时（0.47秒）完成三维重建与轨迹估计。
04 行业价值与局限
1. 核心价值
- 数据开源：280万级全景数据集将大幅推动领域研究，缓解数据稀缺痛点；
- 范式创新：航向对齐先验为全景几何建模提供新思路，可迁移至深度估计、分割等任务；
- 落地可行：单模型适配多场景、多相机，无需微调，降低部署成本。
图| 全景视觉里程计姿态误差对比
2. 现存局限
- 合成数据与真实域差距：虽多样化，但与真实世界光照、材质仍有差距；
- 标定敏感性：依赖相机内参，标定误差影响精度；
- 动态场景弱：静态场景表现优，动态物体匹配仍需优化。
05 总结
H-OmniStereo以超大规模合成数据+航向对齐法向量为核心，打破全景立体匹配的数据与几何双重瓶颈，实现零样本跨域泛化。其不仅提供高性能模型与开源数据，更确立“数据规模化+几何感知先验”的行业新方向，为机器人、AR/VR等领域的全场景三维感知提供关键支撑。
未来，结合真实数据微调、优化动态场景适配、降低标定依赖，将进一步推动全景立体匹配从实验室走向大规模落地。
Ref
论文标题：H-OmniStereo: Zero-Shot Omnidirectional Stereo Matching with Heading-Aligned Normal Priors
论文链接：https://arxiv.org/pdf/2605.14963