告别漫长等待：3D生成进入“秒时代”！Apple 重新定义实时视图合成
告别漫长等待：3D 生成进入“秒时代”！Apple 重新定义实时视图合成
论文标题：Sharp Monocular View Synthesis in Less Than a Second
👉 一键直达论文
👉Lab4AI 大模型实验室论文阅读
✨ 研究背景
在 AR/VR 及互动照片浏览领域，用户迫切需要能从单张照片快速生成高保真、可交互的 3D 场景 。然而，传统的神经渲染技术（如 NeRF）通常需要多张输入图像和耗时的场景优化过程，难以满足实时交互的需求。
另一方面，虽然现有的扩散模型能实现单图转 3D，但其合成时间往往长达数分钟，且在近距离观察时图像细节不够锐利。因此，如何在极低延迟内生成支持实时渲染、且具备摄影级精细度的 3D 表示，是当前的一大技术痛点。
✨ 核心创新
SHARP（Single-image High-Accuracy Real-time Parallax）采用纯回归框架，通过单一前馈神经网络直接回归出 3D 高斯表示 。其关键技术选择包括：
- 🔍 端到端架构：设计了一个包含预训练编码器、深度解码器和高斯解码器的网络，能够生成约 120 万个高斯基元。
- 🔍 有状态的深度调整模块：引入学习型的深度调整模块，在训练中通过解决深度估计的不确定性（如透明或反射表面）来提升合成视角的锐度 。
- 🔍 优化的损失配置：结合了颜色损失、感知损失（LPIPS）、Gram 矩阵损失以及多种正则化项，在确保图像锐利的同时抑制了常见的视觉伪影。
- 🔍 自监督微调（SSFT）：在真实图像上利用模型生成的伪标签进行进一步微调，增强了模型处理复杂视角效果的能力。
✨ 贡献
SHARP 框架通过单前馈神经网络，1 秒内回归 120 万基元 3D 高斯表示，比扩散模型快三个数量级。零样本测试刷新 SOTA，LPIPS（25-34%）、DISTS（21-43%）降低，图像质量提升；搭载深度调整模块与自监督微调策略，解决单目深度估计模糊，保障视角锐度与保真度。