超越传统方法：Harmonizer在自动驾驶场景重建中的突破性表现

超越传统方法：Harmonizer在自动驾驶场景重建中的突破性表现

【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer

Harmonizer作为NVIDIA推出的单步图像扩散模型，正为自动驾驶场景重建带来革命性变革。它专为神经重建图像和视频渲染打造，能将Neural Radiance Fields（NeRF）或3D Gaussian Splatting（3DGS）重建产生的不完美新视角渲染，转化为时间上一致的输出，更接近真实捕获效果，同时纠正动态物体合成到重建场景时出现的光照、阴影和重建伪影问题。

核心功能：两种模式满足不同场景需求 🚗

Harmonizer支持两种操作模式，为自动驾驶场景重建提供灵活解决方案。

离线模式：提升3D表示质量

在重建阶段使用，清理从重建渲染的伪训练视图，然后将其提炼回3D中。这种模式能增强约束不足的区域，提高整体3D表示质量，为自动驾驶场景的精准建模奠定基础。相关模型文件可参考diffusion_harmonizer.pkl。

在线模式：实时优化渲染效果

在模拟或推理过程中充当单步神经增强器。它能协调颜色和光照，为插入的动态物体重建缺失或不一致的阴影，并消除因不完善的3D监督和当前重建模型能力限制导致的残余重建伪影。非 temporal 模式的模型文件harmonizer_nontemporal.pt可实现更快的运行时性能。

性能优势：多项指标领先传统方案 🏆

在NDAS MLMCF和ParkNet训练会话的864张图像上进行的基准测试中，Harmonizer展现出卓越性能。PSNR越高越好，LPIPS和FID越低越好。

从数据可以看出，Harmonizer的 temporal 模式在PSNR和FID指标上均表现最佳，非 temporal 模式也不逊色，为自动驾驶场景重建提供了高效且高质量的选择。

技术架构：基于Diffusion Transformer的创新设计 🔧

Harmonizer的架构类型为Diffusion Transformer，网络架构基于Cosmos Predict2 0.6B，经过后训练成为单步、时间条件的图像到图像增强器，用于神经重建渲染。它以CosmosPredict2 0.6B文本到图像模型为骨干，在真实世界和模拟训练对上进行微调，实现颜色和光照协调、阴影校正以及伪影校正。

快速上手：简单步骤开启自动驾驶场景优化之旅 🚀

准备工作

首先克隆仓库，仓库地址是 https://gitcode.com/hf_mirrors/nvidia/Harmonizer。

下载模型

将预训练检查点下载到本地models/目录，可使用以下命令：

hf download nvidia/Harmonizer --local-dir models

运行推理

默认情况下，模型以 temporal 模式运行。要以非 temporal 模式运行，添加--nontemporal标志。具体推理入口点和配置文件可参考相关代码发布。

适用场景：为自动驾驶开发者赋能 💡

Harmonizer专为Physical AI开发者设计，旨在增强和协调自动驾驶模拟的神经重建管道。模型将图像或图像序列作为输入，输出经过协调的图像，具有校正后的颜色、光照、阴影和减少的重建伪影，为自动驾驶场景的模拟、训练和测试提供更优质的视觉数据。

总结

Harmonizer凭借其创新的技术架构、两种灵活的操作模式以及卓越的性能指标，在自动驾驶场景重建领域超越了传统方法。它为开发者提供了强大的工具，助力提升自动驾驶系统的视觉感知和场景理解能力，推动自动驾驶技术的进一步发展。无论是离线的3D建模优化，还是在线的实时渲染增强，Harmonizer都展现出了突破性的表现，成为自动驾驶场景重建的理想选择。

【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer