如何使用Harmonizer：从安装到推理的完整指南
如何使用Harmonizer：从安装到推理的完整指南
【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer
Harmonizer是一款由NVIDIA开发的单步图像扩散模型，专为神经重建图像和视频渲染打造的在线生成增强器。它能将神经辐射场（NeRF）或3D高斯 splatting（3DGS）重建产生的不完美新视角渲染转换为时间上一致的输出，使其更接近真实捕捉效果，同时纠正动态对象合成到重建场景时出现的照明、阴影和重建伪影问题。
准备工作：环境与依赖
系统要求
- 操作系统：Linux（推荐Ubuntu 20.04或更高版本）
- 硬件：NVIDIA GPU（支持Ampere、Hopper或Blackwell架构，如H100）
- 软件：PyTorch>=2.0.0
安装步骤
克隆仓库
git clone https://gitcode.com/hf_mirrors/nvidia/Harmonizer cd Harmonizer安装依赖请确保已安装PyTorch及相关依赖，可参考PyTorch官方安装指南。
模型下载与配置
下载模型 checkpoint
Harmonizer提供两种 checkpoint，适用于不同场景：
diffusion_harmonizer.pkl：支持时间条件的模型，适合视频风格的新视角模拟harmonizer_nontemporal.pt：非时间模式的单帧模型，适合对速度要求较高的场景
使用以下命令下载所有模型 checkpoint 到本地models/目录：
hf download nvidia/Harmonizer --local-dir models配置文件说明
项目根目录下的 config.json 文件定义了模型组件信息，包含各 checkpoint 的名称、文件路径和作用，方便用户了解和管理模型文件。
两种运行模式：离线与在线
离线模式
在重建阶段使用，清理从重建中渲染的伪训练视图，然后将其提炼回3D。这增强了约束不足的区域并提高了整体3D表示质量。
在线模式
在模拟或推理过程中作为单步神经增强器。它协调颜色和照明，为插入的动态对象重建缺失或不一致的阴影，并消除来自不完美3D监督和当前重建模型容量限制的残留重建伪影。
快速开始：推理教程
非时间模式推理（快速）
使用harmonizer_nontemporal.pt模型进行单图像增强，适合对速度要求较高的场景：
# 示例命令（具体请参考官方代码） python inference.py --model models/harmonizer_nontemporal.pt --input input_image.jpg --output output_image.jpg在H100上的推理速度：28 ms / 576 × 1024 px 图像
时间模式推理（高质量）
使用diffusion_harmonizer.pkl模型进行视频序列增强，提供更高的时间一致性：
# 示例命令（具体请参考官方代码） python inference.py --model models/diffusion_harmonizer.pkl --input input_sequence/ --output output_sequence/在H100上的推理速度：212 ms / 576 x 1024 px 图像
若要在时间模式模型上使用非时间快速推理，可添加--nontemporal标志：
python inference.py --model models/diffusion_harmonizer.pkl --nontemporal --input input_image.jpg --output output_image.jpg性能表现：基准测试结果
在来自NDAS MLMCF和ParkNet训练会话的864张图像上进行了基准测试。PSNR越高越好；LPIPS和FID越低越好。
| 模型 | PSNR | LPIPS | FID |
|---|---|---|---|
| Difix3D+ | 28.33 | 0.16 | 54.20 |
| Fixer: cosmos_3dgut | 30.99 | 0.16 | 41.87 |
| Harmonizer: 非时间模式 | 30.48 | 0.16 | 32.05 |
| Harmonizer: 时间模式 | 31.06 | 0.15 | 27.40 |
常见问题与注意事项
输入输出要求
- 输入格式：RGB图像
- 输入分辨率：576 px x 1024 px
- 输出格式：RGB图像
- 输出分辨率：576 px x 1024 px
技术限制
重建质量依赖于输入图像和相机校准的质量和一致性；这些方面的缺陷可能会对最终输出产生负面影响。
风险提示
模型不能保证修复100%的图像伪影。请验证生成的场景是否符合上下文和使用要求。
许可证信息
使用此模型受 NVIDIA Open Model License Agreement 管辖。
参考资料
- DiffusionHarmonizer 论文
- Harmonizer 训练和推理代码
- Harmonizer 数据集
【免费下载链接】Harmonizer项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Harmonizer
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考