AnySplat完全指南：3行代码搞定无约束视图下的3D高斯建模

AnySplat完全指南：3行代码搞定无约束视图下的3D高斯建模

【免费下载链接】AnySplat[SIGGRAPH Asia 2025 (ACM TOG)] AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views项目地址: https://gitcode.com/gh_mirrors/an/AnySplat

AnySplat是一项突破性的3D重建技术，能够从任意角度拍摄的普通图片中快速构建高精度3D高斯模型。作为SIGGRAPH Asia 2025的最新研究成果，这项技术通过创新的前馈神经网络架构，让普通用户也能轻松实现专业级3D建模，彻底改变了传统3D重建流程的复杂性。

什么是3D高斯建模？

3D高斯建模是当前计算机视觉领域的前沿技术，它使用数百万个高斯分布来表示三维场景。与传统的点云或网格模型相比，3D高斯模型具有以下优势：

• 高保真度：能够捕捉微小细节和复杂表面
• 实时渲染：支持交互式查看和动画生成
• 紧凑表示：比点云更节省存储空间

传统3D重建需要精确校准的相机位置和大量计算资源，而AnySplat通过先进的AI技术，实现了从无约束视图（普通手机拍摄的任意照片）直接生成3D模型的突破。

AnySplat工作原理揭秘 🧠

AnySplat的核心在于其创新的神经网络架构，能够从多张普通照片中同时预测3D高斯参数、深度图和相机姿态。

图：AnySplat的端到端3D重建流程，从输入图片到最终3D高斯模型的完整 pipeline

整个流程包括：

1. 几何Transformer：分析输入图像的空间关系
2. 三解码器头：分别预测高斯参数、深度图和相机姿态
3. 可微体素化：将像素级高斯转化为体素化3D表示
4. 多视图渲染：生成新视角图像和深度图进行自我监督

这种设计使AnySplat能够处理各种复杂场景，包括室内环境、自然景观和人造物体。

快速开始：3行代码实现3D重建

AnySplat的最大优势在于其极简的使用方式。只需几行代码，就能将普通照片转换为精美的3D模型：

# 加载预训练模型 model = AnySplat.from_pretrained("lhjiang/anysplat").to(device) # 处理输入图像 images = torch.stack([process_image(img) for img in image_paths]).unsqueeze(0).to(device) # 执行3D重建 gaussians, pred_context_pose = model.inference((images+1)*0.5)

这段代码实现了从图像加载到3D高斯模型生成的全过程。模型会自动分析图像内容，估计相机位置，并构建完整的3D表示。

安装指南：5分钟环境配置

准备工作

AnySplat需要以下环境：

• Python 3.10+
• PyTorch 2.2.0+
• CUDA 12.1+（推荐，用于加速计算）

一键安装步骤

1. 克隆仓库

git clone https://gitcode.com/gh_mirrors/an/AnySplat cd AnySplat

2. 创建虚拟环境

conda create -y -n anysplat python=3.10 conda activate anysplat

3. 安装依赖

pip install torch==2.2.0 torchvision==0.17.0 torchaudio==2.2.0 --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt

依赖包包括numpy、timm、huggingface_hub等核心库，以及gsplat等3D渲染专用组件，完整列表可查看requirements.txt。

直观体验：Gradio可视化界面

对于不熟悉代码的用户，AnySplat提供了友好的Gradio界面，让3D重建变得像使用普通软件一样简单：

图：AnySplat的Gradio交互界面，支持图片/视频上传和实时3D预览

启动方法：

python demo_gradio.py

界面功能包括：

• 图片/视频上传（视频会自动分割为帧）
• 3D重建结果实时预览
• RGB和深度图渲染
• 相机轨迹插值生成动画

高级应用：训练与优化

自定义训练

如果你有特定场景的数据集，可以使用以下命令进行模型微调：

# 单节点训练 python src/main.py +experiment=dl3dv trainer.num_nodes=1 # 多节点分布式训练 torchrun --nnodes=2 --nproc_per_node=8 -m src.main +experiment=multi-dataset

项目提供了针对CO3Dv2、DL3DV和ScanNet++等数据集的配置文件，位于config/experiment/目录下。

模型后优化

对于重建结果，还可以进行进一步优化：

python src/post_opt/simple_trainer.py default --data_dir ...

这一步能够提升模型的细节表现和渲染质量，特别适合对结果要求较高的应用场景。

评估指标与性能

AnySplat在多个基准数据集上表现优异：

• 新视角合成(NVS)：使用src/eval_nvs.py评估
• 姿态估计：使用src/eval_pose.py评估

评估指标包括PSNR、SSIM和LPIPS等图像质量度量，以及相机姿态估计精度。

实际应用案例

AnySplat的应用场景广泛，包括：

• 数字内容创作：快速构建3D场景用于游戏和动画
• 文物数字化：高精度保存文化遗产
• 虚拟现实：创建沉浸式VR环境
• 机器人导航：为机器人提供环境3D地图

项目提供了示例数据，位于examples/vrnerf/riverview/目录，包含一组河流景观的示例图片。

总结

AnySplat通过创新的AI技术，将复杂的3D重建过程简化为几行代码，为普通用户打开了3D建模的大门。无论是科研人员、内容创作者还是技术爱好者，都能从中受益。

随着技术的不断发展，我们期待AnySplat在更多领域发挥作用，推动3D内容创作的普及和创新。

引用与致谢

如果您在研究中使用了AnySplat，请引用以下论文：

@article{jiang2025anysplat, title={Anysplat: Feed-forward 3d gaussian splatting from unconstrained views}, author={Jiang, Lihan and Mao, Yucheng and Xu, Linning and Lu, Tao and Ren, Kerui and Jin, Yichen and Xu, Xudong and Yu, Mulin and Pang, Jiangmiao and Zhao, Feng and others}, journal={ACM Transactions on Graphics (TOG)}, volume={44}, number={6}, pages={1--16}, year={2025}, publisher={ACM New York, NY, USA} }

项目的开发借鉴了VGGT、NoPoSplat、CUT3R和gsplat等优秀开源项目的成果，在此表示感谢。

【免费下载链接】AnySplat[SIGGRAPH Asia 2025 (ACM TOG)] AnySplat: Feed-forward 3D Gaussian Splatting from Unconstrained Views项目地址: https://gitcode.com/gh_mirrors/an/AnySplat