Street Gaussians完全指南：动态城市场景建模的革命性技术

Street Gaussians完全指南：动态城市场景建模的革命性技术

【免费下载链接】street_gaussiansCode for "Street Gaussians for Modeling Dynamic Urban Scenes"项目地址: https://gitcode.com/gh_mirrors/st/street_gaussians

Street Gaussians是一项基于高斯溅射技术的突破性解决方案，专为动态城市场景建模设计。这项由ZJU3DV团队开发的技术能够精确捕捉城市环境中的静态背景与动态目标，为自动驾驶、城市规划和AR/VR应用提供高质量的3D场景表示。

什么是Street Gaussians技术？

Street Gaussians是一种创新的3D场景建模方法，它结合了高斯溅射（Gaussian Splatting）技术与动态目标追踪能力，能够高效处理复杂城市场景中的动态元素。该技术在ECCV 2024会议上正式发布，论文标题为"Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting"。

与传统的静态场景建模方法不同，Street Gaussians能够同时处理：

• 静态背景环境（如道路、建筑物）
• 动态移动目标（如车辆、行人）
• 天空等特殊环境元素

核心技术优势

Street Gaussians的核心优势在于其独特的分层建模架构，通过分离不同类型的场景元素实现高效渲染和动态更新：

• 多模型分离设计：将场景分为背景、动态目标和天空等独立模型
• 动态外观建模：使用傅里叶系数和时间基函数捕捉动态目标的外观变化
• 高效优化策略：针对不同场景元素采用特定的优化方法

图：Street Gaussians的技术流程图，展示了从场景表示到最终渲染的完整 pipeline

快速开始：安装与配置

环境准备

要开始使用Street Gaussians，首先需要克隆项目仓库并设置Python环境：

git clone https://gitcode.com/gh_mirrors/st/street_gaussians cd street_gaussians

创建并激活conda环境：

conda create -n street-gaussian python=3.8 conda activate street-gaussian

依赖安装

安装PyTorch及相关依赖：

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116 pip install -r requirements.txt

安装项目子模块：

pip install ./submodules/diff-gaussian-rasterization pip install ./submodules/simple-knn pip install ./submodules/simple-waymo-open-dataset-reader

验证安装是否成功：

python script/test_gaussian_rasterization.py

数据准备与预处理

Waymo开放数据集

Street Gaussians主要针对Waymo开放数据集设计，您可以：

1. 下载示例场景数据：示例场景
2. 或下载完整Waymo开放数据集并进行预处理

预处理示例场景：

python script/waymo/waymo_converter.py --root_dir TRAINING_SET_DIR --save_dir SAVE_DIR --split_file script/waymo/waymo_splits/demo.txt --segment_file script/waymo/waymo_splits/segment_list_train.txt

生成LiDAR深度图：

python script/waymo/generate_lidar_depth.py --datadir DATA_DIR

生成天空掩码：

python script/waymo/generate_sky_mask.py --datadir DATA_DIR --sam_checkpoint SAM_CKPT

模型训练指南

配置文件选择

Street Gaussians提供了多种配置文件以适应不同场景需求：

• 单目视频重建：使用configs/experiments_waymo目录下的配置文件
• 通用序列重建：使用configs/default.yaml

开始训练

训练示例场景：

bash script/waymo/train_waymo_example.sh

训练实验场景：

bash script/waymo/train_waymo_exp.sh

自定义训练命令：

python train.py --config configs/xxxx.yaml

训练过程中，模型会自动优化场景中的高斯分布参数，包括位置、旋转、缩放和不透明度等。

渲染与可视化

渲染场景

渲染示例场景：

bash script/waymo/render_waymo_example.sh

自定义渲染命令：

python render.py --config configs/xxxx.yaml mode {evaluate, trajectory}

可视化工具

将特定帧转换为SIBR_viewers可查看的格式：

python make_ply.py --config configs/xxxx.yaml viewer.frame_id {frame_idx} mode evaluate

核心技术解析

分层模型架构

Street Gaussians的核心是其分层模型架构，主要包含：

• 背景模型：GaussianModelBkgd
• 动态目标模型：GaussianModelActor
• 天空模型：GaussinaModelSky

这些模型通过StreetGaussianModel类进行统一管理和协调。

动态目标处理

动态目标处理是Street Gaussians的关键创新点，通过以下技术实现：

• 目标追踪：使用ActorPose类处理动态目标的位姿估计
• 外观建模：结合傅里叶系数和球谐函数捕捉动态外观变化
• 运动一致性：通过优化确保动态目标运动的物理一致性

应用场景与未来展望

Street Gaussians技术在多个领域具有广泛应用前景：

• 自动驾驶：提供精确的环境感知和动态障碍物建模
• 城市规划：生成高精度城市3D模型，支持虚拟规划和分析
• AR/VR应用：创建沉浸式城市虚拟环境
• 机器人导航：为机器人提供详细的环境理解

随着技术的不断发展，Street Gaussians有望在动态场景建模的精度和效率上进一步提升，为更多应用场景提供支持。

引用与致谢

如果您在研究中使用了Street Gaussians，请引用以下论文：

@inproceedings{yan2024street, title={Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting}, author={Yunzhi Yan and Haotong Lin and Chenxu Zhou and Weijie Wang and Haiyang Sun and Kun Zhan and Xianpeng Lang and Xiaowei Zhou and Sida Peng}, booktitle={ECCV}, year={2024} }

该项目基于3D Gaussian Splatting技术开发，并使用了Waymo开放数据集，在此表示感谢。

【免费下载链接】street_gaussiansCode for "Street Gaussians for Modeling Dynamic Urban Scenes"项目地址: https://gitcode.com/gh_mirrors/st/street_gaussians