Pointcept数据集准备详解：ScanNet、S3DIS等8大主流数据集完整指南

Pointcept数据集准备详解：ScanNet、S3DIS等8大主流数据集完整指南

【免费下载链接】PointceptPointcept: Perceive the world with sparse points, a codebase for point cloud perception research. Latest works: Utonia, Concerto (NeurIPS'25), Sonata (CVPR'25 Highlight), PTv3 (CVPR'24 Oral)项目地址: https://gitcode.com/gh_mirrors/po/Pointcept

Pointcept是一个功能强大的点云感知研究代码库，支持多种主流3D数据集。对于想要快速上手点云分割、分类和检测的研究者和开发者来说，掌握Pointcept的数据集准备流程是成功的第一步。本文将详细介绍Pointcept支持的8大主流数据集准备方法，包括ScanNet、ScanNet++、S3DIS、Structured3D、Matterport3D、SemanticKITTI、nuScenes和Waymo，帮助您快速构建点云感知实验环境。

📊 Pointcept支持的8大点云数据集概览

Pointcept代码库为多种室内外点云数据集提供了一致的预处理接口和训练框架。以下是支持的数据集列表：

1. 室内场景数据集

   • ScanNet / ScanNet200 / ScanNet Data Efficient
   • ScanNet++（最新高精度室内数据集）
   • S3DIS（Stanford 3D Indoor Spaces）
   • Structured3D（合成室内场景）
   • Matterport3D（真实室内场景）
   • ArkitScenes（ARKit室内场景）

2. 室外场景数据集

   • SemanticKITTI（自动驾驶场景）
   • nuScenes（多传感器自动驾驶）
   • Waymo（大规模自动驾驶）

3. 物体级数据集

   • ModelNet40（3D形状分类）
   • ShapeNetPart（部件分割）

🛠️ 数据集预处理核心流程

所有数据集的预处理都遵循相似的流程，主要步骤包括：

1. 数据下载与授权

每个数据集都需要从其官方网站下载并同意相应的使用协议。Pointcept提供了详细的下载指引和预处理脚本。

2. 预处理脚本执行

每个数据集都有对应的预处理脚本，位于pointcept/datasets/preprocessing/目录下：

• ScanNet:preprocess_scannet.py
• ScanNet++:preprocess_scannetpp.py
• S3DIS:preprocess_s3dis.py
• Structured3D:preprocess_structured3d.py
• Matterport3D:preprocess_matterport3d_mesh.py
• nuScenes:preprocess_nuscenes_info.py
• Waymo:preprocess_waymo.py

3. 数据格式标准化

Pointcept将所有数据集转换为统一的.pth格式，包含以下关键字段：

• coord: 点云坐标 (N×3)
• color: RGB颜色 (N×3)
• normal: 法向量 (N×3)
• segment: 语义标签 (N×1)
• instance: 实例标签 (N×1)

上图展示了Pointcept中点云批处理的核心概念——**偏移量（Offset）与批次索引（Batch）**的转换机制。在处理多个不同大小的点云时，这种机制确保了高效的内存使用和计算并行化。

🔧 详细数据集准备步骤

ScanNet数据集准备

ScanNet是室内3D语义分割的基准数据集，包含1513个扫描场景。

步骤1：下载原始数据

# 访问ScanNet官网获取下载权限 # 下载ScanNet v2数据集

步骤2：运行预处理脚本

python pointcept/datasets/preprocessing/scannet/preprocess_scannet.py \ --dataset_root ${RAW_SCANNET_DIR} \ --output_root ${PROCESSED_SCANNET_DIR}

步骤3：链接到代码库

mkdir -p data/scannet ln -s ${PROCESSED_SCANNET_DIR} data/scannet/train

S3DIS数据集准备

S3DIS包含6个大型室内区域的3D扫描，总面积超过6000平方米。

步骤1：申请数据访问

• 填写Google表单获取Stanford3dDataset_v1.2.zip
• 可选：下载2D-3D语义数据集用于法向量计算

步骤2：预处理命令

# 基本预处理（无对齐角度） python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py \ --dataset_root ${S3DIS_DIR} \ --output_root ${PROCESSED_S3DIS_DIR} # 带法向量解析（需要更多内存） python pointcept/datasets/preprocessing/s3dis/preprocess_s3dis.py \ --dataset_root ${S3DIS_DIR} \ --raw_s3dis_dir ${RAW_S3DIS_DIR} \ --output_root ${PROCESSED_S3DIS_DIR} \ --parse_normal

ScanNet++数据集准备

ScanNet++是ScanNet的升级版，提供更高精度的扫描数据。

特殊处理：数据分块由于ScanNet++数据量巨大，需要进行分块处理：

# 数据分块处理 python pointcept/datasets/preprocessing/sampling_chunking_data.py \ --dataset_root ${PROCESSED_SCANNETPP_DIR} \ --grid_size 0.01 \ --chunk_range 6 6 \ --chunk_stride 3 3 \ --split train \ --num_workers ${NUM_WORKERS}

室外数据集特殊处理

SemanticKITTI

• 需要下载序列00-10的训练数据和序列11-21的测试数据
• 使用KITTI的校准文件进行坐标转换

nuScenes

• 需要下载完整nuScenes数据集（约300GB）
• 使用OpenPCDet格式的信息预处理
• 支持多传感器融合

Waymo

• 下载Waymo Open Dataset v1.4.3
• 按照官方目录结构组织
• 包含完整的传感器数据（激光雷达、相机）

🚀 快速开始：一键预处理脚本

对于想要快速验证的研究者，Pointcept提供了预处理的替代方案：

下载预处理的HuggingFace数据

# ScanNet预处理数据 # 访问：https://huggingface.co/datasets/Pointcept/scannet-compressed # ScanNet++预处理数据 # 访问：https://huggingface.co/datasets/Pointcept/scannetpp-compressed # 其他数据集也有相应的预处理版本

使用预训练模型快速验证

Pointcept在HuggingFace上提供了多种预训练模型，可以直接用于推理和微调。

📁 项目目录结构解析

了解Pointcept的目录结构有助于更好地使用数据集：

pointcept/datasets/ ├── preprocessing/ # 所有数据集的预处理脚本 │ ├── scannet/ # ScanNet预处理 │ ├── s3dis/ # S3DIS预处理 │ ├── scannetpp/ # ScanNet++预处理 │ ├── nuscenes/ # nuScenes预处理 │ └── waymo/ # Waymo预处理 ├── scannet.py # ScanNet数据集类 ├── s3dis.py # S3DIS数据集类 ├── scannetpp.py # ScanNet++数据集类 ├── nuscenes.py # nuScenes数据集类 ├── waymo.py # Waymo数据集类 └── defaults.py # 默认数据集配置

💡 实用技巧与注意事项

内存优化技巧

1. 分批处理：对于大型数据集（如Waymo、nuScenes），使用--num_workers参数控制并行度
2. 磁盘空间：预处理后的数据通常比原始数据大2-3倍，确保有足够存储空间
3. 缓存机制：Pointcept使用共享字典缓存加速数据加载

常见问题解决

1. 权限问题：确保对下载的数据有读取权限
2. 路径问题：使用绝对路径或正确配置符号链接
3. 版本兼容性：检查数据集版本与代码兼容性

性能优化建议

1. 使用SSD存储加速数据读取
2. 为大型数据集配置足够的内存
3. 合理设置数据加载的工作进程数

🎯 数据集配置示例

每个数据集都有对应的配置文件，位于configs/目录下：

• ScanNet:configs/scannet/semseg-pt-v3m1-0-base.py
• S3DIS:configs/s3dis/semseg-pt-v3m1-0-base.py
• SemanticKITTI:configs/semantic_kitti/semseg-pt-v2m2-0-base.py

配置文件包含了数据路径、训练参数、模型架构等完整设置。

📈 数据集统计与比较

🔗 资源与下一步

完成数据集准备后，您可以：

1. 开始训练：使用提供的训练脚本开始模型训练
2. 评估模型：使用测试脚本评估模型性能
3. 自定义数据集：参考现有数据集类实现自己的数据集
4. 参与社区：在GitHub上报告问题和贡献代码

通过本文的详细指南，您应该能够顺利完成Pointcept所有主流数据集的准备工作。正确的数据准备是成功进行点云感知研究的基础，祝您在3D视觉研究中取得丰硕成果！

温馨提示：在实际使用中，请务必遵守各数据集的许可协议，并正确引用相关论文。Pointcept社区欢迎您的反馈和贡献，共同推动点云感知技术的发展。

【免费下载链接】PointceptPointcept: Perceive the world with sparse points, a codebase for point cloud perception research. Latest works: Utonia, Concerto (NeurIPS'25), Sonata (CVPR'25 Highlight), PTv3 (CVPR'24 Oral)项目地址: https://gitcode.com/gh_mirrors/po/Pointcept