当“数字孪生”有了坐标、时序和一棵“会落叶的树”:NNU‑Campus‑Geo3DGS 数据集深度解读
地理编码的3D高斯,联结了数字重建与“真实地面”之间的两条坐标轴线
假设你是一名城市规划师,面对一座城市的数字孪生模型——楼宇轮廓完整、道路走向清晰、绿化植被葱郁——但无论怎样旋转视角,这座模型都“悬浮”在地理基准面之上,你不知道远处的楼到底离某个小区有多远,也不知道某个区域的植被在四季更迭中会经历怎样的变化。这就是传统三维重建在“地理信息孤岛”时期面临的典型困境——重建可以做得赏心悦目,但一旦需要与真实世界的地理坐标、高程数据、多时期变化分析对接,模型便显得苍白无力。
进入2025—2026年,随着3D Gaussian Splatting技术的快速普及,三维重建进入了一个新的“高保真、高速度”阶段。然而,绝大多数3DGS数据集仍以“单一场景、单一时刻、视觉展示优先”为设计导向,地理坐标系统往往是缺失的,时相覆盖也几乎空白。南京师范大学张宏教授团队正是在这一背景下,构建了NNU‑Campus‑Geo3DGS(南京师范大学仙林北区Geo3DGS场景数据集)——一个有地理坐标参考、覆盖夏秋冬三个时相、融合倾斜摄影与LiDAR数据的大规模3DGS场景数据集。
以下,我们从问题动机、数据采集与构建、多时相设计、数据特点、典型用例、价值贡献与未来展望几个维度,逐层拆解这个数据集的完整故事。
一、问题的起点:3DGS数据集的“坐标盲区”与“时相空白”
1.1 从“视觉重建”到“地理重建”
3D Gaussian Splatting自问世以来,凭借显式的高斯表征和高效的栅格化渲染,迅速成为NeRF之外的另一股新势力。与NeRF这类隐式表征相比,3DGS在训练速度和实时渲染方面的优势明显,使其快速进入机器人导航、自动驾驶仿真和增强现实等大规模应用领域。
然而,一个根本性的短板也随之浮出水面:大多数公开的3DGS数据集缺少地理坐标参考系统。原因既在于3DGS的早期文献主要聚焦于三维重建与高保真渲染的“通用能力”验证,而非面向特定领域(如GIS、地球科学)的融合需求;也在于地理坐标信息的采集、对齐和嵌入本身需要额外的数据采集与处理工程,而这是绝大多数纯计算机视觉数据集设计者所不具备或不优先考虑的。
在自动驾驶和机器人领域,缺少地理坐标意味着模型无法将重建的场景与真实世界的GPS轨迹、高程地形、地籍数据库进行对齐;在遥感与地理信息领域,缺少地理坐标意味着3DGS模型无法接入已有的地理信息系统工作流。也就是说,目前的3DGS数据集在“视觉质量”与“地理实用性”之间存在一道明显的壁垒。
1.2 “两个坐标,一个模型”的挑战
不仅如此,当前3DGS数据集的另一个普遍缺失是时相多样性。
真实世界不是静止的。植被在四季中变化——夏季枝繁叶茂,秋季由绿转黄,冬季落叶凋零;光照随季节和天气变化;甚至建筑设施、道路标志也会随时间变化。如果一个3DGS数据集只包含单一季节的采集,用这样的数据训练出来的感知模型,在季节交替时就会面临性能崩塌的严重风险,这在自动驾驶和智慧城市管理的长周期部署中是不可接受的。
然而,构建多时相3DGS数据集绝非易事:不同时相的图像采集需要在相同空间范围内进行多次高精度航拍;数据之间需要在统一地理坐标参考系下实现配准;后续的数据处理、模型训练和对比分析都需要建立在跨时相数据可直接比较的基础上。这是一项系统工程,而不仅仅是“在同一个地方多拍几次照片”那么简单。
1.3 同期研究的定位与互补关系
在同期乃至更早的研究中,“几何+坐标”的融合方向已经出现了零星探索:ICLR 2025公开的“Geo-3DGS: Multi-view Geometry Consistency for 3D Gaussian Splatting and Surface Reconstruction”提出利用多视图几何一致性约束和SDF辅助来提升3DGS的表面重建质量;同年,GeoRGS从稀疏输入的角度探索了3DGS的几何正则化方法;GeoSplatting尝试将等值面网格与3DGS结合以实现材质解耦。这些工作主要在“方法层面”提升3DGS的几何质量。
而NNU‑Campus‑Geo3DGS的定位则完全不同:它不是方法论文,而是一个为下游研究提供基础设施的数据集。它并不发明新的算法,而是提供“有坐标、有时相、可重复使用的3DGS场景数据”——这在目前的开放数据生态中几乎是一个空白。与上文系列中解读的360Loc(跨设备定位基准)、WeatherGS/WeatherEdit(天气干扰处理)和Cross3R(跨海拔重建)相比,NNU‑Campus‑Geo3DGS在更大尺度上服务于“3DGS与GIS的融合基础设施”这一更高层级的工程目标。
二、方法与数据:从“地理坐标”到“三个季节”
NNU‑Campus‑Geo3DGS的核心是一套多时相、高精度、地理坐标化的3DGS场景数据集,覆盖南京师范大学仙林校区北区(包括老北区、新北区)。以下从数据采集、数据处理、地理坐标构建和多时相设计四个方面展开。
2.1 数据采集:倾斜摄影与LiDAR双源融合
数据采集的核心设备是大疆经纬M300 RTK无人机,搭载P1全画幅相机(倾斜摄影)和L1激光雷达。
相机参数与飞行配置:
飞行高度:100米;
航向重叠率:75%;
旁向重叠率:55%——这些设计参数确保了多视角覆盖的充分性,为后续高精度三维重建奠定了数据基础。
采集设备精度:DJI L1系统在50米高度下的平面精度达10cm RMSE、高程精度5cm RMSE;DJI P1相机的绝对精度为平面3cm、高程5cm。厘米级精度在该遥感数据采集中位于领先梯队,直接保障了地理坐标对齐的可靠性。
采集场景涵盖建筑、道路、植被、山地等多种地理要素,形成了一个典型而丰富的校园尺度实景数据集。
2.2 数据处理与模型构建:从照片到Geo3DGS
第一步:空三解算与标定
原始倾斜影像照片经过空中三角测量(空三)处理,获取每张照片的内参数(焦距、主点等)和外参数(位置、姿态),输出为Colmap格式的稀疏点云数据。Colmap格式的采用意味着用户可以使用Colmap标准工具链读取相机的内外参数,从而能够复现、扩展或修正训练过程——这是数据集可复现性的重要保障。
第二步:LiDAR点云抽稀与融合
原始LiDAR点云经过抽稀处理,在保留关键地面结构信息的同时压缩数据量;抽稀后的LiDAR数据与倾斜影像的空三结果进行数据融合,转换为Colmap格式的模型训练数据。融合策略的核心价值在于:倾斜摄影提供的丰富纹理与LiDAR提供的高精度几何结构相互补足,使得后续的Geo3DGS模型在视觉质量和空间定位两方面都能获得高起点。
第三步:空间参考建立
数据统一在ENU坐标系(East‑North‑Up,即“东‑北‑天”坐标系)下,而ENU坐标系又建立在WGS84基准下的地心地固(ECEF)系统之上。这意味着每一个3D高斯点都关联了真实的地理坐标——用户可以精确获知某个教学楼在物理世界中的经纬度、海拔以及与周围要素的欧氏距离。
第四步:分块训练与模型生成
基于立方体网格对训练数据进行几何切块,在4张Nvidia A100 GPU卡上完成分块数据的并行训练,生成Geo3DGS模型数据;经过裁切得到最终成果,以3DGS Ply数据格式分块存储。分块策略在保障大场景完整性的同时,也为仅需局部区域数据的用户提供了按需下载的灵活性。
2.3 多时相设计:三个月相,三个版本
这是NNU‑Campus‑Geo3DGS区别于其他3DGS数据集最突出的特征。
数据集包含三个时相的独立版本:
| 采集时相 | 采集日期 | 数据内容 | 数据量 | 代表内容 |
|---|---|---|---|---|
| 夏季 | 2022年7月28日 | Geo3DGS模型 + 倾斜影像照片 + 抽稀后LiDAR点云 + Colmap稀疏点云 | 247 GB | 植被茂盛、枝叶繁密 |
| 秋季 | 2022年9月30日 | Geo3DGS模型 | 29 GB | 植被开始转变、光照变化 |
| 冬季 | 2022年12月14日 | Geo3DGS模型 | 68 GB | 植被落叶、山地区域裸露结构可见 |
三个时相的采集均采用统一的地理空间参考体系(ENU + WGS84基准),这意味着同一棵树的3D高斯点在夏、秋、冬三个版本中都具有一致的地理坐标。这使得用户可以在像素级和点级的尺度上,直接对三个时相的模型数据进行比较与分析,而无需额外配准。
从数据量差异(247GB vs 29GB vs 68GB)可以推测,夏季版本包含了完整的原始影像和LiDAR数据以及模型,而秋冬季版本目前仅发布了Geo3DGS模型数据本身。这与团队“先完成核心模型,后逐步开放原始数据”的分阶段发布策略一致。
2.4 数据集特点总结
NNU‑Campus‑Geo3DGS数据集的核心特征可以凝练为三个关键词:
地理坐标参考:每个3D高斯点都嵌入WGS84基准下的地理坐标,模型与真实物理世界之间建立了直接的可追溯关联。这与大多数仅关注重建质量的3DGS数据集形成了根本性区别——它使得重建结果能够被直接用于GIS分析、空间量测和地理信息系统的无缝接入。
多时相观测:覆盖夏季、秋季、冬季三个时期,捕捉了植被的季节性变化和光照条件的演变。三个时相采用统一的地理参考体系,为评估3DGS方法在季节变化下的鲁棒性、开展多时相变化检测研究提供了理想的数据基础。
高精度来源:基于消费级专业航摄设备的厘米级精度采集,融合倾斜摄影(丰富纹理)与LiDAR(高精度几何),形成了视觉真实感与几何精度的双高保障。
这些特点,正如数据集官方页面的概括所言,使得NNU‑Campus‑Geo3DGS“为3DGS与地理信息系统的融合提供数据支撑和技术参考”。
三、实验与典型用例:这个数据集能被用来做什么?
NNU‑Campus‑Geo3DGS作为“基础设施级”数据集,其“实验”更多体现在对下游任务的支撑能力上,而非方法层面的性能对比。论文中明确列出了以下几类核心用例。
3.1 季节性鲁棒性评估:当感知模型从夏天“活到”冬天
核心问题:如果用一个夏季采集的数据训练3DGS模型,它在冬季的真实场景中重建和渲染时,性能会下降多少?
用例价值:自动驾驶车辆和机器人是长期运行的——从夏季跨越到冬季是必然的,而季节性变化导致的植被外观巨大差异(夏季枝繁叶茂 vs 冬季光秃如柴)是三维重建和感知系统面临的最直接的“域漂移”之一。NNU‑Campus‑Geo3DGS提供了同一场景的三个时相模型,使研究人员能够定量地评估不同3DGS方法在季节变化下的鲁棒性表现,并有针对性地设计跨季节泛化策略。
3.2 多时相变化检测:从“点云对比”到“高斯对比”
核心问题:夏季模型中某栋教学楼的某一角新增了一座空调外机,冬季模型中一处植被变成了空地——如何让算法自动、精确地发现这些变化?
用例价值:传统变化检测通常依赖点云对比或多时相影像叠加分析,计算量大且对配准精度要求极高。而Geo3DGS将场景表达为地理坐标对齐的高斯基元,变化检测就可以降维成“同一地理坐标下的高斯属性(颜色、尺度、透明度、位置)的比较问题”。这种数据结构天然友好的变化检测范式,有望大幅提升变化检测的效率和精度。
数据集官方页面明确指出,该数据集“支持像素级和点级的跨时相直接比较与分析,便于开展变化检测研究”。
3.3 跨时相配准:当两个时相“坐标系高度对齐,但差异客观存在”
核心问题:三个时相采用了统一的地理坐标参考体系,但真实的航拍路线、无人机姿态和环境参数不可能完全一致。如何评估和校正这种由采集条件不同带来的跨时相“剩余偏移”?
用例价值:配准是变化检测的前提。NNU‑Campus‑Geo3DGS提供了一个“高度对齐但非完全对齐”的现实场景,使研究者能够开发和验证跨时相3DGS配准方法——并最终服务于高精度的变化检测和场景理解。
3.4 与地理信息系统的融合实验
核心问题:3DGS作为一个相对新的三维表征技术,如何与已有的GIS工作流(如ArcGIS、QGIS、PostGIS)实现数据互通?
用例价值:Geo3DGS为这种融合提供了一个“试点”数据集——它的地理坐标参考、分块存储和开放格式使得GIS工程师可以尝试将3DGS模型直接加载到地理空间数据基础设施中,探索包括空间查询(“查找海拔50米以上所有高斯点”)、场景分割(“分类植被/建筑/道路”)和地图底图叠加等在内的融合场景。数据集官方页面特别强调其“为3DGS与地理信息系统的融合提供数据支撑和技术参考”。
3.5 与系列解读的横向对比
将NNU‑Campus‑Geo3DGS放在此前解读的多篇工作中,它的角色非常清晰:
| 论文/数据集 | 核心任务 | 层级定位 | 关键特点 |
|---|---|---|---|
| Embodied VideoAgent (ICCV 2025) | 动态场景中建立持久物体记忆 | 记忆‑感知层 | VLM驱动的对象记忆库 |
| Human2Sim2Robot (CoRL 2025) | 跨具身形态技能学习 | 技能‑执行层 | 物体居中奖励 + RL |
| GiG (ICML 2026) | LLM长程任务规划 | 任务‑推理层 | Graph‑in‑Graph记忆 |
| Cross3R (NeurIPS 2026) | 跨海拔3D重建 | 几何‑重建层 | 卫星‑无人机‑地面融合 |
| 360Loc (CVPR 2024) | 跨设备视觉定位 | 几何‑定位层 | 虚拟相机 + 全景基准 |
| Body-Grounded (arXiv 2026) | 身体根基视角形成 | 认知‑存在层 | 内感受信号 + Fisher几何 |
| WeatherGS (ICRA 2025) | 恶劣天气下3D重建 | 几何‑重建层 | AEF + LED + 掩码引导3DGS |
| WeatherEdit (AAAI 2026) | 可控4D天气合成 | 几何‑生成层 | 扩散适配器 + 4D高斯场 |
| NNU‑Campus‑Geo3DGS (Dataset) | 3DGS与GIS融合 | 基础设施‑数据层 | 地理坐标 + 多时相 + 倾斜摄影‑LiDAR融合 |
与Cross3R(跨海拔)、360Loc(跨设备)和WeatherGS(跨天气)不同,NNU‑Campus‑Geo3DGS解决的是“跨时相”和“跨坐标系”的问题——让3DGS模型能够在不同季节、不同光照条件下被统一理解,并被纳入真实地理坐标体系中。在“感知‑重建‑理解”的完整链路上,NNU‑Campus‑Geo3DGS承担的是数据层的基础设施角色:它为所有需要3DGS场景的地理坐标化和多时相评估的研究,提供了第一个开放、高质量、可重复使用的基准。
四、创新的价值:NNU‑Campus‑Geo3DGS为3DGS社区带来了什么范式性改变?
4.1 地理坐标与3DGS的“第一次系统性融合”
NNU‑Campus‑Geo3DGS可以被视为第一个在构建之初就将“地理坐标参考”作为第一优先级设计的3DGS场景数据集。这不是在3DGS模型重建完成后“添加一个地理标签”的后处理操作,而是在数据采集、坐标系统构建和模型训练的全流程中,将每个高斯点的空间信息都关联到WGS84基准下的真实地理坐标。
这种设计意味着:使用NNU‑Campus‑Geo3DGS训练出来的3DGS模型,可以直接接入真实的地理信息工作流——与地图瓦片叠加、与GPS轨迹对齐、与行政区划数据相交、与高程数据融合。这一点对于GIS、智慧城市和自动驾驶领域的应用具有根本性的意义。
4.2 多时相设计:让3DGS走向“时态GIS”
三维重建的技术路线正在从“静态建模”向“时态建模”演进。NNU‑Campus‑Geo3DGS的多时相设计——夏季(247GB) → 秋季(29GB) → 冬季(68GB)——正是回应了这一趋势。它使得3DGS不再仅仅是一个“漂亮的外观快照”,而可以像真实世界一样经历时间的冲刷。
这项设计与前文解读的WeatherGS/WeatherEdit系列形成了巧妙的协同:WeatherEdit从“无天气”场景生成“有天气”场景以增强感知训练;而NNU‑Campus‑Geo3DGS则提供了真实环境中的季节性变化数据,用于评估模型在真实域漂移下的泛化能力。
4.3 倾斜摄影+LiDAR双重输入:一种可复制的“高质量数据构建模板”
NNU‑Campus‑Geo3DGS的数据采集与处理流程——DJI M300 RTK + P1倾斜摄影与L1激光雷达同步采集 → 空三解算 → LiDAR抽稀融合 → ENU坐标对齐 → 分块3DGS训练——提供了一套可复制、高标准的“地理级3DGS数据生产模板”。这意味着其他研究团队可以用相似的设备和流程,在其他地点构建类似的Geo3DGS数据集,从而形成一个更大规模、跨地域的Geo3DGS数据生态。
4.4 数据共享的开放性:地理信息数据中心的“数字保护”
NNU‑Campus‑Geo3DGS通过国家地球系统科学数据共享服务平台-长江三角洲分中心对外发布。数据集配备了清晰的DOI标识、规范的引用格式、数字水印版权保护和合规的使用声明,实现了数据的可追溯管理,有效保障了数据研究团队的版权。对于一个面向中国科研社区的数据产品而言,这种基于国家数据平台的合规发布模式为保护数据知识产权、促进数据合规使用提供了良好范例。
五、未来的追问:从“有坐标的3DGS”到“活的地球数字孪生”
5.1 从“三个时相”到“全季节连续观测”
当前数据集覆盖了夏、秋、冬三个时相,但春季是缺失的。季节变化的完整闭环(春→夏→秋→冬)在未来将需要补充。更进一步的设想是:在同一区域进行连续、高频次的航拍(如每月一次),形成一个真正意义上的“4D时态数字孪生”——让3DGS能够“回放”某棵树的落叶过程,而不仅仅是“之前”和“之后”的静态切片。
5.2 从“单校区”到“跨区域、跨城市”扩展
目前的数据集仅覆盖南京师范大学仙林校区北区,这只是大学校园尺度的“微观证明”。它的更大价值在于建立一套标准化的“Geo3DGS数据生产流程”之后,将采集范围扩展到更多的城市区域、乡村景观和自然保护区,最终服务于“数字中国”乃至“全球数字孪生”的宏观目标。
5.3 从“3DGS模型”到“GIS标准数据模型”的格式转换
当前数据格式是3DGS原生PLY格式。如何将3DGS模型无损或低损地转换为GIS领域广泛支持的格式(如CityGML、3D Tiles、GeoJSON + 点云)?这将决定Geo3DGS能否真正被GIS工程师“拿起来就用”。建立一个3DGS与主流GIS数据格式之间的高效转换规范,是数据集从“计算机视觉社区”走向“地球科学社区”的关键一步。
5.4 从“被动使用”到“主动更新”——变化的自动捕捉
当前多时相数据集的三个版本是分别采集、分别训练的。未来的演进方向是:设计一套增量更新机制,使新的航拍数据能够以“低训练成本”的方式被融合到旧的3DGS模型中,而不是每次都需要从零开始重建。这不仅节约计算资源,也是实现大规模数字孪生可持续运维的必需能力。
5.5 从一个数据集到一套“评估基准”
NNU‑Campus‑Geo3DGS的价值最终取决于它能否催生出一系列标准化的评估基准:季节性鲁棒性基准、跨时相变化检测基准、地理对齐精度基准等。当这些基准被3DGS社区广泛接纳和使用,NNU‑Campus‑Geo3DGS才能从“一份优秀的数据产品”升华为“一个推动学科前进的设施型资源”。
5.6 隐私与数据伦理:当“数字校园”遇见真实师生
NNU‑Campus‑Geo3DGS采集的是南京师范大学仙林校区的公共区域,因此在当前版本中不涉及个人肖像和住址等敏感信息。但如果Geo3DGS的数据采集范围被扩展到住宅区、工业园区或交通枢纽,就必须在规划阶段嵌入隐私保护机制——例如人脸/车牌自动模糊处理、敏感区域的视觉信息脱敏以及在数据使用协议中设置明确的伦理边界。这是所有地理级视觉数据集都必须面对的责任。
关键信息速览
| 维度 | 内容 |
|---|---|
| 数据集名称 | NNU‑Campus‑Geo3DGS(南京师范大学仙林北区Geo3DGS场景数据集) |
| 发布机构 | 国家地球系统科学数据共享服务平台-长江三角洲分中心 / 南京师范大学张宏教授团队 |
| 核心创建者 | 张宏、谢子涵、黄晓涵、薛阳、侯浩强、宋奕泽(夏季版);张宏、郭飞、谢子涵、黄晓涵、薛阳、王卓、侯浩强、宋奕泽(秋冬季版) |
| 数据DOI | 夏季:10.12009/YRDR.2025.3007.ver1.db;秋季:10.12009/YRDR.2026.3005.ver1.db;冬季:10.12009/YRDR.2026.3006.ver1.db |
| 时间版本 | 2022年7月28日(夏季/247GB),2022年9月30日(秋季/29GB),2022年12月14日(冬季/68GB) |
| 采集设备 | DJI M300 RTK + P1 倾斜摄影相机 + L1 激光雷达 |
| 飞行参数 | 飞行高度100m,航向重叠率75%,旁向重叠率55% |
| 坐标系统 | WGS84基准下的ENU坐标系(East‑North‑Up),每高斯点关联地理坐标 |
| 数据内容 | 畸变纠正后的倾斜影像照片 / LiDAR点云数据 / Colmap格式稀疏点云 / Geo3DGS模型数据(PLY格式) |
| 核心特点 | 地理坐标参考 + 多时相观测(三季覆盖) + 倾斜摄影‑LiDAR融合 |
| 适用方向 | 3DGS季节性鲁棒性评估 / 多时相变化检测 / 跨时相配准 / GIS‑3DGS融合 |
| 访问方式 | 国家地球系统科学数据共享服务平台-长江三角洲分中心申请下载:nnu.geodata.cn / geodata.nnu.edu.cn |
| 致谢格式 | 中文:“感谢国家科技基础条件平台‑国家地球系统科学数据共享服务平台‑长江三角洲科学数据中心(http://geodata.nnu.edu.cn)提供数据支撑。” |
【本文系列已解读论文/数据集汇总】
- Embodied VideoAgent(ICCV 2025):持久场景记忆与动态理解
- Human2Sim2Robot(CoRL 2025):单段视频的跨具身技能学习
- GiG(ICML 2026):图结构记忆启用的LLM任务规划
- Cross3R(NeurIPS 2026):跨海拔3D重建(卫星‑无人机‑地面)
- 360Loc(CVPR 2024):跨设备视觉定位与全景基准
- Body-Grounded Perspective Formation(arXiv 2026):身体根基视角形成
- WeatherGS(ICRA 2025):恶劣天气下的3D场景重建
- WeatherEdit(AAAI 2026):可控4D天气合成与场景编辑
- NNU‑Campus‑Geo3DGS(Dataset):地理坐标化的多时相3DGS场景数据集
正如NNU‑Campus‑Geo3DGS所启示的那样,真正的数字孪生不只是一场高保真的“视觉演出”,而是一套有坐标、有时序、可量测、能推演的基础设施。当一个三维重建模型中的每一棵树木都被赋予真实世界的经纬度和高程,当一个场景中的每一个物体都可以在夏、秋、冬三个时相之间被系统比较,3DGS才真正从“计算机图形学的工具箱”迈入了“地理信息时代的基石”。当地理坐标、季节循环和高斯点云三者交织在一起时,我们手中的模型不再是悬浮于虚拟空间的数字幻象,而是真实地球的一枚像素级“碎片”。
