单目3D重建实战指南：用MoGe从一张照片生成可测量的点云、深度与法线图

单目3D重建实战指南：用MoGe从一张照片生成可测量的点云、深度与法线图

【免费下载链接】MoGe[CVPR'25 Oral] MoGe: Unlocking Accurate Monocular Geometry Estimation for Open-Domain Images with Optimal Training Supervision项目地址: https://gitcode.com/GitHub_Trending/mo/MoGe

只给你一张照片，你能报出画面里沙发的真实高度、茶几离墙几米吗？没有激光雷达、没有第二视角，绝大多数人会直接摇头。但MoGe——一个拿下CVPR'25 Oral的单目几何估计模型——偏偏能从一张普通照片里，同时输出带真实尺度的点云、深度图和法线图，连相机的视场角都能顺手猜出来。这篇文章不讲空泛的原理，只带你走完"装起来、跑起来、用起来"的全程，顺便把新手最容易踩的坑都提前替你填平。

它到底解决了什么：给平面照片"量身高"

先打个比方。人类靠两只眼睛判断远近，而单目几何估计（monocular geometry estimation，即"只看一张图就反推空间关系"）相当于给照片配了一只"透视眼"。MoGe给画面里每个像素都标注了三个关键信息：

• 点图（point map）：每个像素在世界坐标系里的3D坐标。白话讲，就是画面上每个点"离你多远、偏左还是偏右、高低几何"。
• 深度图（depth map）：每个像素到相机的直线距离，深浅用灰度表示。
• 法线图（normal map）：每个像素的表面朝向哪个方向，是做光照计算和表面重建的关键。

MoGe-2在MoGe-1的基础上做了四项升级：点云从"相对比例"升级为度量尺度（metric scale）——输出的就是米和厘米级的真实单位，可以直接拿尺子量；细节锐度明显提升；新增了法线图输出；推理延迟降到60毫秒（A100或RTX3090、FP16、ViT-L配置下）。一句话总结：它把"看照片"变成了"量照片"。

3分钟快速上手：零门槛跑通第一条推理

MoGe的安装出奇地省事，装完只需要三个步骤。先建好环境并安装依赖：

git clone https://gitcode.com/GitHub_Trending/mo/MoGe cd MoGe pip install -r requirements.txt

然后写个最短的Python脚本，几行就能完成一次推理：

import cv2, torch from moge.model.v2 import MoGeModel device = torch.device("cuda") model = MoGeModel.from_pretrained("Ruicheng/moge-2-vitl-normal").to(device) img = cv2.cvtColor(cv2.imread("你的照片.jpg"), cv2.COLOR_BGR2RGB) img = torch.tensor(img / 255, dtype=torch.float32, device=device).permute(2, 0, 1) output = model.infer(img)

output里一次拿到五样东西：points（点云）、depth（深度）、normal（法线，仅Normal版模型）、mask（有效像素掩码）、intrinsics（相机内参）。模型权重会自动从Hugging Face下载，你连权重文件都不用手动准备。

核心机制拆解：为什么MoGe比前辈们更准

关键一：用"点图"做统一监督信号

前代的单目模型普遍把深度、法线、相机参数拆开当成独立的训练目标，每个任务各训各的，误差来源互相打架。MoGe的论文标题里藏着一个关键概念——最优训练监督（optimal training supervision）：既然深度、法线和相机FOV本质上都能从同一个3D点云推导出来，那不如直接用点图作为唯一的监督信号。模型前向传播一次，各任务共享同一套几何约束，输出的自洽性大幅提升。

这张架构图展示了MoGe的完整流程：输入图像经过骨干网络提取特征后，由卷积解码器一次性产出点云、深度、法线等多个输出，各分支共享同一个几何监督。

关键二：MoGe-2的度量尺度从哪来

MoGe-1输出的点云只有相对比例，你能看出"桌子比杯子高"，却说不出具体多高。MoGe-2在架构里新增了一个轻量的scale_head分支，从特征里回归出全局尺度因子，把相对点云"换算"成真实米制单位。这也是它敢叫"度量尺度"的底气。

至于法线图，实现反而朴素得有意思：MoGe团队只加了一个轻量卷积头，用平方角度损失训练，而且没有专门收集法线真值——他们直接从深度图和相机内参反推出表面法线当作训练目标，效果却出奇地好。对比图里能看到，它在复杂纹理和边缘区域的细节保持明显优于Marigold和Metric3D V2。

这张对比图最值得看的是边缘和纹理区域：MoGe输出的法线图更清晰锐利，家具轮廓和物体边界没有糊成一团。

实战演练：从一张照片到可拖拽的GLB模型

命令行工具moge infer才是日常最顺手的入口。用仓库自带的室内示例图，跑一次完整流程：

moge infer -i example_images/01_HouseIndoor.jpg -o output/ --glb --maps

这是上面命令的输入图，一个典型的客厅场景——沙发、茶几、装饰品杂而不乱，正好考验模型对复杂室内几何的还原能力。

跑完后output/目录下会多出这些文件：

• depth_vis.png：可视化深度图，越近越亮；
• normal.png：彩色法线图；
• points.exr：带度量尺度的点云（EXR格式，保留浮点精度）；
• fov.json：模型估算的水平/垂直视场角；
• output.glb：可直接拖进Blender或网页3D查看器的模型文件，颜色已烘焙成纹理。

如果你只有CPU，加--device cpu；想顺手看效果，装好pyglet后用--show直接弹窗预览。

最容易踩的5个坑

1. 忘了指定输出格式。如果--maps、--glb、--ply一个都不加，命令会默认全部保存，但会弹出一行警告，别被吓到，那不是报错。
2. --show打不开窗口。它依赖pyglet，且版本必须小于2.0，装错版本会静默失败：pip install pyglet==1.5.29。
3. 全景图直接丢进去跑。moge infer不支持全景，必须走moge infer_panorama，且输入必须是等距柱状投影格式，其他格式要先转换。
4. 高分辨率大图爆显存。报OOM别慌，用--resize 1024缩图，或把--resolution_level从默认的9调低。
5. 拿普通模型读normal字段。moge-2-vitl和moge-2-vitl不带法线输出，代码里要用'normal' in output判断，别直接索引。

3个提升效率的进阶技巧

技巧一：告诉模型真实FOV。如果知道拍摄时的水平视场角，用--fov_x 55传入，精度还能再上一个台阶；不知道就交给模型自己猜。

技巧二：用token数精确控制细节与速度。--resolution_level间接控制推理token数，而--num_tokens 1500可以直接指定（建议范围1200~2500）。token越多细节越丰富、速度越慢，这是最灵活的精度旋钮。

技巧三：FP16近乎无损提速。加--fp16在多数GPU上能接近翻倍提速，精度损失几乎可忽略。要上生产环境的话，项目还提供ONNX导出方案，详见docs/onnx.md，适合部署到无PyTorch环境。

另外，处理360度全景场景时，moge infer_panorama会把全景图切成多个重叠的透视视图分别推理，再融合成完整的全景深度图和点云，虚拟旅游、室内导航这类场景可以直接拿来用。

这张图解释了全景处理的流水线：等距柱状投影的全景图被切成若干透视视角逐一推理，最后融合拼接成连贯的全景点云。

选模型前先看这张表

新手直接选moge-2-vitl-normal，能力最全；显存紧张就降到B或S档，效果依然可用。

回到开头的那个问题——下次再有人拿一张照片问你"这沙发到底多高"，别猜了，跑一遍MoGe，答案会以带单位的点云数据摆在你面前。仓库里还备好了十几张不同场景的示例图（example_images/），装上环境随便挑一张跑跑看，远比读十篇原理文章来得实在。跑通了，记得去项目主页点个Star，让更多人看见这只"透视眼"。

【免费下载链接】MoGe[CVPR'25 Oral] MoGe: Unlocking Accurate Monocular Geometry Estimation for Open-Domain Images with Optimal Training Supervision项目地址: https://gitcode.com/GitHub_Trending/mo/MoGe