从视差到三维：深度图与点云生成的核心原理与实战解析

1. 视差图到深度图：从二维差异到三维距离

当你用双眼观察世界时，左右眼看到的画面会有细微差异，这种差异就是视差。在计算机视觉中，我们通过立体匹配算法计算出这种差异，生成视差图。但视差图只是二维像素平面上的差异值，如何把它变成真实世界中的三维距离呢？这就是深度图要做的事。

深度图每个像素存储的是该点到相机的实际距离。转换公式看似简单：

深度 = (焦距 × 基线) / 视差

但实际操作中会遇到不少坑。比如我用OpenCV做实验时发现，直接套用这个公式得到的深度值总是不准。后来才明白，焦距和基线必须使用相同的物理单位。如果基线是毫米，焦距也必须换算成毫米——这个细节很多教程都没强调。

另一个常见问题是视差为0的情况。当左右图像素完全匹配时（比如纯色背景），视差计算为0，导致公式除数为零。我的经验是给视差加个极小值（如1e-6），或者直接标记为无效点。

2. 深度图的存储与精度陷阱

拿到深度数据后，下一个挑战是如何存储。常见的PNG格式只能存8位或16位整数，但深度值通常是浮点数。这里就涉及到精度缩放的技巧。

我推荐的做法是：

1. 确定场景的最大深度值（比如10米）
2. 将实际深度乘以缩放因子（如65535/10）
3. 存储为16位PNG

读取时再反向操作。但要注意，这种缩放会损失精度。在3D重建项目中，我曾因为缩放因子设置不当，导致重建的物体表面出现阶梯状 artifacts。后来改用32位TIFF格式才解决这个问题。

不同传感器获取的深度图也有差异。以Kinect为例，它的深度图存储的是倒数深度（1/深度），这种设计能更好地适应近距离测量。处理这类数据时，记得先查清传感器的数据格式规范。

3. 从深度图到点云：坐标系的魔法

有了精确的深度图，就可以生成点云了。这个转换过程本质是像素坐标系到相机坐标系的映射。核心公式如下：

# 像素坐标(u,v)转相机坐标(X,Y,Z) X = (u - cx) * Z / fx Y = (v - cy) * Z / fy Z = depth[u,v]

其中fx,fy是焦距，cx,cy是主点坐标。这些参数来自相机标定，我建议用棋盘格标定法获取，比厂家提供的参数更准确。

这里有个容易忽略的细节：校正前后的坐标系差异。如果深度图来自校正过的图像，需要先用逆变换矩阵将像素坐标映射回原始图像位置，否则点云会错位。我在自动驾驶项目中就踩过这个坑，导致点云和RGB图像对不齐。

4. 实战中的点云优化技巧

生成原始点云后，通常需要进一步处理。分享几个实测有效的技巧：

离群点过滤：使用统计离群点移除算法，设置mean_k=50和std_dev_mul_thresh=1.0效果不错。但要注意，这个参数对稠密点云和稀疏点云效果差异很大。

体素网格下采样：用0.01m的体素尺寸能保留细节的同时大幅减少数据量。不过处理人脸等精细结构时，建议降到0.005m以下。

法线估计：半径搜索设置太小会导致法线噪声大，太大又丢失细节。我的经验法则是：取场景平均点间距的3-5倍。对于Kinect数据，0.03m是个不错的起点。

最后提醒一点：处理大规模点云时，务必使用八叉树等空间数据结构。我曾直接处理200万点的云数据，普通笔记本电脑直接内存溢出。改用PCL的八叉树后，内存占用降到了原来的1/10。