【立体视觉（五）】之SGM算法：从代价聚合到视差优化的实战解析

1. SGM算法为什么能成为立体匹配的标杆？

我第一次接触SGM算法是在2016年做自动驾驶项目时，当时试遍了各种立体匹配方法，最后发现还是SGM的效果最稳。这个由Hirschmüller在2005年提出的算法，至今仍是工业界的首选方案，特别是在车载摄像头、机器人导航这些对实时性要求高的场景。

SGM的核心优势在于它巧妙平衡了精度和效率。传统局部算法像SAD、SSD虽然计算快，但在弱纹理区域就抓瞎；全局算法如Graph Cut精度高，但计算复杂度直接劝退。SGM用了个聪明的办法——多路径代价聚合，把二维优化问题拆解成多个一维路径的优化组合。实测下来，8路径聚合的版本在1080p图像上能做到30fps，错误率比局部方法低60%以上。

这里有个容易混淆的概念：很多人以为"Semi-Global"是指算法只处理部分区域。其实它指的是用一维路径近似二维全局优化。我画个示意图就明白了：

左图像素P的聚合代价 = 路径1代价 + 路径2代价 + ... + 路径8代价

这种做法的妙处在于：

1. 每条路径用动态规划独立计算，复杂度从O(WHd²)降到O(WHd)
2. 多路径叠加相当于隐式考虑了二维邻域约束
3. 不同方向的路径能抑制条纹噪声（这是传统动态规划的顽疾）

2. 代价聚合的魔鬼细节

2.1 互信息（MI）代价计算

SGM最初采用互信息作为匹配代价，这是它抗光照变化的关键。互信息公式看着吓人：

MI(I₁,I₂) = H(I₁) + H(I₂) - H(I₁,I₂)

其实理解起来很简单：H(I₁)是左图的熵（信息量），H(I₁,I₂)是联合熵。如果两张图相似，联合熵会接近单图熵，MI值就大。实际操作时我们会用泰勒展开近似计算：

# 实际代码中的简化计算 def mutual_info(patch1, patch2): hist_2d = np.histogram2d(patch1.flatten(), patch2.flatten(), bins=32)[0] joint_prob = hist_2d / np.sum(hist_2d) marginal_prob1 = np.sum(joint_prob, axis=1) marginal_prob2 = np.sum(joint_prob, axis=0) mi = 0 for i in range(joint_prob.shape[0]): for j in range(joint_prob.shape[1]): if joint_prob[i,j] > 0: mi += joint_prob[i,j] * np.log(joint_prob[i,j] / (marginal_prob1[i] * marginal_prob2[j])) return mi

不过现在更常用的其实是Census变换+Hamming距离的组合，因为：

• 完全不用考虑光照归一化
• 硬件友好，适合FPGA加速
• 在弱纹理区域表现更好

2.2 惩罚参数P1/P2的调参玄学

代价聚合的核心公式里有俩关键参数：

L(p,d) = C(p,d) + min(L(p-r,d), L(p-r,d-1) + P1, L(p-r,d+1) + P1, min_k L(p-r,k) + P2) - min_k L(p-r,k)

P1控制小视差变化的惩罚，P2控制大视差变化的惩罚。根据经验：

• P1通常在10-50之间（与图像梯度相关）
• P2应该是P1的3-5倍
• 更好的做法是让P2自适应图像梯度：

P2 = P2_base / (1 + |I(p) - I(q)|)

我在KITTI数据集上做过参数敏感性测试：

实际项目中建议先用网格搜索确定大致范围，再微调。有个小技巧：观察视差图的边缘，如果出现锯齿说明P1太小，如果边缘模糊说明P2太大。

3. 视差优化的实战技巧

3.1 左右一致性检查的坑

理论上左右一致性检查很简单：

1. 计算左视差图D_left
2. 计算右视差图D_right
3. 检查|D_left(x,y) - D_right(x-D_left,y)| < threshold

但实际会遇到这些问题：

• 边界溢出：当x-D_left<0时要特殊处理
• 亚像素精度：直接取整会造成精度损失
• 遮挡区判定：建议增加视差符号检查

改进版的代码应该这样写：

def lr_check(D_left, D_right, threshold=1): H,W = D_left.shape mask = np.ones((H,W), dtype=bool) for y in range(H): for x in range(W): d = int(round(D_left[y,x])) x_right = x - d if x_right < 0: mask[y,x] = False continue # 亚像素插值 if x_right >=1 and x_right < W-1: d_right = interpolate(D_right[y], x_right) else: d_right = D_right[y, x_right] if abs(d - d_right) > threshold: mask[y,x] = False return mask

3.2 空洞填充的工程经验

视差图的空洞主要来自：

• 遮挡区域（Occlusion）
• 误匹配（Mismatch）
• 弱纹理（Textureless）

填充策略要区分情况：

1. 背景空洞：取同列最近有效像素的最小视差
2. 前景空洞：取邻域中值（避免背景渗透）
3. 小区域噪声：形态学开运算

实测效果最好的组合是：

• 先用3x3中值滤波去噪
• 再用5x5最小滤波填充背景
• 最后用颜色引导滤波边缘保特

// OpenCV实现示例 cv::medianBlur(disparity, disparity, 3); cv::ximgproc::fastGlobalSmootherFilter( left_image, disparity, disparity, lambda=1000, sigma_color=0.05);

4. 现代优化技巧

4.1 多尺度处理加速

原始SGM在4K图像上直接跑会非常慢。我们可以：

1. 构建图像金字塔（通常2-3层）
2. 从最粗尺度开始计算
3. 将上一尺度结果作为下一尺度的视差范围约束

这样能减少70%计算量，代码框架：

def pyramid_sgm(images, levels=3): pyramids = [cv2.resize(images, None, fx=1/2**i, fy=1/2**i) for i in range(levels)] disparity = None for i in reversed(range(levels)): if disparity is not None: # 上采样并扩大搜索范围 disparity = cv2.resize(disparity, pyramids[i].shape[:2][::-1]) disparity = disparity * 2 d_range = (disparity-3, disparity+3) else: d_range = (0, 64) disparity = compute_sgm(pyramids[i], d_range) return disparity

4.2 硬件加速方案

要让SGM达到实时性能，必须用硬件加速。常见方案对比：

我在Xilinx Zynq上的实现关键点：

• 将代价计算拆解为流水线
• 用HLS优化路径聚合的递归计算
• 代价缓存采用行缓冲设计

资源占用示例：

• 8路径聚合
• 128视差级别
• 1920宽度
• 消耗BRAM 36%、DSP 58%

5. 实际项目中的调优记录

去年在无人机避障项目里遇到个典型问题：在高度纹理重复的场景（比如草坪），SGM会产生大量误匹配。我们的解决方案：

1. 预处理增强：

   • 使用CLAHE增强局部对比度
   • 提取Sobel边缘作为额外代价

2. 参数动态调整：

   def adaptive_p2(grad): base_p2 = 100 grad_norm = np.clip(grad/50.0, 0, 3) return base_p2 * (1 + grad_norm)

3. 后处理优化：

   • 用语义分割结果约束视差范围
   • 对天空区域直接置为最大视差

调整前后指标对比：

这个案例说明，要想用好SGM，必须根据场景特点进行定制化优化。现成的OpenCV实现虽然方便，但往往达不到项目要求的精度。