SGM算法OpenCV SGBM实战：Python 3.11环境5步生成稠密视差图
SGM算法OpenCV SGBM实战：Python 3.11环境5步生成稠密视差图
双目立体视觉技术正逐渐成为计算机视觉领域的重要工具，而SGM（Semi-Global Matching）算法作为其中的核心匹配方法，在OpenCV中以SGBM（Semi-Global Block Matching）的形式实现。本文将带你从零开始，在Python 3.11环境下通过五个关键步骤实现稠密视差图的生成。
1. 环境准备与图像采集
在开始之前，我们需要确保开发环境配置正确。Python 3.11提供了更好的性能优化和内存管理，这对处理高分辨率图像尤为重要。
import cv2 import numpy as np import matplotlib.pyplot as plt # 验证OpenCV版本 print("OpenCV版本:", cv2.__version__)双目视觉系统需要一对经过严格校准的相机拍摄的图像。校准过程包括：
- 相机内参矩阵（焦距、主点坐标）
- 畸变系数（径向和切向畸变）
- 相机间的旋转和平移关系（外参）
提示：在校准过程中，建议使用至少15张不同角度的棋盘格图像，以确保校准精度。
采集到的左右图像需要进行预处理以提高匹配质量：
def preprocess_image(img): # 高斯模糊降噪 img = cv2.GaussianBlur(img, (3, 3), 0) # 直方图均衡化增强对比度 if len(img.shape) == 2: # 灰度图 img = cv2.equalizeHist(img) else: # 彩色图 img = cv2.cvtColor(img, cv2.COLOR_BGR2YCrCb) img[:,:,0] = cv2.equalizeHist(img[:,:,0]) img = cv2.cvtColor(img, cv2.COLOR_YCrCb2BGR) return img2. SGBM参数配置详解
OpenCV中的StereoSGBM类提供了丰富的参数配置选项，理解每个参数的作用对获得优质视差图至关重要。
| 参数 | 说明 | 推荐值 |
|---|---|---|
| minDisparity | 最小视差 | 0 |
| numDisparities | 视差搜索范围（必须是16的倍数） | 64-256 |
| blockSize | 匹配块大小（奇数） | 3-11 |
| P1 | 控制视差平滑度的参数1 | 8通道数blockSize² |
| P2 | 控制视差平滑度的参数2 | 32通道数blockSize² |
| disp12MaxDiff | 左右视差检查最大差异 | 10 |
| preFilterCap | 预处理滤波器的截断值 | 31 |
| uniquenessRatio | 唯一性检测比率 | 5-15 |
| speckleWindowSize | 斑点滤波窗口大小 | 100-200 |
| speckleRange | 斑点滤波范围 | 1-2 |
| mode | 算法模式（SGBM或HH） | cv2.STEREO_SGBM_MODE_SGBM |
def create_sgbm_matcher(min_disp=0, num_disp=160, block_size=5): # 基础参数设置 matcher = cv2.StereoSGBM_create( minDisparity=min_disp, numDisparities=num_disp, blockSize=block_size, P1=8 * 3 * block_size ** 2, P2=32 * 3 * block_size ** 2, disp12MaxDiff=1, uniquenessRatio=10, speckleWindowSize=100, speckleRange=32, mode=cv2.STEREO_SGBM_MODE_SGBM_3WAY ) return matcher3. 视差计算与后处理
获得原始视差图后，通常需要进行一系列后处理操作以提高质量：
def compute_disparity(left_img, right_img, matcher): # 计算原始视差 disp = matcher.compute(left_img, right_img).astype(np.float32) / 16.0 # 视差归一化用于显示 disp_vis = (disp - min_disp) / num_disp disp_vis = (disp_vis * 255).astype(np.uint8) # 中值滤波去噪 disp_filtered = cv2.medianBlur(disp, 3) # 空洞填充（可选） disp_filled = fill_holes(disp_filtered) return disp, disp_filtered, disp_filled def fill_holes(disp): """使用形态学操作填充视差图中的空洞""" kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) disp = cv2.morphologyEx(disp, cv2.MORPH_CLOSE, kernel) return disp4. 视差图优化技巧
原始视差图往往存在噪声和错误匹配，以下是一些实用的优化方法：
- 左右一致性检查：通过比较左右视差图来检测和修正不一致的匹配
- 亚像素优化：通过二次曲线拟合提高视差精度
- 视差图滤波：使用加权中值滤波或双边滤波平滑视差图
- 小区域抑制：去除孤立的噪声区域
def postprocess_disparity(disp_left, disp_right=None): # 左右一致性检查（如果有右视差图） if disp_right is not None: mask = np.abs(disp_left - disp_right) > 1 disp_left[mask] = -1 # 标记为无效 # 亚像素优化 disp_refined = cv2.ximgproc.disparityRefinement( disp_left, left_img, mode=cv2.ximgproc.RF_WEIGHTED_LEAST_SQUARES ) # 加权中值滤波 disp_filtered = cv2.ximgproc.weightedMedianFilter( left_img.astype(np.uint8), disp_refined.astype(np.float32), 7, # 滤波半径 sigma=1.5 ) return disp_filtered5. 三维重建与应用
获得精确的视差图后，可以将其转换为深度图并进行三维重建：
def disparity_to_depth(disp, Q): """将视差图转换为深度图""" depth = np.zeros(disp.shape, dtype=np.float32) cv2.reprojectImageTo3D(disp, depth, Q, handleMissingValues=True) depth = depth[:,:,2] # 只取Z坐标（深度） return depth def visualize_3d(depth, left_img, scale=1.0): """使用Matplotlib可视化3D点云""" h, w = depth.shape y, x = np.mgrid[0:h:scale, 0:w:scale] fig = plt.figure(figsize=(10, 10)) ax = fig.add_subplot(111, projection='3d') mask = depth > 0 ax.scatter( x[mask], y[mask], depth[mask], c=left_img[::scale,::scale][mask], s=1, alpha=0.5 ) ax.set_xlabel('X') ax.set_ylabel('Y') ax.set_zlabel('Depth') plt.show()在实际应用中，SGBM算法可以用于：
- 自动驾驶中的障碍物检测
- 工业检测中的三维尺寸测量
- 机器人导航中的环境建模
- VR/AR中的场景重建
通过调整参数和优化流程，我们可以在不同场景下获得满足需求的视差图。例如，在室内场景中，由于纹理丰富，可以使用较小的blockSize（3-5）和较大的numDisparities（128-256）；而在室外远距离场景中，可能需要更大的blockSize（7-11）和较小的numDisparities（64-128）以提高匹配稳定性。