从共线方程到SVD：OpenCV三角测量triangulatePoints算法实现细节剖析
1. 三角测量的本质：从两条射线到三维坐标
当你用双眼观察世界时，大脑会自动计算出物体的距离——这就是生物版的三角测量。在计算机视觉中，triangulatePoints函数干的正是这个活：通过两个相机看到的匹配点，反推出物体在三维空间中的位置。
想象你站在广场上，用手机拍下了远处的灯塔。这时候：
- 你的左眼（相机1）看到灯塔在画面左侧
- 右眼（相机2）看到灯塔在右侧
- 两眼连线的距离（基线）是已知的
共线方程描述了这种几何关系：物体点（灯塔）、相机光心、像点（照片上的像素）三点必须在一条直线上。OpenCV利用这个原理，把三维重建问题转化为求解两条空间直线"交点"的数学问题。
实际工程中会遇到个头疼的问题：由于相机标定误差和特征点检测偏差，这两条直线往往不会完美相交。这时候就需要最小二乘法来找最优解——就像试图用一根筷子同时穿过两个错位的纽扣孔。
2. 从共线方程到超定方程组
2.1 构建投影方程
OpenCV处理这个问题时，会先建立投影关系的数学模型。假设我们有两个相机：
- 相机1的投影矩阵 P₁ = K₁[R₁|t₁]
- 相机2的投影矩阵 P₂ = K₂[R₂|t₂]
对于同一个三维点X，在两幅图像上的投影满足：
λ₁[u₁, v₁, 1]ᵀ = P₁X λ₂[u₂, v₂, 1]ᵀ = P₂X这里有个实用技巧：OpenCV会先对图像坐标进行去畸变处理（undistortPoints），确保投影关系是严格的线性变换。我在项目中就遇到过没做去畸变导致重建误差增大的坑。
2.2 构造系数矩阵
把投影方程展开后，可以得到形如AX=0的线性方程组。具体推导时，OpenCV会做这些操作：
- 消去深度参数λ
- 将方程整理为关于X的线性形式
- 对两个相机的观测组合成4个方程
最终得到的系数矩阵A长这样：
A = \begin{bmatrix} u₁P₁^{(3)} - P₁^{(1)} \\ v₁P₁^{(3)} - P₁^{(2)} \\ u₂P₂^{(3)} - P₂^{(1)} \\ v₂P₂^{(3)} - P₂^{(2)} \end{bmatrix}其中P⁽ⁱ⁾表示投影矩阵的第i行。这个构造过程在OpenCV源码中对应注释"注1"的部分。
3. SVD求解的魔法
3.1 解超定方程的原理
当方程数量多于未知数时（这里是4个方程3个未知数），常规解法就失效了。OpenCV采用的**奇异值分解(SVD)**是处理这类问题的利器。
SVD会把矩阵A分解为：
A = UΣVᵀ其中V的最后一列就是最优解。这个性质在数学上解释为：对应最小奇异值的右奇异向量使||AX||最小。
实测中发现，当特征点匹配质量较差时，最小奇异值与次小奇异值会非常接近，这时候重建结果就不靠谱了。好的实践是设置一个阈值来过滤这种情况。
3.2 OpenCV的实现细节
在源码中（对应注释"注2"处），关键操作是：
cv::SVD::compute(matrA, matrW, matrU, matrV);然后取matrV的最后一列作为解。但要注意：
- SVD解出的是齐次坐标[X,Y,Z,W]
- 需要做齐次坐标归一化：实际3D坐标是(X/W, Y/W, Z/W)
这里有个工程细节：OpenCV使用Matx固定大小矩阵而不是动态Mat，显著提升了小矩阵运算效率。我在处理实时三维重建时，这个优化能让速度提升20%以上。
4. 实战中的注意事项
4.1 相机标定的影响
三角测量的精度严重依赖相机参数准确性。常见问题包括：
- 焦距标定误差导致深度计算偏差
- 基线距离测量不准影响比例尺
- 镜头畸变校正不彻底引入系统误差
建议在重要项目中使用高精度标定板，并且在不同距离重复标定。有次我们使用默认标定参数，结果重建出的物体尺寸误差达到了15%。
4.2 特征匹配质量
错误的匹配点会导致灾难性后果。好的实践是：
- 使用SIFT/SURF等鲁棒特征
- 应用RANSAC剔除误匹配
- 检查对极几何约束
在无人机三维重建项目中，加入这些检查后，重建成功率从60%提升到了92%。
4.3 数值稳定性
当物体距离很远时，齐次坐标的W分量会接近0，导致数值不稳定。解决方法包括：
- 对三维点坐标进行适当的尺度缩放
- 使用双精度计算
- 添加正则化项
OpenCV的triangulatePoints函数内部已经做了数值稳定性处理，但如果需要更高精度，可以考虑自己实现带正则化的SVD求解。