从像素到归一化平面：揭秘相机内参的剥离与标准化

1. 相机成像的本质：从三维世界到二维像素

第一次接触相机模型时，我被这个神奇的过程震撼到了——它竟然能把立体的世界压缩成一张平面照片。后来才发现，这背后藏着精妙的数学原理。想象你站在窗前看风景，相机成像就像在窗玻璃上描摹外面的世界。不过这个"窗玻璃"（成像平面）上有看不见的标尺（内参），我们需要先理解这些标尺才能还原真实的视角关系。

相机内参矩阵就像这个标尺的说明书，它包含三个关键信息：

• 焦距(fx,fy)：相当于你的眼睛到窗玻璃的距离。焦距越长，看到的视野越窄（望远效果）；焦距越短，视野越宽（广角效果）
• 主点(u0,v0)：相当于窗玻璃正对你视线的中心点。理想情况下它应该在图像正中央，但实际相机可能略有偏差
• 轴间倾斜系数（通常为0）：现代相机一般不存在这个问题，早期胶片相机可能出现x/y轴不垂直的情况

用OpenCV读取相机内参是这样的：

import numpy as np camera_matrix = np.array([ [fx, 0, u0], [0, fy, v0], [0, 0, 1] ])

2. 像素坐标的诞生：三维到二维的魔法

让我们拆解这个转换过程。假设有个无人机在相机前方飞行，它的相机坐标系坐标是(Xc,Yc,Zc)。要计算它在照片中的位置(u,v)，需要经历三次变形：

1. 透视收缩：物体越远显得越小。数学表现为Xc/Zc和Yc/Zc，就像远方的铁轨看起来会交汇
2. 焦距缩放：用fx和fy把物理尺寸转为像素尺寸。好比用不同倍数的放大镜观察同一物体
3. 原点偏移：加上主点坐标(u0,v0)，因为像素坐标系原点通常在图像左上角而非中心

实测一个例子：假设某点相机坐标(2,3,6)米，相机fx=fy=800像素，主点(320,240)。那么：

Xc,Yc,Zc = 2,3,6 fx,fy = 800,800 u0,v0 = 320,240 u = fx * (Xc/Zc) + u0 # 800*(2/6)+320 ≈ 586.67 v = fy * (Yc/Zc) + v0 # 800*(3/6)+240 = 640

这个计算过程解释了为什么靠近画面边缘的物体会产生拉伸变形——透视投影是非线性的。

3. 剥离相机特性：获得纯净的几何关系

3.1 为什么要做归一化

我在做双目视觉项目时踩过坑：用两个不同相机拍摄同一场景，直接匹配特征点总是不准。后来发现是因为两台相机的内参不同，导致相同的空间点在两个图像中的像素位置不成线性关系。归一化就是要消除这种硬件差异，好比把不同品牌的温度计读数都换算成标准摄氏度。

3.2 分步剥离内参

3.2.1 消除主点偏移

就像把照片的中心点移到画布正中央：

xd = u - u0 # 586.67-320=266.67 yd = v - v0 # 640-240=400

3.2.2 消除焦距影响

相当于把图像按焦距比例"缩小"回标准尺寸：

x_norm = xd / fx # 266.67/800≈0.333 y_norm = yd / fy # 400/800=0.5

现在得到的(0.333, 0.5)就是归一化坐标。神奇的是，这个结果恰好等于：

Xc/Zc = 2/6 ≈ 0.333 Yc/Zc = 3/6 = 0.5

这说明归一化坐标直接反映了空间点与相机光轴的夹角关系，与具体相机参数无关。

4. 深度归一化的实战意义

4.1 单位深度平面

令Zc=1时，归一化坐标就等于相机坐标系中的X/Y值。这相当于把所有物体都投影到一个假想的"单位球面"上。在SLAM系统中，这种处理能：

• 消除不同距离物体的尺度差异
• 保留纯粹的方向信息
• 简化后续的特征匹配

4.2 实际应用案例

在无人机视觉导航中，我常用归一化坐标做障碍物检测：

1. 检测图像中的障碍物像素区域
2. 转换为归一化坐标
3. 结合IMU数据估算实际空间位置

# 伪代码示例 def detect_obstacle(u, v): x_norm = (u - u0) / fx y_norm = (v - v0) / fy # 假设已知障碍物高度，可估算距离 distance = obstacle_height / y_norm return (x_norm * distance, distance)

这种处理方式比直接使用像素坐标更稳定，即使更换不同焦距的相机，算法也不需要重新调参。有个经验之谈：当需要处理多相机数据或进行跨设备协作时，归一化坐标就是你的通用语言。