从手机拍照到NeRF建模：相机标定参数（内参/外参）到底在忙活啥？
从手机拍照到NeRF建模：相机标定参数（内参/外参）到底在忙活啥？
当你用手机拍下一张照片时，是否注意到画面边缘的直线有时会弯曲？或者在使用AR应用时，虚拟物体为何能稳稳"坐"在桌面上？这些现象背后，都离不开相机标定参数的精密调控。本文将带你穿越从日常摄影到前沿3D重建的技术链条，揭开内参（Intrinsics）和外参（Extrinsics）的神秘面纱。
1. 手机镜头里的秘密：内参如何塑造我们的照片
现代智能手机的相机系统远比我们想象的复杂。当你按下快门时，光线穿过多层镜片组，最终在CMOS传感器上形成图像。这个过程中，内参就像相机的"身份证"，定义了其独特的成像特性。
1.1 焦距与主点：成像的尺度和原点
- 焦距(fx,fy)：决定了物体在图像中的大小。就像望远镜的放大倍数，焦距越长，远处物体显得越大。手机通常采用等效35mm焦距标注，如iPhone的主摄焦距约为26mm
- 主点(cx,cy)：光轴与成像平面的交点，通常是图像的中心点。但某些运动相机可能因装配误差导致主点偏移
# 典型手机相机内参矩阵示例 intrinsic_matrix = [ [fx, 0, cx], [0, fy, cy], [0, 0, 1] ]1.2 畸变参数：为什么直线会变弯
镜头并非完美，会导致两种常见畸变：
- 径向畸变(k1,k2,k3)：表现为"桶形"或"枕形"变形，越靠近边缘越明显
- 切向畸变(p1,p2)：由于镜头与传感器不平行导致，会使图像看起来像被"剪切"
专业摄影App如Halide允许用户手动校正这些参数，而普通手机则通过算法自动补偿
2. AR魔法背后的科学：外参定位虚拟世界
当你用手机玩《Pokémon GO》时，皮卡丘为何能准确站在公园长椅上？这要归功于外参——描述相机在空间中的位置和方向。
2.1 旋转与平移：相机的空间舞蹈
外参由两部分组成：
- 旋转矩阵R：3×3矩阵，描述相机朝向
- 平移向量t：3维向量，表示相机位置
# 典型外参矩阵示例 extrinsic_matrix = [ [r11, r12, r13, t1], [r21, r22, r23, t2], [r31, r32, r33, t3] ]2.2 从单目到多视角
单个相机无法感知深度，但通过移动相机获取多视角图像后，就能利用外参变化推算3D结构。这正是iPhone的LiDAR和ARKit的工作原理。
| 技术 | 所需图像数量 | 外参精度要求 |
|---|---|---|
| 单目SLAM | 连续帧 | 极高 |
| 双目视觉 | 2张同步 | 中等 |
| NeRF重建 | 数十至数百张 | 较高 |
3. 从2D到3D的飞跃：NeRF如何利用这些参数
神经辐射场(NeRF)等先进3D重建技术，本质上是在解一个逆向问题：如何从多张2D照片反推3D场景。这时，精确的相机参数就成为关键线索。
3.1 参数在NeRF中的双重角色
- 几何约束：外参定义了各照片的拍摄视角关系
- 光学校正：内参确保光线投射的准确性
Instant-NGP等工具通常使用COLMAP先进行相机标定，生成包含完整参数的transforms.json文件：
{ "fl_x": 1131.29, "fl_y": 1131.48, "k1": 0.0109, "p1": 0.0116, "cx": 445.86, "frames": [ { "transform_matrix": [ [-0.665, 0.007, 0.746, 2.875], [0.725, -0.230, 0.649, 2.737], [0.176, 0.973, 0.148, 0.668] ] } ] }3.2 标定质量决定重建效果
参数误差会导致重建 artifacts：
- 内参不准：模糊或扭曲的几何
- 外参偏差：重影或断裂的结构
实践中，使用棋盘格等标定板可以显著提升参数精度。大疆的Phantom 4 RTK无人机就内置了高精度标定流程。
4. 实战：自己动手标定相机
想体验相机标定的过程？你只需要：
- 打印一张棋盘格图案（建议A4尺寸以上）
- 从不同角度拍摄15-20张照片
- 使用OpenCV或COLMAP进行处理
OpenCV标定步骤：
import cv2 import numpy as np # 准备标定板角点 pattern_size = (9,6) obj_points = [] # 3D点 img_points = [] # 2D点 # 检测角点并标定 ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( obj_points, img_points, image_size, None, None )标定时应覆盖图像各个区域，特别是边缘，才能准确估计畸变参数
5. 参数优化的前沿趋势
随着计算摄影发展，相机标定技术也在进化：
- 在线标定：如Google Pixel的实时校准
- 深度学习辅助：DSAC++等网络直接预测参数
- 联合优化：在SLAM或NeRF训练中同步优化参数
手机厂商正在将专业级标定技术下放消费设备。小米12S Ultra的1英寸大底传感器就采用了实验室预标定+用户场景自适应校正的双重方案。