030、微透镜阵列与光场成像：从光场相机到深度感知的演进
030、微透镜阵列与光场成像：从光场相机到深度感知的演进
去年在调试一款车载环视系统时，遇到了一个让人头疼的问题——传统双目立体匹配在夜间低照度场景下，深度图几乎全是噪声。团队试过结构光、ToF，要么成本扛不住，要么在强阳光下直接“瞎掉”。后来翻出一台落灰的Lytro光场相机，突发奇想：能不能把微透镜阵列的思路塞进车载模组？这个念头让我重新翻了一遍光场成像的老底，也踩了不少坑。
从针孔到微透镜：一场光路革命
传统相机本质上是个“积分器”——每个像素把穿过镜头光圈的所有光线累加成一个值。这意味着我们丢失了光线的方向信息。微透镜阵列（MLA）的介入，相当于在每个像素前面加了一个“方向分拣器”。
想象一下：在主镜头和传感器之间，嵌入一片由数万个微型透镜组成的阵列。每个微透镜覆盖一组像素（比如7x7），这组像素记录的是同一空间点从不同角度入射的光线。这就是“光场”的核心——同时记录光线的位置和方向，数学上对应一个四维函数L(u,v,s,t)。
第一次在实验室搭光场原型时，我犯了个低级错误：直接用手机镜头模组加微透镜阵列，结果图像全是模糊的“马赛克”。后来才明白，微透镜的焦距必须与主镜头到传感器的距离精确匹配，否则每个微透镜下的像素无法正确分离角度信息。这里踩过坑：微透镜的F数必须与主镜头F数一致，否则会出现“串扰”——相邻微透镜的光线混在一起，重建出的图像像隔着一层毛玻璃。
光场相机的两种架构：谁更实用？
业界主流有两种实现方式。第一种是“主镜头+微透镜阵列+传感器”的标准结构，Lytro相机就是典型。优点是结构紧凑，缺点是空间分辨率被微透镜数量“稀释”——一个2000万像素的传感器，如果每个微透镜覆盖10x10像素，实际空间分辨率只有20万像素。别这样写代码：在计算重聚焦时，很多人直接对原始光场做双线性插值，结果边缘出现伪影。正确做法是先做“角度域”的插值，再映射到“空间域”。
第二种是“相机阵列”，比如诺基亚当年那个16个摄像头的奇葩手机。每个相机独立成像，通过合成得到光场。优点是分辨率高，缺点是体积大、标定复杂。我在做多相机同步时遇到过时序错位——不同相机的曝光时间差几毫秒，拍运动物体时深度图直接“撕裂”。解决方案是在硬件层面用同一时钟触发所有传感器，软件层面再用光流做亚像素对齐。
深度感知：从重聚焦到全聚焦
光场最迷人的特性是“先拍照后对焦”。原理很简单：对四维光场做剪切变换，模拟不同焦平面。数学上就是积分路径的调整——把L(u,v,s,t)沿(s,t)方向做偏移积分。实际调试时发现，重聚焦的精度受限于微透镜的采样密度。如果每个微透镜下只有3x3个像素，焦平面的步长只能做到厘米级，拍微距还行，拍远景就力不从心。
深度估计是另一个杀手锏。通过分析同一场景点在多个微透镜下的视差，可以计算出深度。这里有个关键参数叫“基线”——相邻微透镜的光心间距。微透镜阵列的基线通常只有几百微米，所以深度精度远不如双目相机。但优势在于单次曝光就能得到深度，适合动态场景。
我在做工业检测项目时，用光场相机检测芯片焊点高度。传统方法需要多次调焦扫描，光场一次搞定。但别高兴太早——光场深度图的噪声分布不是高斯噪声，而是“条纹状”的，因为微透镜阵列的周期性结构引入了固定模式噪声。去噪时不能用普通的高斯滤波，得用频域滤波把特定频率的条纹干掉。
算法流水线：从原始数据到深度图
原始光场数据是一张布满“小圆点”的RAW图，每个圆点对应一个微透镜下的图像。第一步是“解码”——提取每个微透镜下的像素块，重排成四维数组。这里有个坑：微透镜的排列不一定是完美的六边形网格，实际模组会有旋转和畸变。我习惯在标定时用棋盘格计算每个微透镜中心的精确位置，然后做亚像素插值。别这样写：直接用固定网格提取，结果边缘的微透镜会“吃”到相邻区域的光线。
第二步是“角度域校正”。由于微透镜的透光率不均匀，不同角度通道的亮度会有差异。校正方法很简单：拍一张均匀白板，计算每个角度通道的增益系数。但注意，白板不能过曝——否则增益系数会偏小，导致校正后暗部噪声放大。
第三步是“深度估计”。主流方法有两种：基于多视角立体匹配（MVS）和基于光场EPI（极平面图像）。EPI方法更优雅——把光场沿某个方向切片，得到一张“空间-角度”图，深度表现为直线的斜率。用Sobel算子检测边缘斜率就能得到深度。但EPI方法对纹理敏感，平坦区域会“空洞”。我通常结合MVS和EPI，用EPI做粗估计，MVS做精调。
实战中的血泪教训
去年给一家安防厂商做光场监控方案，客户要求夜间看清50米外的人脸。实验室测试完美，现场一装就翻车——红外补光灯的波长与微透镜的镀膜不匹配，导致光晕严重。后来发现，微透镜阵列的增透膜通常针对可见光设计，近红外波段反射率飙升。解决方案是定制镀膜，但成本直接翻倍。这个教训告诉我：光场系统对光学链路的每个环节都敏感，从镜头镀膜到传感器微透镜，必须整体优化。
另一个坑是温度漂移。车载场景下，夏天车内温度能到80度，微透镜阵列的热膨胀系数与传感器不一致，导致微透镜与像素的对应关系偏移。我在软件里加了“热补偿”模块——根据温度传感器读数，动态调整解码时的网格坐标。效果还行，但精度只能到像素级，亚像素级的热漂移还是无解。
未来演进：从专用到通用
光场成像正在从“实验室玩具”走向“工业工具”。手机端，苹果的LiDAR本质上是一种“主动光场”——用点阵投影器替代微透镜阵列，通过飞行时间测距。车载端，华为的“超级鱼眼”据说集成了微透镜阵列，实现单目深度感知。医疗内窥镜领域，光场可以一次成像得到三维组织表面，避免多次调焦的机械磨损。
但别指望光场能取代所有深度传感器。它的核心优势是“单次曝光获取三维信息”，适合动态场景和受限空间。劣势是分辨率低、计算量大。我的经验是：如果场景深度范围在1米以内，对分辨率要求不高（比如手势识别），光场是绝佳选择。如果需要远距离高精度（比如自动驾驶），还是老老实实用激光雷达。
最后给个实在的建议：如果你刚接触光场，别急着买昂贵的工业模组。先买个Lytro Illum二手相机（闲鱼上几百块），用开源工具包（比如LF Toolbox）跑通整个流程。等你理解了“角度域”和“空间域”的纠缠，再考虑定制化设计。记住，光场成像的本质不是“多拍几张”，而是“一次拍下所有可能”——这个思维转变，比任何算法都重要。