编码照明优化：基于BTF与SDP的工业视觉检测光影计算

1. 项目概述：当视觉检测遇上“光影魔术师”

在工业自动化产线上，视觉检测系统就像一位不知疲倦的质检员，它的“眼睛”——工业相机，能否看清、看准，很大程度上取决于“光”怎么打。传统上，工程师们需要耗费大量时间，像摄影师布光一样，反复调整光源的角度、颜色和强度，试图让划痕、凹坑、异物这些缺陷在相机眼里“原形毕露”。这个过程不仅依赖经验，而且一旦工件或检测需求变更，又得从头再来。

有没有一种方法，能像给检测系统装上一个“智能光影大脑”，让它自动计算出最能凸显缺陷、抑制背景干扰的最佳打光方案？这正是编码照明优化技术要解决的核心问题。它不再依赖单一固定光源，而是使用一个由多个独立可控LED通道组成的照明系统。通过编程控制每个通道的亮灭与强度，理论上可以生成无数种照明模式，从而主动塑造物体表面的光影表现。

然而，理想很丰满，现实却很“量化”。在实际硬件中，每个LED通道的亮度往往不是连续可调的，而是被量化为有限的几个等级（比如0-127）。同时，相机的曝光时间也直接影响着进光量和图像信噪比。过去的研究多集中于使用高动态范围成像来应对亮度变化，但这需要拍摄多张不同曝光的图像，耗时且不适用于高速检测。因此，如何在光照亮度量化和有限曝光时间的硬约束下，快速、精准地找到那个“最优解”，成为了将编码照明从实验室推向产线的关键瓶颈。

本文要探讨的，正是这样一个前沿且极具工程价值的课题：基于双向纹理函数与半定规划的编码照明优化。简单来说，它的目标是在给定的多通道照明硬件和相机条件下，通过数学建模和优化算法，自动找出能最大化缺陷与背景对比度的照明模式与相机曝光时间的最佳组合。这相当于为视觉检测系统提供了一套“计算光影”的底层方法论，让高质量的检测图像不再是偶然的运气，而是可预测、可复现的必然结果。

2. 核心原理拆解：从“看到”到“看清”的数学与物理

要理解这套优化框架，我们需要深入两个核心概念：双向纹理函数和半定规划。它们一个负责描述“光与物的交互”，一个负责在约束下寻找“最优解”。

2.1 双向纹理函数：物体的“光学指纹”

想象一下，同一块带有发丝纹的金属板，从正面打光和从侧面掠射光看，其纹理和划痕的明显程度天差地别。Bidirectional Texture Function 就是用来精确描述这种关系的数学模型。它本质上是一个高维函数，记录了物体表面每一点在不同光照方向、不同观察方向下的反射率（或亮度）。

在本文的框架中，我们进行了一个关键且实用的简化：假设我们使用固定的相机视角（这是工业检测的常见情况），那么BTF就退化为光照方向的函数。对于一个具有K个独立通道的照明系统，我们通过依次点亮每个通道（或特定的组合），采集N张基础图像。任何其他照明模式下的图像，理论上都可以由这N张基础图像通过线性叠加来近似合成：

g = Fx

这里，g是我们想合成的目标图像（向量形式），F是由所有基础图像列向量组成的矩阵，x是一个N维的权重向量，代表了每个基础图像在合成中的贡献比例。这个公式是后续所有优化的基石，它将复杂的物理成像过程，转化为了一个可计算的线性代数问题。

为什么这个假设成立且强大？这基于一个物理事实：对于非相干光源（如LED），光的叠加原理成立。只要相机传感器工作在线性区（未饱和），且我们校正了暗电流等固定噪声，那么多通道照明共同作用下的图像，就等于各通道单独照明图像的加权和。这极大地降低了数据采集和模拟的复杂度——我们不需要为每一种可能的光照组合都去拍一张照片，只需拍摄一组有限的“基础”图像，就能在计算机中模拟出成千上万种光照效果。

2.2 优化目标：费舍尔判别分析与对比度最大化

有了图像合成的模型，接下来要定义什么是“好”的图像。在视觉检测中，“好”通常意味着目标（缺陷）与背景（良品区域）的差异尽可能大，同时背景自身的波动尽可能小。这正是经典模式识别方法——费舍尔线性判别分析的核心思想。

我们将前景（缺陷）和背景（良品）区域的像素值分别视为两个数据集。LDA的目标是找到一个投影方向（在这里就是照明权重向量x），使得投影后两个类别的类间散度最大，类内散度最小。这个比值就是费舍尔判别比，它直接量化了图像的对比度：

J(x) = (x^T * S_b * x) / (x^T * S_w * x)

其中，S_b是类间散度矩阵，S_w是类内散度矩阵。我们的优化目标就是最大化J(x)。

实操心得：为何选择LDA而非更复杂的分类器？在项目初期，数据样本（尤其是缺陷样本）往往非常稀少。复杂的模型如深度学习容易过拟合，而SVM虽然强大，但其优化目标是最大化分类间隔，并不直接最小化类内方差。LDA以直接的对比度比率为目标，其物理意义与视觉检测中“增强对比”的直觉完全一致，且在样本少的情况下更加稳定和可解释。它为我们提供了一个清晰、可计算的优化目标。

2.3 非负约束与半定规划：从理论解到工程实现

直接求解上述广义特征值问题，可以得到最优的投影方向x*。但这里存在一个工程上的致命问题：x*的分量很可能为负数。负的权重在物理上意味着需要“负的光照”，这显然无法直接实现。以往的方案是通过拍摄两张图像（正权重和负权重模式）然后做差分来模拟，但这至少需要双倍的图像采集时间，严重影响了检测节拍。

因此，我们必须给优化问题加上一个非负约束：x >= 0。这个问题就变成了一个带有二次约束的二次规划问题，是非凸的，传统的梯度下降等方法很容易陷入局部最优解。

本文的亮点在于，它巧妙地运用了半定规划来求解这个非凸问题。其核心技巧叫做“半定松弛”：

1. 令X = x * x^T，将原问题中关于向量x的优化，转化为关于矩阵X的优化。
2. 虽然这个转化一般会放松问题（因为不是所有半定矩阵都能分解为一个向量的外积），但对于我们这个特定形式的问题，理论证明最优解X*的秩通常为1。
3. 最后，通过对X*进行特征值分解，就能提取出我们需要的非负权重向量x。

SDP属于凸优化范畴，存在高效的求解器（如MOSEK, CVXOPT），可以保证找到全局最优解。这确保了我们的照明方案是给定模型下的“最佳可能”，避免了因算法陷入局部最优而错过真正有效的打光模式。

注意：SDP求解虽然理论完美，但计算复杂度相对较高。在实际部署中，如果照明通道数（K）很大（比如上百通道），需要关注求解时间是否满足系统实时性要求。通常，产线上的照明优化是在“配方设定”阶段离线完成的，一旦找到最优方案，在线检测时只需调用该照明模式即可。

2.4 联合优化曝光时间：量化世界中的精细调控

前面的讨论假设亮度可以连续调节。但现实是，LED驱动通常采用PWM（脉宽调制）控制，亮度被量化为有限的等级（例如0-255）。同时，相机的曝光时间τ也是一个关键变量，它控制着总进光量。

量化会引入误差：我们计算出的理想权重x，对应到具体的LED亮度等级和曝光时间时，可能无法被硬件精确实现。比如，理想需要某个通道亮度为0.37，但硬件只支持0.3或0.4，这就会导致最终成像与模拟结果有偏差。

本文的创新点在于，它将曝光时间τ也作为一个优化变量，与照明权重x进行联合优化。其核心思想是引入一个积分亮度向量u = τ * φ，其中φ是各通道的亮度比例。优化目标转变为：寻找一组离散的亮度等级v_k和曝光时间τ，使得其产生的积分亮度向量u与理想权重x所对应的积分亮度向量A x最为接近（以加权最小二乘误差衡量）。

这个过程可以理解为：通过主动调整曝光时间这个“总闸门”，使得有限的亮度等级（台阶）能够更精确地匹配我们需要的亮度比例（坡度）。如图1所示，曝光时间太短，所有通道都“够不着”目标值；曝光时间太长，所有通道都早早达到最大值，失去了调节的精细度；最优的曝光时间，是让至少一个通道恰好用满其最大量化等级，从而最有效地利用了整个动态范围。

3. 系统实现与实操流程

理解了原理，我们来看如何将其落地为一个可运行的视觉检测照明优化系统。整个过程可以分为离线校准、在线优化和实时检测三个阶段。

3.1 硬件准备与基础图像采集

硬件配置：

• 多通道照明系统：这是核心。例如，一个包含39个通道的环形光源（13个方位角 x 3种颜色RGB）。每个通道的亮度需能独立编程控制。
• 工业相机与镜头：选择线性响应良好、支持曝光时间精确控制的相机。镜头根据视场和工作距离确定。
• 工控机：用于运行优化算法和控制硬件。

基础图像采集流程：这是构建BTF模型的关键一步，必须保证高质量。

1. 暗场图像采集：关闭所有光源，拍摄一张图像，用于估计传感器的暗电流偏移d_c。这个值需要从后续所有图像中减去。
2. 单通道基础图像采集：
   • 遍历每一个照明通道k(k=1 to K)。
   • 将该通道亮度设置为最大值v_max，其他通道为0。
   • 启用自动曝光控制：这是本文强调的一个重要技巧。使用二分搜索算法，自动调整相机曝光时间τ_k，使得图像中最亮的像素值达到一个预设目标值（例如传感器满阱容量的80%）。这样做有两个巨大好处：第一，最大化信噪比；第二，由于每次采集时光源都处于最大亮度，环境光的相对影响被压制到最小。
   • 采集图像f'_k，并记录下对应的曝光时间τ_k。
   • 按公式f_k = (f'_k - d_c) * (τ / τ_k)将所有图像归一化到同一曝光时间τ下，得到真正的亮度图像矩阵F的每一列。

实操心得：自动曝光控制的必要性如果不使用AEC，而是对所有通道使用固定的曝光时间，那么对于反射率低的通道，图像可能很暗，噪声显著；对于反射率高的通道，又可能接近饱和。在后续的图像线性叠加中，暗图像的噪声会被放大，严重降低合成图像的质量。AEC确保了每一张基础图像都处于最佳的信号水平，从源头上提升了整个模拟过程的精度。

3.2 优化算法执行步骤

有了基础图像矩阵F和对应的曝光时间向量，优化算法可以按以下步骤进行：

1. 定义前景与背景区域：用户在任意一张基础图像（或平均图像）上，手动标注出需要增强的“前景”（如划痕）和需要抑制的“背景”（如正常纹理）区域。这是算法学习的“监督信号”。
2. 计算散度矩阵：根据标注的区域，从图像矩阵F中提取对应像素列的向量，计算类内散度矩阵S_w和类间散度矩阵S_b。
3. 构建并求解SDP问题：将最大化费舍尔判别比J(x)的目标，与x >= 0的约束一起，形式化为上一节所述的半定规划问题。调用SDP求解器进行计算。
4. 提取非负照明权重：从求解得到的矩阵X*中，提取出主特征向量作为初步的照明权重x_0。根据Perron-Frobenius定理，在非负约束下，该向量所有分量均为非负。
5. 联合优化曝光时间：
   • 将上一步得到的连续权重x_0作为理想目标。
   • 在曝光时间可行范围[τ_min, τ_max]内（由运动模糊和检测节拍限制），根据公式τ = max( [A x_0]_k / L_k(v_max) )计算初始最优曝光时间。
   • 基于此τ，根据查找表L_k(v)和公式v_k = argmin || [A x_0]_k - (τ/τ_LUT)*L_k(v) ||，为每个通道寻找最接近的离散亮度等级v_k。
   • 由于量化，此时的v_k和τ产生的实际图像会与理想有偏差。因此，这是一个交替优化过程：固定v_k和τ，重新计算最接近的实际权重x；再用新的x去微调τ和v_k。迭代直至收敛。
6. 多目标优化（可选）：如果对整体图像亮度或颜色有特定要求（例如，不能太暗以免噪声大，或需要特定色调），可以在损失函数L_proj(x)的基础上，增加一个绝对项L_abs(x)，构成一个加权多目标优化问题，使用序列最小二乘规划等算法求解。

3.3 仿真验证与实物验证

在将优化出的照明模式投入实际检测前，必须进行仿真验证。

1. 数字孪生仿真：利用公式g_sim = F x_opt，直接在计算机中合成出在优化后的照明参数(v_opt, τ_opt)下应该看到的图像。观察缺陷对比度是否如预期般增强。
2. BTF秩图像分析：这是一个非常实用的诊断工具。计算图像中每个局部区域（如8x8像素块）对应基础图像矩阵F的局部秩。秩越高，说明该区域的纹理通过多通道照明可调节的自由度越大，越有可能被增强；秩接近1，则意味着只能调节整体亮度，无法改变纹理结构。在标注前查看BTF秩图像，可以提前预判哪些缺陷是可优化的，避免在无法增强的区域上浪费时间。
3. 实物拍摄对比：将优化得到的照明模式v_opt和曝光时间τ_opt下发给硬件，实际拍摄图像g_real。
4. 误差分析：计算仿真图像g_sim与实际图像g_real的差异。主要的误差来源包括：传感器饱和区的非线性（特别是去马赛克插值的影响）、环境光泄漏、电源特性波动等。通过图4、5、6的对比可以看出，在良好校准和AEC成像下，仿真与实际的吻合度非常高，亮度差异通常在±10%以内，证明了该数字孪生模型的可靠性。

4. 实验结果深度剖析与工程启示

论文通过一系列实验验证了方法的有效性，这些结果也给我们带来了许多工程上的启发。

4.1 对比度增强效果：从“看不见”到“看得清”

实验针对几种典型的工业缺陷进行了优化：

• 金属发丝纹表面的划痕：通过调节参数α来控制背景纹理的抑制程度。当α=1时，算法会全力抑制背景变化，即使这会选择使背景更均匀但并非最亮的光源（如图8中颜色偏蓝的照明）。这证实了算法不是在简单地“打亮”，而是���智能地“塑造”光影对比。
• 金属板上的凹坑：通过在对比例函数中施加空间频率滤波器，可以有针对性地增强不同尺度的特征。低频滤波增强了大范围的凹陷起伏，而高频滤波则突出了凹坑边缘的细节（图9）。这启示我们，可以根据缺陷的形态特征，定制化地设计优化目标。
• 玻璃覆盖层下的划痕：这是一个具有挑战性的场景，因为需要穿透表面反射，凸显下层缺陷。优化后的照明有效抑制了背景芯片结构的纹理，同时增强了玻璃划痕的可见性（图10）。
• 金手指倾斜鲁棒性优化：一个非常实用的场景。单独优化0度角度的样本，在工件倾斜时会产生干扰性的水平条纹（图11A）。而同时使用0、4、6度三个倾斜角度的样本数据进行联合优化，得到的照明方案对所有倾斜角度都保持了低对比度的均匀背景，体现了算法的鲁棒性。

4.2 曝光约束下的权衡艺术

图12的实验清晰地展示了资源约束下的优化行为。当曝光时间充裕（亮度约束宽松）时，算法选择了对比度最高的同轴光。随着亮度约束收紧（要求图像整体更亮），单一的同轴光无法提供足够的亮度，算法开始“妥协”，激活更多的环形光源来补足亮度，尽管这会牺牲一部分对比度。这正是一个典型的多目标优化权衡过程。仿真优化的价值就在于，它可以定量地给出Pareto前沿，让工程师明确知道“为了提升这点亮度，我需要付出多少对比度的代价”，从而做出明智的决策。

4.3 量化与曝光优化的必要性

图13的对比实验极具说服力。它比较了两种方案：

• 固定曝光：所有基础图像和最终成像都用同一个曝光时间。
• AEC+曝光优化：基础图像用AEC采集，并联合优化最终曝光时间。

结果显示，在中间一段曝光时间区间，固定曝光方案由于量化误差，其成像与理想图像的均方误差显著上升。而曝光优化方案通过主动选择最佳曝光点，始终将误差维持在较低水平。这证明了在量化亮度约束下，将曝光时间作为变量进行联合优化，对于保证最终成像质量至关重要。

4.4 基础照明模式的选择策略

图14探讨了基础照明模式H的选择对结果的影响。实验比较了三种模式（A: 任意角度；B: 固定分组；C: 径向四方向）和两种颜色模式（仅白光W / 全彩色RGB）。结论很直观：

• 更多的基础模式（更大的N）：提供了更高的自由度，通常能获得更高的费舍尔判别比得分。
• 彩色光源（RGB）：相比单色白光，提供了光谱维度上的调控能力，对于依赖颜色信息的缺陷（如氧化、污渍）增强效果更好。
• 模式设计影响照明类型：模式A和C允许选择特定角度，算法倾向于选择与划痕垂直方向的掠射光，形成暗场照明，能极大凸显表面起伏。模式B角度固定，算法最终选择了明场照明（同轴光）。这说明基础照明模式的设计直接决定了算法搜索的解空间，工程师应根据缺陷的预期光学特性来设计基础模式。

5. 常见工程挑战与排查指南

在实际部署这套系统时，你可能会遇到以下典型问题。这里提供我的排查思路和经验。

5.1 仿真图像与实际图像存在明显色差或亮度偏差

• 可能原因1：暗电流校正不准。暗电流会随温度和时间漂移。
  • 排查：定期（例如每4小时或环境温度变化较大时）拍摄暗场图像，更新d_c值。确保拍摄暗场时，镜头盖紧闭，隔绝一切外部光线。
• 可能原因2：光源非线性或通道串扰。LED驱动可能存在非线性，或者不同通道的光在物理结构上发生泄漏。
  • 排查：进行更精细的校准。不仅校准单通道最大亮度，还应校准不同亮度等级下的实际输出，并检查多通道同时点亮时，总亮度是否等于各通道亮度之和。如有串扰，需要在矩阵A中引入非对角项进行建模。
• 可能原因3：环境光干扰。尽管使用了AEC，强环境光仍可能产生影响。
  • 排查：在采集基础图像序列时，额外采集一张“全黑”图像（所有照明通道关闭）。将此图像作为环境光模板，从所有基础图像中减去。确保检测环境的光照条件稳定。

5.2 优化算法运行时间过长，无法满足调试节奏

• 可能原因1：基础图像数量N或照明通道数K过大。SDP问题的复杂度与N^2或K^2相关。
  • 优化：在保证性能的前提下，精简基础照明模式。通过先验知识（如缺陷可能出现的方位）选择最有代表性的照明方向，而不是盲目使用全部通道。可以先使用全通道进行探索性优化，找到关键通道后，在后续优化中固定其他非关键通道。
• 可能原因2：图像分辨率过高。计算散度矩阵S_w和S_b时，如果前景/背景标注区域包含数万像素，矩阵维度会很大。
  • 优化：对图像进行下采样后再进行优化计算。或者，从标注区域中随机采样一部分像素（如每区域1000个像素）来计算散度矩阵，通常足以代表整体统计特性。
• 可能原因3：SDP求解器配置。
  • 优化：使用商业级求解器（如MOSEK）通常比开源求解器更快更稳定。检查求解器的精度容忍参数，在工程允许范围内适当放宽，可以加速收敛。

5.3 优化出的照明模式在实际检测中效果不稳定

• 可能原因1：工件定位或姿态变化。BTF模型严重依赖于固定的相机-工件-光源相对位置。如果工件在产线上有晃动或旋转，优化效果会大打折扣。
  • 排查：确保机械定位精度。考虑使用夹具或视觉定位来校正工件位置。对于有姿态变化的工件，应采用第5.1节中提到的多姿态联合优化方法，获取一个对姿态变化鲁棒的照明方案。
• 可能原因2：材料批次差异。不同批次的金属板、塑料件，其表面反射特性可能有细微差别。
  • 排查：在系统上线前，使用多个有代表性的样本进行优化，并测试优化方案在所有样本上的泛化能力。如果差异过大，可能需要为不同批次建立不同的照明“配方”，或采用在线自适应微调策略。

5.4 BTF秩图像显示缺陷区域秩很低，优化空间有限

• 解读与应对：这是一个非常重要的预警信号。BTF秩低意味着该区域的纹理在所有照明变化下都高度相似，仅亮度发生变化。这可能是因为：
  1. 缺陷是颜色差异而非纹理差异。此时应启用彩色光源（RGB）进行优化。
  2. 缺陷位于表面之下或非常平滑。可能需要考虑使用偏振光、结构光等其他光学手段，而非简单的亮度调制。
  3. 当前的照明系统几何布局无法提供能凸显该缺陷的光照方向。需要考虑更换或增加光源角度。

这套基于BTF和SDP的编码照明优化框架，将视觉检测中最为依赖经验的“布光”环节，变成了一个可计算、可优化、可预测的工程问题。它不仅仅是一个算法，更是一套从物理建模、数据采集、数学优化到工程落地的完整方法论。其核心价值在于，它通过“数字孪生”在虚拟世界中穷尽照明可能性，找到最优解，再将其映射回物理世界，极大地提升了视觉系统开发的效率和最终性能的上限。对于面临复杂表面检测挑战的工程师而言，掌握这套方法，无异于获得了一把打开高质量成像之门的钥匙。