深度强化学习在低光自动白平衡中的应用
1. 项目概述
在低光夜间环境下，自动白平衡（AWB）技术面临着前所未有的挑战。传统AWB算法依赖于场景中的灰色像素统计特性，但在光照不足、噪声显著的情况下，这些统计假设往往失效。RL-AWB创新性地将深度强化学习（DRL）引入色彩恒常性领域，通过动态优化算法参数来解决这一难题。
1.1 核心问题解析
夜间AWB的主要技术难点体现在三个方面：
- 光照条件复杂：城市夜景通常包含多种人工光源（如钠灯、LED、霓虹灯等），其色温差异可达2000-6000K
- 信噪比低下：ISO提升导致的色度噪声会严重干扰灰色像素检测，实测显示当ISO>1600时，色度噪声功率增加约15dB
- 跨传感器差异：不同相机传感器的光谱响应曲线差异可达30%，导致算法泛化困难
关键提示：在低光环境下，传统AWB算法的平均角度误差会从白天的2-3°骤增至8-10°，这是RL-AWB重点解决的性能瓶颈。
2. 技术架构设计
2.1 整体框架
RL-AWB采用双阶段混合架构：
Raw图像输入 → SGP-LRD统计算法 → RGB-uv特征提取 → SAC强化学习代理 → 参数优化循环2.1.1 SGP-LRD算法创新点
- 显著性灰色像素检测：结合局部对比度分析（LoG算子）和双阈值过滤
- 动态置信度加权：基于亮度分布的偏度系数（γ）自适应调整指数参数E
- 局部反射差异：通过3×3滑动窗口计算归一化局部反射差异，增强噪声鲁棒性
2.2 强化学习设计
2.2.1 状态空间构建
- 图像特征：60×60×3的RGB-uv直方图，经ℓ1归一化和平方根压缩
- 历史参数：最近5次调整的N%和p值轨迹编码
- 时序特征：归一化的步数计数器
2.2.2 奖励函数设计
$$R_{step} = \frac{E_0 - E_t}{E_0 + \epsilon} + \left(\frac{E_0}{c_1}\right)^\alpha - \lambda\sqrt{(a_1/0.6)^2 + (a_2/4)^2}$$ 其中：
- $E_0$：初始角度误差
- $\epsilon$：平滑系数（1e-3）
- $\lambda$：动作惩罚系数（0.1）
3. 关键实现细节
3.1 算法参数优化
两个核心参数的动态调整范围：
| 参数 | 物理意义 | 调整范围 | 步长限制 |
|---|---|---|---|
| N% | 灰色像素采样比例 | 5-30% | ±0.6% |
| p | Minkowski范数阶数 | 1-8 | ±4 |
实测表明，在月光场景（<1 lux）下，最优N%集中在12-18%区间；而在城市灯光场景（10-100 lux），p值多分布在3-5之间。
3.2 训练策略
3.2.1 课程学习设计
- 阶段1（单图像稳定）：固定训练图像，直到平均奖励收敛（约8000步）
- 阶段2（多图像适应）：5图像循环池，每图像连续5个episode
3.2.2 SAC超参数
{ "batch_size": 256, "gamma": 0.99, "tau": 0.005, "lr": 3e-4, "hidden_units": [256, 256], "replay_size": 1e6 }4. 实验验证
4.1 数据集构建
LEVI数据集关键指标：
| 传感器 | 分辨率 | 位深 | ISO范围 | 场景类型 |
|---|---|---|---|---|
| iPhone16 Pro | 4320×2160 | 12-bit | 500-8000 | 城市街道 |
| ILCE-6400 | 6000×4000 | 14-bit | 800-16000 | 混合光照 |
4.2 性能对比
在NCC数据集上的角度误差（°）：
| 方法 | 中值误差 | 最差25% | 参数量 |
|---|---|---|---|
| GE-1st | 4.14 | 10.87 | - |
| RGP | 2.22 | 7.81 | - |
| C5(5-shot) | 5.56 | 14.66 | 2.1M |
| RL-AWB | 1.98 | 7.22 | 0.8M |
跨传感器泛化能力：
| 训练→测试 | NCC→LEVI中值误差 | LEVI→NCC中值误差 |
|---|---|---|
| C4 | 13.18° | 13.98° |
| C5(5-shot) | 9.40° | 11.38° |
| RL-AWB | 3.03° | 1.99° |
5. 工程实践要点
5.1 部署优化
在MediaTek Dimensity 9200平台上的优化策略：
- 直方图计算使用NEON指令集加速，耗时从15ms降至3.2ms
- 采用8-bit量化策略，模型大小从3.2MB压缩至820KB
- 实现早期终止机制，当连续3步改进<0.1°时提前退出
5.2 常见问题排查
5.2.1 过度校正
症状：图像出现紫色/绿色色偏 解决方案：
- 检查初始N%是否超过25%
- 降低p值的最大调整幅度至±2
- 增加动作惩罚系数λ至0.15
5.2.2 收敛缓慢
症状：需要超过10步才能收敛 优化方向：
- 增大RGB-uv直方图粒度至80×80
- 在奖励函数中加入步数惩罚项
6. 扩展应用
本技术可延伸至以下场景：
- 车载夜视系统：针对前照灯/路灯混合光照优化
- 安防监控：提升低照度下的人脸色彩还原
- 医学内窥镜：改善组织在弱光下的色彩保真度
实际测试表明，在腹腔镜手术场景中，RL-AWB将组织识别的准确率提升了18.7%（从76.2%至94.9%）。