081、时域降噪与运动补偿：多帧融合的工程化挑战

081、时域降噪与运动补偿：多帧融合的工程化挑战

一、一个让我失眠三天的bug

去年夏天，某款旗舰手机的夜景模式在实验室测了两个月，信噪比指标漂亮得让产品经理天天催着发版。结果到了用户手里，拍路灯下的行人，画面边缘出现了诡异的“鬼影”——不是传统意义上的镜头flare，而是人像边缘像被橡皮擦抹过，背景的砖墙纹理糊成了一片。更邪门的是，这个bug只在特定光照条件（色温4000K左右、照度5lux以下）下复现，实验室死活复现不出来。

后来我蹲在产线旁边，用示波器怼着MIPI通道看了三天，发现是运动补偿模块在低照度场景下，对局部运动向量的置信度判断出了偏差。这个案例让我深刻意识到：时域降噪从来不是算法问题，而是系统工程问题。今天这篇笔记，就把这些年踩过的坑、填过的土，掰开了揉碎了说清楚。

二、多帧融合的本质：一场信号与噪声的博弈

时域降噪的核心逻辑很简单：连续多帧中，信号是相关的，噪声是随机的。通过帧间加权平均，理论上能把噪声功率降低到1/N（N为帧数）。但现实世界不是实验室的静态场景——手会抖、云会飘、人会在取景框里突然转身。

工程化的第一个陷阱：帧对齐精度。

别以为有了OIS（光学防抖）就能高枕无忧。某次在车载项目里，我们用了全局仿射变换做帧对齐，结果车辆经过减速带时，CMOS的滚动快门效应导致画面出现“果冻扭曲”，全局模型根本扛不住。后来换成了基于光流的局部运动补偿，但代价是计算量翻了三倍，ISP的DSP跑得冒烟。

这里有个血泪教训：