080、去马赛克算法对比：双线性插值、色比恒定法与深度学习导向滤波的优劣分析
080、去马赛克算法对比：双线性插值、色比恒定法与深度学习导向滤波的优劣分析
从一次车载摄像头调试的“鬼影”说起
几年前，我在调试一款车载环视摄像头模组时，遇到一个诡异现象：车辆在夜间经过路灯下，画面中路灯边缘出现一圈一圈的彩色条纹，像彩虹一样。客户直接甩过来一张截图，说“你们这个摄像头是不是坏了，颜色都糊了”。我第一反应是镜头镀膜有问题，或者sensor的Bayer pattern有缺陷。但换上实验室的参考模组，同样的场景，同样的ISP pipeline，问题消失了。
折腾了两天，最后定位到——是去马赛克算法（Demosaic）的参数配置问题。当时用的是双线性插值，为了追求低延迟，把边缘保护阈值调得太松，导致高频区域（路灯边缘）的R、G、B通道插值方向互相打架，产生了伪色。后来换成色比恒定法，伪色没了，但画面整体偏软，像蒙了一层纱。最后被迫上了硬件加速的导向滤波方案，才勉强平衡了清晰度和色彩。
这件事让我深刻意识到：去马赛克不是简单的“填像素”，它直接决定了ISP pipeline的“地基”质量。地基歪了，后面的3A、HDR、降噪全是白搭。
双线性插值：快，但别指望它干活
双线性插值是最基础的方案，原理简单到令人发指：对于每个缺失的像素，直接用周围四个同色通道的像素做加权平均。比如Bayer pattern中一个R像素位置，需要插值出G和B，那就找最近的四个G像素和四个B像素，算个平均值填进去。
代码里踩过的坑：千万别在边缘不做特殊处理。很多新手直接写个循环，遍历整张图，结果边缘像素因为邻域不够四个点，要么补零要么越界。补零会导致边缘出现暗边，越界直接崩。正确的做法是镜像填充或者只处理有效区域，边缘单独用双线性（但只有两个点可用）。
// 别这样写：直接取四个点平均，不考虑边缘uint8_tg_interp=(g1+g2+g3+g4)/4;// 如果g2或g4是无效值，结果就废了// 正确做法：先判断邻域有效性，再平均intvalid_count=0;intsum=0;if(g1_valid){sum+=g1;valid_count++;}if(g2_valid){sum+=g2;valid_count++;}// ... 类似处理uint8_tg_interp=valid_count>0?sum/valid_count:0;双线性插值的优势只有一个：快。在低分辨率（比如VGA）或者对实时性要求极高的场景（比如无人机避障摄像头），它还能凑合。但一旦遇到高频纹理（头发丝、电线、文字边缘），伪色和锯齿就全冒出来了。原因很简单：它假设颜色变化是线性的，但真实世界的边缘往往是突变的。
色比恒定法：老江湖的智慧
色比恒定法（Color Ratio Constancy）是上世纪90年代提出的经典方法，核心思想是：在局部区域内，不同颜色通道之间的比值是恒定的。也就是说，如果已知一个像素的G值，那么它的R和B可以通过周围像素的R/G、B/G比值来推算。
实际调试中的体会：这个方法对伪色的抑制比双线性好得多，尤其在低光场景。因为它是基于颜色相关性来插值，而不是单纯的空间平均。但代价是——它假设颜色比值在局部是平滑的。如果场景中有强烈的颜色突变（比如红绿相间的条纹），比值会剧烈变化，插值结果就会出现“色晕”。
这里踩过的一个坑：色比恒定法在计算比值时，分母（通常是G通道）不能太小。如果某个像素的G值接近0（比如纯红色区域），R/G会变成无穷大，插值结果直接爆炸。所以实际代码里必须加一个保护：当G值小于某个阈值（比如10/1023）时，退回到双线性插值。
// 这里踩过坑：分母保护floatratio_rg=(g_val>10)?(float)r_val/g_val:0.0f;// 如果g_val太小，直接放弃比值法，改用双线性if(g_val<=10){r_interp=bilinear_interp_r(x,y);}else{r_interp=ratio_rg*g_interp;}色比恒定法的另一个变种是色差恒定法（Color Difference Constancy），用R-G、B-G的差值代替比值。差值法在低光下更稳定，因为减法不会像除法那样放大噪声。但差值法对白平衡敏感——如果白平衡没调好，色差偏移会导致整个画面偏色。
深度学习导向滤波：暴力但有效
深度学习导向滤波（Deep Guided Filter）是近几年才成熟起来的方案，本质上是把导向滤波（Guided Filter）的核用神经网络来学习。导向滤波本身是个好东西：它能保持边缘的同时做平滑，但传统导向滤波需要手动设计正则化参数（比如epsilon），不同场景要调不同的值，非常麻烦。
深度学习方案的做法：用大量成对的Bayer raw图和全彩图训练一个网络，让网络自动学习“在哪些区域应该保持边缘，在哪些区域应该平滑”。输出的是一个导向滤波的核参数，或者直接输出插值后的RGB图。
实际效果：在手机旗舰机型的夜景模式里，深度学习去马赛克已经成了标配。它能同时处理伪色、锯齿、噪声，甚至能“脑补”出一些被Bayer pattern丢失的细节（比如细小的纹理）。但代价是计算量巨大，一颗中端ISP芯片可能扛不住。
这里别这样写：不要以为深度学习就是万能药。如果训练数据里全是室内灯光场景，拿到户外强光下，网络可能直接崩掉——出现奇怪的纹理或者颜色断层。所以部署前一定要做场景覆盖测试，尤其是极端场景（逆光、极暗、高饱和颜色）。
三种方案的适用场景对比（个人经验版）
双线性插值：只适合以下情况——你用的sensor分辨率低于200万像素，或者ISP芯片算力极其有限（比如几块钱的MCU），或者你只是做预览流（不需要最终出图）。但凡对画质有一丁点要求，别用。
色比恒定法：适合中端安防摄像头、车载环视（非ADAS主摄像头）、工业检测。它能在算力和画质之间取得平衡。但要注意：如果场景中有大量高饱和颜色（比如红绿灯、广告牌），建议配合边缘检测做自适应切换——在平坦区域用色比法，在边缘区域用双线性（或者更复杂的梯度法）。
深度学习导向滤波：适合旗舰手机、高端车载（比如ADAS主摄像头）、医疗影像。前提是你的ISP芯片有NPU或者GPU加速，且你有足够的标定数据。如果只是小批量产品，不建议上，因为训练和调优的成本可能比硬件还高。
个人经验性建议
不要迷信算法，先看sensor的Bayer pattern。有些sensor的Bayer排列不是标准的RGGB，而是RCCB、RYYB甚至四合一（Quad Bayer）。这些特殊pattern需要定制去马赛克算法，通用的双线性或色比法直接套用会出大问题。我见过有人把RYYB的sensor用标准RGGB的demosaic去跑，结果画面全是紫色。
去马赛克和降噪的顺序不能乱。很多ISP pipeline是先降噪再去马赛克，理由是噪声会影响插值精度。但如果你先降噪，会损失高频细节，再去马赛克也补不回来。我的经验是：先做轻度降噪（只去除热像素和固定模式噪声），再做去马赛克，最后做重度降噪（双边滤波或BM3D）。这样能最大程度保留纹理。
调试时一定要看raw图。很多工程师只看最终RGB图，觉得“颜色对了就行”。但去马赛克的伪色问题，在raw图上往往表现为“某个通道的插值方向错了”。把raw图的R、G、B通道单独拎出来看，能快速定位问题。比如，如果R通道的插值结果在边缘处出现“阶梯状”，说明插值方向没对齐。
最后一条，也是最关键的：去马赛克算法的好坏，最终取决于你的测试场景是否覆盖了“真实世界”。实验室里的色卡和分辨率板只能测出基础性能，但真正的挑战是——树叶缝隙里的阳光、金属表面的反光、人眼瞳孔里的高光。这些场景的纹理和颜色变化极其复杂，任何算法都可能翻车。所以，多去户外拍，多找极端场景，比看一百篇论文都管用。
下期预告：去马赛克只是ISP pipeline的第一步，接下来我们会聊“坏点校正（DPC）——为什么你的摄像头在暗光下会出现白点？以及如何用动态阈值区分坏点和真实细节。”