081、人像模式 ISP 处理：深度估计、前景分割与渐进虚化的硬件加速实现

081、人像模式 ISP 处理：深度估计、前景分割与渐进虚化的硬件加速实现

一、从一次“翻车”的调试说起

去年Q3，某款旗舰机的人像模式在暗光下翻车了——背景虚化边缘出现“锯齿状”伪影，前景人物的头发丝被错误地虚化掉，像被狗啃过一样。我盯着示波器上的ISP pipeline时序图，发现深度估计模块的硬件加速器在低照度下触发了“降级模式”，导致置信度图出现大量空洞。更坑的是，前景分割的DMA传输在帧边界处丢了一行数据，虚化核的系数表被错误地加载成了上一帧的配置。

这个bug让我意识到：人像模式的ISP处理，从来不是算法论文里那些漂亮的公式能搞定的。硬件加速的每一级流水线，都藏着无数个“你以为它不会出问题”的坑。

二、深度估计：硬件加速器不是万能药

人像模式的第一步是获取深度信息。现在主流方案是双摄视差或ToF，但ISP里跑的是硬件加速的立体匹配引擎。

硬件加速器的典型架构：一个专用的SGM（半全局匹配）加速器，包含代价计算、代价聚合、视差优化三级流水线。代价计算阶段用SAD或Census变换，硬件里通常做4x4或8x8的窗口匹配。这里有个坑——窗口大小不能随便调。某次我把窗口从8x8改成16x16想提升精度，结果硬件加速器的行缓冲（line buffer）直接溢出，画面出现水平条纹。后来查手册才发现，这个加速器的行缓冲深度是按8x8窗口设计的，改大窗口需要同时改DMA的突发传输长度和SRAM分区。

置信度图的生成：硬件加速器