178、AI 超分辨率在移动端的落地：从模型训练到 DSP和NPU 推理的端到端流程

178、AI 超分辨率在移动端的落地：从模型训练到 DSP和NPU 推理的端到端流程

一、一个让我熬夜三天的 Bug

去年Q3，我接手了一个项目：把一套基于ESPCN的超分模型塞进某款中端SoC的NPU里。模型在PC上跑PSNR 32.5dB，量化后掉到31.8dB，勉强能接受。结果一上真机，预览画面每隔几帧就出现一条横向的“撕裂带”——像是有人拿梳子在图像上刮了一下。更诡异的是，只有在1080p输入、2x超分到4K时才会触发，720p输入完全正常。

我花了三天排查：先怀疑NPU驱动DMA对齐问题，又怀疑DSP和NPU之间的共享内存踩踏，最后发现是模型输入层的padding策略和NPU硬件支持的stride不匹配——训练时用的“same” padding在NPU上被硬件自动补成了非对称padding，导致特征图边界计算错误。这个坑让我意识到：AI超分在移动端落地，90%的坑不在模型本身，而在模型和硬件之间的“翻译层”。

二、模型训练：别只盯着PSNR

移动端超分模型选型，我踩过最深的坑是“PC上跑得好好的，一上机就崩”。原因很简单：训练时用的损失函数和推理时的硬件行为不匹配。

2.1 损失函数要“硬件友好”

很多人用L1+感知损失，但移动端NPU/DSP对高频细节的保留能力有限。我推荐在训练时加入频域损失——不是让你真的去算FFT，而是用拉普拉斯金字塔的梯度作为辅助监督。代码里这样写：<