191、视频超分中的数据增强：时空裁剪、光流扰动与退化模拟策略

191、视频超分中的数据增强：时空裁剪、光流扰动与退化模拟策略

去年做某个视频超分项目时，我在验证集上反复调参，PSNR死活上不去。后来发现不是模型的问题，是训练数据太“干净”了——视频帧之间几乎没抖动，退化模式单一，模型学到的全是理想情况下的映射。一上真实监控视频，直接崩成马赛克。那次之后我才真正意识到，视频超分的数据增强不是锦上添花，是保命手段。

时空裁剪：别把时间维当摆设

图像超分里做随机裁剪是常规操作，但视频超分里很多人直接把单帧那套搬过来——每帧独立随机裁剪。这其实是个坑。你想想，视频超分要学的是时序一致性，如果每帧裁剪位置完全随机，相邻帧之间的空间对应关系就断了，模型学到的只是“单帧超分+时序平滑”，而不是真正的时空联合重建。

我现在的做法是：先随机选一个时空起始点，然后沿着时间轴连续裁剪出一个立方体块。具体来说，给定一个T帧的输入序列，先随机选起始帧索引t0，再随机选空间起始点(x0, y0)，然后从t0到t0+T-1帧，每帧都从(x0, y0)开始裁剪固定大小的patch。这样裁剪出来的时空块，保留了完整的运动轨迹。

但这里有个细节——边界处理。如果裁剪区域超出图像边界，别用零填充，那会引入假边缘。我习惯用反射填充（reflect padding），或者干脆在裁剪前先做随机缩放，让内容缩到裁剪框内。这个技巧在视频超分里特别管用，相当于同时做了尺度增强。

另外，时间维度的裁剪长度也要讲究。我试过固定T=7帧，但后来发现不同视频的运动速度差异很大。慢动作视频里7帧几乎没变化，快动作视频里7帧可能已经跑出视野了。现在我的做法是动态调整：根据