044、手持视频抖动严重？OpenCV 光流 + IMU 融合的电子防抖工程方案
044、手持视频抖动严重？OpenCV 光流 + IMU 融合的电子防抖工程方案
一、从一次无人机航拍翻车说起
去年夏天，我帮朋友调试一款手持云台相机。飞控IMU数据正常，OpenCV光流特征点跟踪也跑得飞快，但最终输出的视频——画面像喝醉了一样左右摇摆，比纯电子防抖还差。朋友当场吐槽：“你这算法还不如手机自带的。”
排查三天，发现一个低级错误：IMU的陀螺仪数据采样率是400Hz，而视频帧率只有30fps，我直接用最近邻插值对齐时间戳，导致角速度与图像帧错位了整整两帧。这个坑让我意识到：光流和IMU融合，不是简单地把两个数据拼在一起，而是要在时间轴上做精密配准。
二、为什么纯光流或纯IMU都搞不定手持防抖
先说说各自的问题。
纯光流防抖，依赖图像特征点。手持拍摄时，运动模糊、光照突变、纹理缺失（比如拍白墙）都会导致光流跟踪失败。更致命的是，光流只能估计像素运动，无法区分“相机主动旋转”和“场景中物体运动”。你端着相机追拍飞鸟，光流会把鸟的运动也当成抖动，结果画面反而更晃。
纯IMU防抖，靠陀螺仪和加速度计。但IMU有零偏漂移，积分后角度误差会随时间累积。手持拍摄时，手腕的微小抖动频率在5-20Hz，IMU的噪声和漂移在这个频段刚好和真实抖动混在一起，很难分离。更麻烦的是，IMU和相机之间存在安装偏差——你永远不知道IMU的坐标系和图像坐标系差了0.5度还是1度。
融合的意义在于：光流提供低频、无漂移的全局运动估计，IMU提供高频、瞬时的角速度响应。两者互补，才能覆盖手持抖动的全频段。