光流法的一些相关内容
光流法(Optical Flow)是计算机视觉中的一种经典方法,用于估计图像序列中像素的运动。它的目标是:从连续两帧图像中计算每个像素在图像平面上的运动速度(位移向量)。每个像素都会对应一个运动向量,因此形成 光流场(Optical Flow Field)。
一言以概之:所谓光流就是瞬时速率,在时间间隔很小(比如视频的连续前后两帧之间)时,也等同于目标点的位移
光流法的基本假设
光流法通常包含二个假设:
- 亮度一致性假设,即同一物体点在连续两帧中亮度不变。
- 小运动假设:两帧之间的位移很小。
可以将二维问题给简化为一维时去理解。
约束方程只有一个,而方程的未知量有两个,这种情况下无法求得u和v的确切值。此时需要引入另外的约束条件,从不同的角度引入约束条件,导致了不同光流场计算方法。按照理论基础与数学方法的区别把它们分成四种:基于梯度(微分)的方法、基于匹配的方法、基于能量(频率)的方法、基于相位的方法和神经动力学方法。
RLOF( Robust Local Optical Flow )算法
鲁棒局部光流算法于 2016 年发布。这项工作的主要思想是,强度恒定性假设并不能完全反映现实世界的行为方式。还有阴影、反射、天气条件、移动光源,简而言之,还有不同的照明。RLOF 是一种局部、鲁棒的光流估计方法,可以看作是稠密版本的 Lucas-Kanade,但加入了更多优化(例如金字塔处理、多尺度匹配、外部先验引导等)。
ROBUST LOCAL OPTICAL FLOW: LONG-RANGE MOTIONS AND VARYING ILLUMINATIONS
摘要:基于局部光流的稀疏运动估计方法是计算机视觉广泛应用的基础。经典的方法,如金字塔Lucas-Kanade方法(PLK)或更复杂的方法,如稳健的局部光流(RLOF),当涉及到光照变化和/或远程运动的环境时会失败。在这项工作中,我们针对这些局限性,提出了一种新的局部光流框架,该框架考虑了光照模型来处理变化的光照,以及基于透视全局运动模型的预测步骤来处理远距离运动。在Middlebury、Kitti和Sintel光流基准上的实验结果表明,该框架具有优越的性能。
方法先用光照模型扩展了一致性假设,接着提出先全局估计,之后在此基础上局部计算。 该方法在应对光照变化以及远距离运动上有一定的鲁棒性。
光流法误区
光流法是在图像上进行颜色处理得到的运动场,所以环境的光照变化,以及这种颜色变化都可能导致光流法失效。
此外,这里还有个会引起视觉错误的有趣图片。
参考文献
计算机视觉–光流法(optical flow)简介
计算机视觉笔记:10-2 光流 Optical Flow
1. 运动场(Motion Field)和光流(Optical Flow)
