首页 > 代码库 > 光流法与KLT
光流法与KLT
（1）基于区域或者基于特征的匹配方法；
（2）基于频域的方法；
（3）基于梯度的方法；
简单来说，光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。研究光流场的目的就是为了从图片序列中近似得到不能直接得到的运动场。
光流法的前提假设：
（1）相邻帧之间的亮度恒定；
（2）相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；
（3）保持空间一致性；即，同一子图像的像素点具有相同的运动
这里有两个概念需要解释：
运动场，其实就是物体在三维真实世界中的运动；
光流场，是运动场在二维图像平面上的投影。
如上图所示，H中的像素点(x,y)在I中的移动到了(x+u,y+v)的位置，偏移量为(u,v)。
光流法用于目标检测的原理：给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。在某一特定时刻，图像上的点与三维物体上的点一一对应，这种对应关系可以通过投影来计算得到。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。需要提醒的是，利用光流法进行运动物体检测时，计算量较大，无法保证实时性和实用性。
光流法用于目标跟踪的原理：
（1）对一个连续的视频帧序列进行处理；
（2）针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；
（3）如果某一帧出现了前景目标，找到其具有代表性的关键特征点（可以随机产生，也可以利用角点来做特征点）；
（4）对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
（5）如此迭代进行，便可实现目标的跟踪；
IxVx+IyVy+It=0;
很直观的讲，如果判断一个视频的相邻两帧I、J在某局部窗口w上是一样的，则在窗口w内有：I(x, y, t) = J(x‘, y‘, t+τ)，亮度恒定的假设(假设1)即为了保证其等号成立不受亮度的影响，假设2是为了保证KLT能够找到点，假设3则为以下原因假设（即对于同一个窗口中，所有点的偏移量都相等）：
在窗口w上，所有(x, y)都往一个方向移动了(dx, dy)，从而得到(x‘, y‘)，即t时刻的(x, y)点在t+τ时刻为(x+dx, y+dy)，所以寻求匹配的问题可化为对以下的式子寻求最小值，或叫做最小化以下式子：
用积分来表示上述式子，以上式子可等效为：
这个式子的含义，即找到两副图像中，在W窗口中，I、J的差异，其中I以x-d/2为中心，J以x+d/2为中心，w/2为半径的一个矩形窗口间的差异，好吧，结合我们微积分的知识，函数ε(d)要取得最小值，这个极值点的导数一定为0，即
的值为0，由泰勒展开的性质：
可以得到：
于是，问题转化为：
其中：
从而，问题即为：
=>
即其等式可看作为：
其中，Z为一个2*2的矩阵，e为一个2*1的向量，
为了要使d能够得到解，则Z需要满足条件，即Z*Z‘矩阵可逆，其中Z‘为Z矩阵的转置(ZT)，在一般情况下，角点具有这样的特点。
光流法与KLT