一种不受障碍物影响的运动物体跟踪及提取算法

摘要

本发明设计一种不受障碍物影响的运动物体提取及跟踪算法，同时该算法在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。该算法对由摄像头获取的连续视频图像帧提取特征点，并将获得的特征点建立匹配矩阵，并将运动物体的提取及追踪转换为一次指派问题，通过求解一次指派问题获得特征点的匹配关系，并实现对移动物体的提取与追踪。由于该算法在匹配时同时处理多幅图像帧，因此在当运动物体被障碍物遮挡时，追踪不会受到影响。

说明书

技术领域

本发明涉及计算机视觉的技术领域，特别涉及一种不受障碍物影响的运动物体跟踪及 提取算法。

背景技术

在摄像头获取的视频中的移动物体的追踪是计算机视觉研究领域的一个热点，在机器 人视觉，视频监控等系统中有着广阔的应用前景。传统方法如背景差分法，连续帧间差 分法在摄像头固定的情况下可以实现较为良好的追踪效果，但是在受障碍物影响的情况 下，运动物体的跟踪通常会被中断。

目前许多研究人员提出的用于追踪移动物体的方法，如光流法，基于SIFT特征点的 匹配法，Mean-Shift法和粒子滤波法，均不能解决在追踪中遇到障碍物体的问题。不受 障碍物影响的运动物体跟踪及提取算法在如安防，机器人视觉等应用领域却是必不可少 的。

发明内容

本发明的目的在于，提供一种不受障碍物影响的运动物体跟踪及提取算法，该方法 在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。因此，该算法不 仅在移动物体的追踪中相较传统的方法又更好的效果外，也可以被应用于人物的行为识 别领域中。

为了实现上述发明目的，本发明提供了一种基于多帧特征点同时匹配的新的移动物 体跟踪方法。该方法首先将由移动摄像头获得的视频图像的当前时刻的图像帧及之前时 刻的图像帧提取出来，并将图像中的特征点提取：

假设当前t时刻的图像帧为frame_t，

t时刻之前的T帧被同时提取，该T帧为frame_t-h，h＝{1，...T}，

对frame_t及frame_t-h，h＝{1，...T}提取特征点，并在每一帧所提取的特征点中保留稳定 性最好的N个特征点，则被提取的特征点总数为N×(T+1)个。

由于移动物体的轨迹追踪问题可以转换为移动物体中各个部分在连续帧中的匹配 问题，因此，通过求得当前帧中的各个特征点与之前帧中的各个特征点的匹配结果即可 得到移动物体在连续帧中的轨迹。

求当前帧中的N个特征点与之前帧中的N×T的特征点的匹配结果，可建立N×N×T 的原始效益矩阵，匹配结果即移动物体的各个部位在连续帧中的移动轨迹。

当前帧的特征点与之前帧的特征点在匹配时应该满足以下条件：

相匹配的特征点之间的相似度的累加总值最大，即该1对1的匹配问题可以视为一 个全局相似度最大化的最优化问题，即一次指派问题，。

当一个新的移动物体首次出现在图像帧画面中时，该移动物体的特征点可能与之前 帧的任何特征点都无法匹配，作为上述技术方案的一种改进，本方案对N×N×T的原效 益矩阵进行扩展。

N×N×T原效益矩阵被扩展为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的 阈值。

则当前帧的特征点与之前帧的特征点的匹配问题的最优化匹配的数学表达为：

Minimize

$C=\underset{i=1}{\overset{N}{\Sigma }}\underset{j=1}{\overset{N\times (T\times N+1)}{\Sigma }}{p}_{\mathrm{ij}}{c}_{\mathrm{ij}}$

s.t

$\underset{j=1}{\overset{N\times (T\times N+1)}{\Sigma }}{p}_{\mathrm{ij}}=1i=\{\mathrm{1,2},...,N\},$

$\underset{i=1}{\overset{N}{\Sigma }}{p}_{\mathrm{ij}}\le 1j=\{\mathrm{1,2},...,N\times (T\times N+1)\},$

p_ij＝{0，1}，

$c=\left(\begin{array}{c}\mathrm{similarity}\{\mathrm{Curr}\left(t\right)i,\mathrm{Prev}{(t-h)}_j\\ h=\{1,...,T\},\\ i=\{1,...N\},\\ j=\{(h-1)\times N+1,...,h\times N\},\\ \mathrm{Threshold>}\\ i=\{1,...N\},\\ j=\{(T+1)\times N+1,...,(T+1)\times N\}.\end{array}\right)$

其中T为当前帧之前的帧数，similarity{Curr(t)_i，Prev(t-h)_j}为当前帧特征点i与之前帧的 特征点j之间的特征空间空间距离，thresholdforcreating为预设的阈值。

在实际计算中，相似度由两个特征点的特征直方图之间的距离来计算。因此，全局 相似度最大化实际为将C最小化。这个1对1的最优化匹配可以视为1次指派问题， 并求解。

当前帧的特征点与的阈值部分相匹配时，则此特征点被视为属于新的移动物体。

之前帧中属于移动物体的特征点中在当前帧中无匹配点时，之前帧中的移动体被视 为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中的特征点匹配， 该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被当前时刻图像帧 中的特征点匹配，该特征点被视为遮挡后的再次出现。

当被追踪的移动物体在被遮挡时，其位置可由遮挡前后的位置做线性估算。

本发明的优点在于可以实现一种不受障碍物影响而中断的追踪算法。在物体被障碍 物挡住的时候可以实现持续的追踪，并可推算出被遮挡时的位置。这一特点使本方法在 追踪物体方面相对传统方法有更好的适用性及实用性。此外，本发明的技术方案由于可 以对移动物体的各个部分进行追踪，因此可为人物的行为识别提供轨迹特征。

附图说明

图1是基本效益矩阵示意图。

图2是扩展后的效益矩阵示意图。

图3是色彩差异最有小化的矩阵的最终形式。

图4是形状结构变化约束的示意图。

具体实施方式

在实际操作中使用SIFT算法对各个图像帧提取特征点。并通过特征点周围的像素 的方向梯度直方图对特征点进行描述。

在实际操作中，得到各个特征点的特征直方图后，通过巴氏距离计算2个特征点的 特征直方图之间的距离，即两个特征点的相似度。其中巴氏距离的计算公式如下：

$d=\sqrt{1-\underset{u=1}{\overset{m}{\Sigma }}\sqrt{p^{\left(u\right)}{q}^{\left(u\right)}}}$

其中p和q分别代表2个经过归一化的直方图。

假设在每一帧所提取的特征点中保留稳定性最好的N个特征点，则被提取的特征点 总数为N×(T+1)个。

通过计算得到当前帧所有特征点和之前帧所有特征点之间的相似度后，可以建立一 个基本效益矩阵。该效益矩阵的尺寸为N×N×T，如图1所示。效益矩阵的匹配结果即 特征点在时空间中的移动轨迹。

当一个新的移动物体首次出现在图像帧画面中时，该移动物体的特征点可能与之前 帧的任何特征点都无法匹配，因此N×N×T的原效益矩阵进行扩展。原效益矩阵被扩展 为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的阈值，如图2所示。当前帧的 特征点与的阈值部分相匹配时，则此特征点被视为属于新的移动物体。

在实际匹配中，之前帧中属于移动物体的特征点中在当前帧中无匹配点时，之前帧 中的移动体被视为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中 的特征点匹配，该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被 当前时刻图像帧中的特征点匹配，该特征点被视为遮挡后的再次出现。

图3中给出一个实际被遮挡物体的匹配例，在当前帧t中的特征点a和t-3时刻的图 像帧中的特征点匹配成功，则表明特征点a在t-2及t-3时刻中被障碍物遮挡，而在t 时刻又再度出现。

图4给出一个被障碍物遮挡时的移动物体的位置推算例，图中三角形的物体在t+2 时刻被遮挡，根据其被遮挡前的位置3及被遮挡后的位置5可做线性推算，其在被遮挡 时的位置为4。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。本领域的 技术人员应当理解，对本发明的技术方案进行修改或者等同替换，如最优化问题的解法， 特征差异的计算等都不脱离本发明技术方案的精神和范围，均应覆盖在本发明的权利要 求范围当中。