基于特征光流与在线集成学习的视频目标跟踪方法

摘要

本发明公开了一种基于特征光流与在线集成学习的视频目标跟踪方法，用于解决现有的数字视频中的特定目标的跟踪方法跟踪结果差的技术问题。技术方案是跟踪部分输入视频序列，用OpenCV自带的函数对每一帧的特征点用迭代金字塔光流法进行跟踪，得到下一帧这些特征点的位置；检测部分选择正样本或者负样本进行adaboost算法的处理；对跟踪部分和检测部分得到的目标可能位置进行机器学习。由于将跟踪和检测的特征提取方式分离开来；在检测过程中添加了目标可能出现的位置限制的过滤，将距离目标较远的可能目标去除；再次得到跟踪和检测结果后，自适应地计算目标与在线模型的Fisher鉴别比来确定对应权重，而不是以一个固定的数值来对两个结果进行融合，因此跟踪效果较好。

说明书

技术领域

本发明涉及一种视频目标跟踪方法，特别是涉及一种基于特征光流与在线集成学 习的视频目标跟踪方法。

背景技术

视频目标跟踪方法的研究和应用作为计算机视觉领域的一个重要分支，正日益广 泛地应用到科学技术、国防建设、航空航天、医药卫生以及国民经济的各个领域，因 而研究目标跟踪技术有着重大的实用价值。现有的特定目标跟踪方法主要有：基于检 测的方法，如帧间差分方法、背景差分方法、运动场估计方法。基于识别的方法，如 区域匹配方法、模型匹配方法、频率域匹配方法和特征匹配方法。

文献“Online learning of robust object detectors during unstable tracking,OLCV，2009” 公开了一种数字视频中的特定目标的跟踪方法，该方法采用跟踪-建模-检测（TMD） 方法。跟踪部分采用改进的加入了中值处理的Lucas-Kanade光流法实现的一个短期跟 踪器来对特定目标进行跟踪，估计出目标下一帧出现的位置；而在线检测器是基于随 机森林形式的分类器，随机森林中每棵树上的每个特征代表了这棵树在某个层面上的 一种衡量，特征选用在某个区域衡量梯度方向并将其数字化的2bitBP特征，通过投票 的方式决定输入的图像块是否是潜在目标；建模部分的在线模型用一系列15×15的强 度归一化的小块来表现，从跟踪器轨迹和模型更新选择出来的适当的样本来添加进在 线模型，同时将错检的可能目标移出模型。但是，特征产生过程中采用随机生成一些 特征点，利用前向后向误差判定来确定稳定的点，由于特征是随机产生的，所以具有 不确定性，而且跟踪部分和检测部分都采用的是同一组特征，若特征发生错误，则跟 踪和检测部分的结果将同时不准确，对于错误特征有局限性且容错性差。而且对跟踪 结果和检测结果的权重分配也是一个固定值，不能自适应地进行调整。

发明内容

为了克服现有的数字视频中的特定目标的跟踪方法跟踪结果差的不足，本发明提 供一种基于特征光流与在线集成学习的视频目标跟踪方法。该方法将跟踪和检测的特 征提取方式分离开来；在检测过程中添加了目标可能出现的位置限制的过滤，将距离 目标较远的可能目标去除；再次得到跟踪和检测结果后，自适应地计算目标与在线模 型的Fisher鉴别比来确定对应权重，而不是以一个固定的数值来对两个结果进行融合， 可以得到较好的跟踪效果。

本发明解决其技术问题所采用的技术方案是：一种基于特征光流与在线集成学 习的视频目标跟踪方法，其特点是包括以下步骤：

步骤一、对原始视频的每帧图像用OpenCV提取稳定的特征点，其中包括图像序 列中一直稳定存在的特征点和每一帧会新增加的特征点，用OpenCV自带的迭代光流 法来跟踪这些特征点在下一帧的位置。

进行目标未缩放跟踪的处理，首先判断OpenCV检测出来的特征点的数目是否达 到RANSAC算法所要求的最少特征点数目。若特征点数目＜最少特征点数目，则分别 统计这几个特征点在x方向和y方向的位移，排序后选择中位值作为整个目标在x方 向和y方向的位移；若特征点的数目≥最少特征点数目，则运用RANSAC算法先去除 坏点，再计算出前一帧目标边界框到后一帧目标边界框的转换矩阵。得到目标未缩放 时前一帧目标边界框对应的后一帧目标边界框的位置。

在得到目标未缩放的边界框的位置后进行缩放处理，首先以目标边界框的长和宽 中较小的一个为基准，从-5到5个像素进行缩放，对应的另外一边也按照从-5到5个 像素进行缩放；采用公式

$\mathrm{Total}=\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{n}{\Sigma }}|\mathrm{img}2(\mathrm{itemp},\mathrm{jtemp})-\mathrm{img}1(i,j)|---\left(1\right)$

计算这几种缩放情况下累计灰度误差，选择累计灰度误差最小的一个缩放比例作为最 终的缩放结果。式中，img1为前一帧图像，img2为后一帧图像，m、n分别为前一帧 的边界框的宽和高，itemp、jtemp分别是img2中对应img1中i、j的坐标。

步骤二、训练集采用第一帧给出的特定目标以及特定目标多个仿射变换后的目标 作为正样本，图像不涉及目标部分随机选取作为负样本。接着生成检测部分需要用到 的2bitBP特征矩形框，用adaboost算法

error=min(ΣWeight(i，j))，if(X(i，j)≠Y(j)，j∈F)

α=log((1-error)/error)/2                              （2）

$\left(\begin{array}{c}\mathrm{Weight}(i,j)=\mathrm{Weight}(i,j)\times e^{-\alpha },\mathrm{if}(X(i,j)=Y\left(j\right))\\ \mathrm{Weight}(i,j)=\mathrm{Weight}(i,j){\times e}^{\alpha },\mathrm{if}(X(i,j)\ne Y\left(j\right))\end{array}\right)$

从2bitBP特征矩形框中选择出弱分类器组成一个强分类器，每次选择错误率最小的分 类器作为一个弱分类器，最终的强分类器作为在线检测器的分类器。式中，F是特征 集合，i是第i个特征而j是第j个样本，X(i，j)是第i个特征判断第j个样本的标签，Y 是第j个样本真正的标签，Weight(i，j)是第j个样本的权值，α是该特征的系数。

用一个窗口来扫描一幅图像，将每次产生的图像块输入到检测部分，用公式

$P_{\mathrm{positive}}=\underset{i=1}{\overset{N}{\Sigma }}\mathrm{flag}\times {\mathrm{xishu}}_{\mathrm{positive}}\left(i\right),\left(\begin{array}{c}\mathrm{flag}=1,\mathrm{if}(\mathrm{StrongClassifer}\left(i\right)>=0.5)\\ \mathrm{flag}=-1,\mathrm{if}(\mathrm{StrongClassifer}\left(i\right)<0.5)\end{array}\right)$

                            $\left(3\right)$

$P_{\mathrm{negative}}=\underset{i=1}{\overset{N}{\Sigma }}\mathrm{flag}\times {\mathrm{xishu}}_{\mathrm{negative}}\left(i\right),\left(\begin{array}{c}\mathrm{flag}=1,\mathrm{if}(\mathrm{NegativeClassifer}\left(i\right)>=0.5)\\ \mathrm{flag}=-1,\mathrm{if}(\mathrm{NegativeClassifer}\left(i\right)<0.5)\end{array}\right)$

计算正样本或者负样本图像块，当满足公式

$\left(\begin{array}{c}{P}_{\mathrm{positive}}\ge \mathrm{sum}\left({\mathrm{xishu}}_{\mathrm{positive}}\right)/2\\ P_{\mathrm{positive}}\ge P_{\mathrm{negative}}\end{array}\right)---\left(4\right)$

的图像块暂时标记为正样本。式中，P_positive、xishu_positive(i)分别代表是正样本的可能性 和第i个特征对应的系数，而P_negative、xishu_negative(i)分别代表是负样本的可能性和第i 个特征对应的系数。如果是正样本的可能性不小于是负样本的可能性而且正样本的可 能性不小于所有特征系数之和的一半，则暂时判定该图像块是正样本。

对初始判定为正样本的图像块再进行过滤：

(ⅰ)初始化中用NCCdistance=1-NCC衡量各个样本与最近邻正样本或者最近邻负 样本的相关相似性和固有相似性，满足标签为1但相关相似性＜0.65的加入最近邻正 样本中，标签为0但相关相似性＞0.5的加入最近邻负样本中。

把概率分类器输出的结果输入最近邻分类器，过滤掉与最近邻正样本、负样本的 相关相似性≤0.4的结果。

(ⅱ)用1-overlap来作为两个边界框的距离，其中overlap是两个边界框的覆盖百分 比，由公式

overlap=S_both/(S₁+S₂-S_both)             （5）

计算，设定阈值为0.55，过滤掉覆盖百分比小于0.55的结果。将过滤掉的结果均加入 到负样本中。式中，S₁、S₂分别为两个边界框的面积，S_both是两个边界框重合的面积。

步骤三、以跟踪和检测结果是否存在来产生四种可能的情况：

(ⅰ)跟踪结果和检测结果都存在：首先计算检测结果的可能的边界框两两之间的 覆盖百分比overlap，边界框两两之间的距离定义为distance=1-overlap，用层次聚类法 对distance进行聚类，以0.3作为聚类结束的阈值。保留与跟踪结果的边界框的覆盖百 分比大于0.5的检测结果，若聚为一类则对跟踪器进行重新初始化；否则计算出跟踪 结果与检测结果的权值分配，取均值来调整跟踪器的轨迹。

权值分配过程由公式

$\left(\begin{array}{c}{J}_{\mathrm{FDR}}=\frac{{|{\mu }_1-{\mu }_2|}^2}{{\sigma }_1^2+{\sigma }_2^2}\\ \mathrm{weight}=\frac{1}{J_{\mathrm{FDR}}}\end{array}\right)---\left(6\right)$

计算；式中，跟踪结果和各个检测结果的权值为weight，μ₁、σ₁是在线模型的灰度均 值和方差，μ₂、σ₂是跟踪或者检测结果的灰度均值和方差，J_FDR是Fisher鉴别比。

(ⅱ)跟踪结果不存在、检测结果存在：对检测结果进行聚类，都聚为一类时对跟 踪器重新初始化。

(ⅲ)跟踪结果存在、检测结果不存在：用跟踪结果调整跟踪轨迹。

(ⅳ)跟踪和检测结果都不存在：不处理。

将新得到的目标样本添加到正样本来更新正样本分类器的概率分布，并且重新统 计各个特征对正样本判断的错误率来更新权值；将错检的样本添加到负样本，同对正 样本的操作一样更新概率分布和各个特征对负样本判断的错误率得到的权值，最后同 时更新最近邻分类器。

本发明的有益效果是：由于将跟踪和检测的特征提取方式分离开来；在检测过程 中添加了目标可能出现的位置限制的过滤，将距离目标较远的可能目标去除；再次得 到跟踪和检测结果后，自适应地计算目标与在线模型的Fisher鉴别比来确定对应权重， 而不是以一个固定的数值来对两个结果进行融合，因此跟踪效果较好。

下面结合附图和实施例对本发明作详细说明。

附图说明

图1是本发明基于特征光流与在线集成学习的视频目标跟踪方法的流程图。

具体实施方式

本发明方法具体步骤如下：

1、跟踪部分。

预处理部分输入视频序列，用OpenCV自带的函数对每一帧的特征点用迭代金字 塔光流法进行跟踪，得到下一帧这些特征点的位置。

对于无缩放的目标跟踪，进行如下处理：

（ⅰ）特征点的数目＜4时，用这些特征点在x方向和y方向的位移的中位值作 为整个目标在x方向和y方向的位移。

（ⅱ）特征点的数目≥4时，用RANSAC算法计算出前一帧边界框到后一帧边界 框的转换矩阵。

由于运动目标在连续两帧中可能存在细微的缩放，仅仅只考虑未缩放的情况是不 完整的。因此继续对得到的未缩放目标边界框进行缩放处理：

(ⅰ)首先以目标边界框的长和宽中较小的一个为基准，从-5到5个像素进行缩放， 对应的另外一边也按照此比例进行缩放；

(ⅱ)再次用公式（1）计算这几种缩放情况下累计灰度误差，选择累计灰度误差最 小的一个缩放比例作为最终的缩放结果。

$\mathrm{Total}=\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1}{\overset{n}{\Sigma }}|\mathrm{img}2(\mathrm{itemp},\mathrm{jtemp})-\mathrm{img}1(i,j)|---\left(1\right)$

其中，img1为前一帧图像，img2为后一帧图像，m、n分别为前一帧的边界框的 宽和高，itemp、jtemp分别是img2中对应img1中i、j的坐标。

选择累计灰度误差最小的缩放比例对未缩放边界框进行处理就可以得到跟踪部分 的结果。

2、检测部分。

预处理部分选择以下样本进行adaboost算法的处理。训练集中正样本是第一帧中 由用户选择出来的目标以及该目标的若干个仿射变换的结果组成；负样本是图像中不 包括目标部分所选取的样本。为了加速，计算出每个样本的积分图。

首先产生在已知目标框中可能产生的2bitBP特征框的坐标，在这些特征中要选择 N组特征。从T=1，2，3，...，N，对于每个T，挑选出目前令样本错误率最小的特征作为一 个弱分类器，并更新样本权值，其计算方法见公式（2）。

error=min(∑Weight(i，j))，if(X(i，j)≠Y(j)，j∈F)

α=log((1-error)/error)/2                               （2）

$\left(\begin{array}{c}\mathrm{Weight}(i,j)=\mathrm{Weight}(i,j)\times e^{-\alpha },\mathrm{if}(X(i,j)=Y\left(j\right))\\ \mathrm{Weight}(i,j)=\mathrm{Weight}(i,j){\times e}^{\alpha },\mathrm{if}(X(i,j)\ne Y\left(j\right))\end{array}\right)$

其中，F是特征集合，i是第i个特征而j是第j个样本，X(i，j)是第i个特征判断 第j个样本的标签（1或-1），Y是第j个样本真正的标签，Weight(i，j)是第j个样本的 权值，α是该特征的系数。

检测部分由两个分类器组成，分别是正样本对应的分类器StrongClassifer和负样 本对应的分类器NegativeClassifer。这两个分类器在预处理过程中已经得到。

用一个窗口来扫描一幅图像，将每次产生的图像块输入到检测部分，用公式（3） 来计算图像块可能是正样本或者负样本的可能性，当满足公式（4）的图像块暂时标记 为正样本。

$P_{\mathrm{positive}}=\underset{i=1}{\overset{N}{\Sigma }}\mathrm{flag}\times {\mathrm{xishu}}_{\mathrm{positive}}\left(i\right),\left(\begin{array}{c}\mathrm{flag}=1,\mathrm{if}(\mathrm{StrongClassifer}\left(i\right)>=0.5)\\ \mathrm{flag}=-1,\mathrm{if}(\mathrm{StrongClassifer}\left(i\right)<0.5)\end{array}\right)$

                                  $\left(3\right)$

$P_{\mathrm{negative}}=\underset{i=1}{\overset{N}{\Sigma }}\mathrm{flag}\times {\mathrm{xishu}}_{\mathrm{negative}}\left(i\right),\left(\begin{array}{c}\mathrm{flag}=1,\mathrm{if}(\mathrm{NegativeClassifer}\left(i\right)>=0.5)\\ \mathrm{flag}=-1,\mathrm{if}(\mathrm{NegativeClassifer}\left(i\right)<0.5)\end{array}\right)$

P_positive、xish_upositive(i)分别代表是正样本的可能性和第i个特征对应的系数，而 P_negative、xishu_negative(i)分别代表是负样本的可能性和第i个特征对应的系数。

$\left(\begin{array}{c}{P}_{\mathrm{positive}}\ge \mathrm{sum}\left({\mathrm{xishu}}_{\mathrm{positive}}\right)/2\\ P_{\mathrm{positive}}\ge P_{\mathrm{negative}}\end{array}\right)---\left(4\right)$

如果是正样本的可能性不小于是负样本的可能性而且正样本的可能性不小于所有 特征系数之和的一半，则暂时判定该图像块是正样本。

仅仅有概率分类器可能会出现很多错检，因此添加两个步骤对初始判定为正样本 的图像块进行过滤：

(ⅰ)最近邻分类器。

初始化中用NCCdistance=1-NCC（归一化互相关）来衡量各个样本与最近邻正样 本或者最近邻负样本的相关相似性和固有相似性，满足标签为1但相关相似性＜0.65 的加入最近邻正样本中，标签为0但相关相似性＞0.5的加入最近邻负样本中。

把概率分类器输出的结果输入最近邻分类器，过滤掉与最近邻正样本、负样本的 相关相似性≤0.4的结果。

(ⅱ)目标可能出现位置限制。

由于目标在连续两帧的移动范围不会很大，因此可以过滤掉距离前一帧目标位置 很远的结果。用1-overlap来作为两个边界框的距离，其中overlap是两个边界框的覆 盖百分比，由公式（5）计算，设定阈值为0.55，过滤掉覆盖百分比小于0.55的结果。

overlap=S_both/(S₁+S₂-S_both)            （5）

S₁、S₂分别为两个边界框的面积，S_both是两个边界框重合的面积。

这两步过滤掉的结果均加入到负样本中。

3、机器学习。

对跟踪部分和检测部分得到的目标可能位置进行机器学习。以跟踪和检测结果是 否存在来产生四种可能的情况：

(ⅰ)跟踪结果和检测结果都存在：首先计算检测结果的可能的边界框两两之间的 覆盖百分比overlap，计算见公式（5），边界框两两之间的距离定义为distance=1-overlap， 用层次聚类法对distance进行聚类，以0.3作为聚类结束的阈值。保留与跟踪结果的边 界框的覆盖百分比大于0.5的检测结果，若聚为一类则对跟踪器进行重新初始化；否 则计算出跟踪结果与检测结果的权值分配，取均值来调整跟踪器的轨迹。

权值分配过程由公式（6）计算跟踪结果和各个检测结果的权值weight，其中μ₁、 σ₁是在线模型的灰度均值和方差，μ₂、σ₂是跟踪或者检测结果的灰度均值和方差，J_FDR是Fisher鉴别比。

$\left(\begin{array}{c}{J}_{\mathrm{FDR}}=\frac{{|{\mu }_1-{\mu }_2|}^2}{{\sigma }_1^2+{\sigma }_2^2}\\ \mathrm{weight}=\frac{1}{J_{\mathrm{FDR}}}\end{array}\right)---\left(6\right)$

(ⅱ)跟踪结果不存在、检测结果存在：对检测结果进行聚类，都聚为一类就对跟 踪器重新初始化。

(ⅲ)跟踪结果存在、检测结果不存在：将跟踪结果来调整跟踪轨迹。

(ⅳ)跟踪和检测结果都不存在：不处理。

将新得到的目标样本添加到正样本来更新正样本分类器的概率分布，并且重新统 计各个特征对正样本判断的错误率来更新权值；将错检的样本添加到负样本，同对正 样本的操作一样更新概率分布和各个特征对负样本判断的错误率得到的权值，最后同 时要更新最近邻分类器。