基于极小化上界误差的视觉跟踪方法

摘要

本发明是基于极小化上界误差的视觉跟踪方法，利用跟踪器估计目标在当前帧中的区域，所述目标区域包括目标位置与目标大小；以估计的目标区域为参照提取样本；对提取的样本抽取两类不同性质的视觉特征；利用抽取的各样本两类不同性质的视觉特征在线进行协同提升学习，并对跟踪器进行更新，在线协同提升学习中，利用两个并行的提升算法同时对两类不同性质的视觉特征进行选择，并在各级视觉特征选择中利用协同学习进行相互约束，在选择最佳的视觉特征提升跟踪器性能的同时利用协同学习配置最佳的样本属性。跟踪器在线学习不需要输入样本的标注信息，在跟踪结果不完全准确的情况下也不会带来累计误差，从而保证了跟踪器的稳定性与可靠性。

说明书

技术领域

本发明属于计算机视觉技术领域，涉及视觉监控基于极小化上界误差的视觉跟踪方法。

背景技术

计算机视觉技术作为一种尖端的计算机技术广泛的应用于多媒体、视频监控以及人工智能等中。在计算机视觉中，如何准确的知道目标在视频图像中的位置甚至是大小、方向、形状，是一个基本的问题，也是视频跟踪技术所要解决的问题。只有基于鲁棒的视频跟踪，计算机视觉中的目标定位、轨迹标定等基础问题才能得到解决；只有基于鲁棒的视频跟踪，计算机视觉中的目标识别、行为理解等这些高层问题的分析才能有更广的应用。所以如何准确的跟踪视频图像中的目标一直以来都是计算机视觉研究的热点问题。

传统的方法把跟踪问题作为一个模板匹配的问题来处理，通过实时建立一个目标表象模板来搜索当前视频图像中最匹配的位置作为目标位置。由于建立的模型比较简单，这类方法对于复杂背景以及目标表象变化的适应性并不强。

为了解决传统跟踪方法的不足，一种基于在线分类器学习的跟踪方法被应用到了视觉跟踪领域。这类方法把跟踪问题看作一个目标与背景的分类问题，通过在线学习一个判定面来判定最有可能的目标位置。线性鉴别分析(Linear Discrimination Analysis，LDA)，支持向量机(Support Vector Machine，SVM)，提升算法(Boosting)等被广泛的应用于这一类方法。这类方法由于在线学习了一个更复杂的判定模型，所以比传统的跟踪方法更加鲁棒。但是它们利用每次的跟踪结果作为新的样本直接加入整个跟踪器的学习过程影响了跟踪过程的稳定性。这是因为每次的跟踪结果很难保证完全的准确，将不准确的样本加入到跟踪器的学习中必然带来误差，而且这个误差随着跟踪过程被累积，最后导致跟踪器失效。

为了解决这个问题，半监督的学习方法被引入到了原有的跟踪框架下。这种半监督的学习能够同时使用标注的与未标注的样本来训练分类器，从而达到比只用标注样本训练更好的分类效果。对于跟踪问题，在线新加入的训练样本来自于跟踪器本身的判断与标注，这个结果可能是准确的也可能是不准确的，所以这些样本更适合当作未标注的样本来处理。这样，跟踪问题就转化成了一个半监督的在线学习问题。

为了处理这一类问题，协同学习(Co-Training)作为一种极具代表性的半监督学习方法是一个很好的选择。然而，简单的将协同学习与原有的在线学习方法结合在一起并不能达到最佳的性能。这种组合需要在误差上界极小化这一通用的优化准则的指导下才能保证它的合理性与最优性。

发明内容

本发明的目的是提高视觉跟踪的稳定性与可靠性，为此，提供一种基于在线协同提升学习的视觉跟踪方法。

为了实现上述目的，本发明提出一种基于在线协同提升学习的视觉跟踪方法，实现所述方法的步骤包括如下：

步骤S1：利用跟踪器估计目标在当前帧中的区域，所述目标区域包括目标位置与目标大小；

步骤S2：以估计的目标区域为参照提取样本；

步骤S3：对提取的样本抽取两类不同性质的视觉特征；

步骤S4：利用抽取的各样本两类不同性质的视觉特征在线进行协同提升学习，并对跟踪器进行更新，在线协同提升学习中，利用两个并行的提升算法同时对两类不同性质的视觉特征进行选择，并在各级视觉特征选择中利用协同学习进行相互约束，在选择最佳的视觉特征提升跟踪器性能的同时利用协同学习配置最佳的样本属性。

本发明的有益效果：从上述方案可以看出，本发明是用半监督的在线学习方法提出在线协同提升学习作为跟踪器的在线学习更新方式，在不需要准确样本标签的前提下利用两类独立的样本特征对跟踪器进行准确的更新；在线学习的过程中并未用到目标背景的标注信息，这样即使在跟踪结果不太准确的情况下也不会对跟踪器的更新带来累积误差，提高了跟踪器的稳定性与可靠性。本发明的半监督在线学习过程是在误差上界极小化的优化条件下实现的，保证了跟踪器的最优性。

附图说明

图1为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的整体结构示意图；

图2为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的目标位置估计模块示意图；

图3为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的在线训练样本提取以及视觉特征抽取示意图；

图4为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的在线学习过程原理性流程图；

图5为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的实施效果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

请参看图1，为本发明极小化上界误差的基于在线协同提升学习的视觉跟踪方法的整体结构示意图，它包括步骤S1目标位置估计、步骤S2在线训练样本提取、步骤S3样本视觉特征抽取以及步骤S4跟踪器的在线协同提升学习，下面对本发明做详细描述：

请参看图2目标位置估计模块示出：

步骤S1：利用跟踪器估计目标在当前帧中的区域，所述目标区域包括目标位置与目标大小。

通过将当前帧中的各图像区域输入利用前面帧已学习好的目标背景分类器，得到各区域为目标区域的置信度，所有区域的置信度可以组成一个目标区域估计的概率分布图，在该概率分布图中通过优化算法找到峰值的区域即为当前帧估计的目标区域。具体可分为两个步骤来完成：

步骤S11，在当前帧中的各图像区域利用之前学习好的目标背景分类器进行目标的置信度估计，本发明所采用的协同提升目标分类器的表达形式如式1所示：

$F\left(x\right)=\underset{t}{\Sigma }\underset{j=1}{\overset{2}{\Sigma }}{\alpha }_{t,j}{h}_{t,j}\left(x\right)---\left(1\right)$

式中x为当前帧各图像区域内的图像，本专利在以后的说明中称之为样本；F(x)表示最终的目标分类器，输出为一个浮点数，该输出越大表示样本属性是目标的置信度越大，h_t，j(x)为用于组合最终分类器的弱分类器，输出为一个+1或-1的二值数反映样本属性是目标或是背景，α_t，j为弱分类器的组合权重，是一个大于0的浮点数；最终强分类器中的弱分类器序号t是一个从0开始依次增长的自然数；j是弱分类器基于第一类和第二类不同性质视觉特征的序号，j为1和2，以下称视觉特征为视角。式1的得到过程在后面的部分将会详细介绍。对于每一个输入的样本x及图像区域都可以通过式1获得一个样本属性为目标的置信度，在每个图像区域都获得置信度后可以组成一个置信度的概率表示图。

步骤S12，在上一步骤得到的置信度的概率表示图上寻找峰值区域作为当前帧的目标估计区域，这里所采用的峰值搜索方法可以是一些优化的快速算法，如均值漂移算法(Mean Shift)或者粒子滤波算法(Particle Filter)等。

在线训练样本提取，请参看图3示出：

步骤S2：以估计的目标区域为参照提取样本，所述样本包括目标样本与背景样本，其中目标样本是目标区域本身、也可以包括若干与目标区域相互覆盖率极大的图像区域；背景样本可以是与目标区域相互覆盖率极小甚至没有覆盖的一些图像区域。

目标样本的提取，以当前帧估计的目标区域为中心划定一个更大的区域，划定区域的大小由目标区域的大小而定，一般不大于目标区域的一倍，然后按照一定的步长(1-3个像素)或是某种随机采样策略在该区域内提取若干与目标区域相互覆盖率极大的图像区域作为目标样本。

背景样本的提取，以当前帧估计的目标区域为中心划定一个更大的区域，划定区域的大小由目标区域的大小以及目标在帧之间的运动距离而定，对于运动不大的目标一般在各方向各取一倍的目标区域大小，对于运动较大的目标一般在各方向各取1-3倍的目标区域大小，在取定的区域内去掉之前估计的目标区域及得到相应的背景区域，在背景区域中以一定的步长或是某种随机采样策略在该区域内提取与目标区域相互覆盖率极小甚至没有覆盖的一些图像区域作为背景样本。

样本视觉特征抽取，请参看图3示出：

步骤S3：对提取的样本抽取两类不同性质的视觉特征，所述两类不同性质的视觉特征是颜色特征与纹理特征、或者是颜色特征与轮廓特征、或者是纹理特征与轮廓特征、或者是两种不同性质的纹理特征。

颜色特征可以是以不同比例的RGB组合构成，如式2所示：

F₁≡{w₁R+w₂G+w₃B|w_*∈[-2，-1，0，1，2]}        (2)

式中R、G、B为彩色像素点的红绿蓝值，各是一个0到255之间的整数，w₁、w₂、w₃为R、G、B组合的比例因子它们的取值范围为[-2，-1，0，1，2]，F₁为组合之后的特征值，通过改变比例因子的取值可以得到多种反映不同颜色特征的特征值。式2得到的特征值通过归一化到0-255之间，然后进行直方图的统计量化，一般采用8-16个统计块，此时统计块的值是一个一维的0-1之间的值，这个值将作为特征用于跟踪器的学习。

纹理特征可以是局部二值化模型(Local Binary Pattern，LBP)，通过比较周围八个块与中间块的灰度值大小关系标注0，1值，当比中间块的灰度值大标1，反之标0，这样可以得到一个8位的数及一个0-255之间的数，同样通过直方图统计可以得到相应统计块作为特征用于跟踪器的学习。

跟踪器的在线协同提升学习，请参看图4示出在线学习过程原理性流程：

步骤S4：利用抽取的各样本两类不同性质的视觉特征在线进行协同提升学习，并对跟踪器进行更新，在线协同提升学习中，利用两个并行的提升算法同时对两类不同性质的视觉特征进行选择，并在各级视觉特征选择中利用协同学习进行相互约束，在选择最佳的视觉特征提升跟踪器性能的同时利用协同学习配置最佳的样本属性，所述样本属性是样本属于目标样本、或是样本属于背景样本。

该方法的初始化是利用有确定属性的样本实现的，这一步可以在跟踪的开始若干帧利用传统跟踪方法或是人工标注的方式得到。

所述跟踪器初始化包括：根据初始多帧的目标信息分别提取目标与背景的不同性质的视觉特征，及离线学习目标与背景的分类器作为跟踪器，根据跟踪器估计目标区域在线更新跟踪器，更新后的跟踪器用于下一帧目标区域的估计。

所述在线更新跟踪器包括：根据跟踪器在当前帧的目标区域估计结果提取不同的目标与背景区域作为跟踪器在线学习的样本，并提取样本不同性质的视觉特征，所提取的视觉特征与跟踪器初始化时使用的视觉特征保持一致。利用抽取的样本视觉特征进行跟踪器的在线协同提升学习，学习过程中输入样本作为未标注属性的样本处理不使用原有的目标背景属性，学习得到的跟踪器用于估计下一帧的目标区域。

通过在线加入新的学习样本提高跟踪器的适应性与可靠性。具体分为三个部分进行介绍：弱分类器的学习，分类器离线初始化学习以及分类器在线更新学习。

弱分类器的学习是整个模块最基础的部分，因为整个目标分类器是由若干弱分类器组合而成的。分类器所选用的特征是一个0-1之间的一维特征，这一点已经在样本视觉特征抽取中做过解释。对于不同样本属性的特征我们分别使用一个高斯模型去近似表示，利用不同特征对应的不同样本属性的高斯模型的贝叶斯分界面来表示分类面，区分样本属性构成弱分类器。弱分类器的在线学习即是根据输入的特征值在线更新高斯模型的均值与方差，其更新表达式如式3所示：

${\mu }_{t+1}=(1-\alpha )·{\mu }_t+\alpha ·X_t---\left(3\right)$

${\sigma }_{t+1}^2=(1-\alpha )·{\sigma }_t^2+\alpha ·{(X_t-{\mu }_t)}^T·(X_t-{\mu }_t)$

其中X_t为新加入学习的样本特征，μ_t为更新前的高斯模型均值，μ_t+1为更新后的高斯模型均值，σ_t为更新前的高斯模型方差，σ_t+1为更新后的高斯模型方差，α为学习率是一个常数，在本发明中一般取0.01；T表示新加入学习的样本特征与更新前的高斯模型均值之差的转置。

分类器离线初始化学习，用于初始化目标分类器。根据初始若干帧的目标信息进行分类器初始化，跟踪器在初始化之前的目标位置信息可通过传统跟踪方法或是人工标注获得。使用前面介绍的在线训练样本提取以及样本视觉特征抽取可以获得初始帧的样本特征用于离线学习。在离线学习时样本属性与所有样本特征已知，式1可以独立成两个分别进行的提升学习(Boosting)过程，从而可以初始化目标分类器。

分类器在线更新学习，请参看图4，经过初始化后的目标分类器在以后的每一帧都将利用当前的跟踪结果进行在线的循环学习更新。本发明的更新方法是半监督的在线更新方法，更新的过程中样本依次加入分类器学习，且不用样本属性信息。

设特征池中的弱分类器序号p是一个从0开始依次增长的自然数；分类器的在线更新学习是一个循环更新的过程，前一次更新得到的弱分类器以及加权正确率加权错误率作为当前更新的初始值。对弱分类器做更新，得到第t个选中的第j个视角的弱分类器h_t，j；对弱分类器做更新，得到第t次选择中的第j个视角的第p个弱分类器为第t次选择中的第j个视角的第p个弱分类器的加权正确率，为一个0到1之间的小数；为第t次选择中的第j个视角的第p个弱分类器的加权错误率，是一个0到1之间的小数；设λ_j为样本权重，为一个大于0的浮点数；设α_t，j为第t个选中的第j个视角的弱分类器的权重，也是一个大于0的浮点数；设为第t次选择中的第j个视角的第p个弱分类器的错误率，为一个0到1之间的小数。

本发明的分类器在线更新学习分为四个主要步骤：

步骤S41，为初始化步骤，将样本的权重λ_j置为1，前一次更新得到的弱分类器以及加权正确率加权错误率作为当前更新的初始值；

步骤S42，为分类器的协同学习，通过循环更新得到估计的样本属性，以及各第t次选择中的第j个视角的第p个弱分类器的错误率并在协同学习过程中利用样本的两类不同性质的视觉特征对样本属性进行更新，在更新的样本属性基础上得到当前第t次选择中的第j个视角的第p个弱分类器

步骤S43，挑选错误率最低的第t个选中的第j个视角的弱分类器h_t，j去组合最终的强分类器，并计算第t个选中的第j个视角的弱分类器的权重α_t，j；

步骤S44，更新样本权重λ_j。

经过上述的在线协同提升学习得到新的强分类器组合用于下一帧的目标分类判定。

本发明提出的在线协同提升学习满足误差上界极小化要求，具体说明如下。式1的目标分类器在有监督的条件下其误差上界为：

$\frac{1}{n}\left|\right\{i:\mathrm{sign}\left(F\left(x_i\right)\right)\ne y_i\left\}\right|\le \frac{1}{J}\underset{j=1}{\overset{J}{\Sigma }}\left(\underset{t=1}{\overset{T}{\Pi }}{Z}_{t,j}\right)---\left(5\right)$

式中

$Z_t=\underset{i=1}{\overset{n}{\Sigma }}{D}_t\left(i\right)\exp (-y_i{\alpha }_t{h}_t\left(x_i\right))---\left(6\right)$

其中x为样本，D_t(i)为第t次提升(Boosting)选择时的样本权重，取值为一个大于0的浮点数，y_j为样本属性，取值为+1或是-1分别代表样本属性是目标或是背景，α_t为第t个弱分类器的权重，h_t为第t个弱分类器，j为视角，n为总样本数，i≤n，J为视角的总数，J＝2，Z_t为第t次提升(Boosting)后的总样本加权，其表达式为式(6)所示，Z_t，j为第j个视角在第t次提升(Boosting)后的总样本加权。

由此可以推导其在半监督条件下的误差上界为：

$\frac{1}{n}\left|\right\{i:\mathrm{sign}\left(F\left(x_i\right)\right)\ne y_i\left\}\right|$

$\le \frac{1}{2n}\{\underset{i=1}{\overset{m}{\Sigma }}\exp (-y_i{H}_1\left(x_i\right))+\underset{i=1}{\overset{m}{\Sigma }}\exp (-y_i{H}_2\left(x_i\right))$

$+\underset{t=m+1}{\overset{n}{\Sigma }}\exp (\underset{t=1}{\overset{T}{\Sigma }}-\mathrm{sign}\left(h_{t,2}\left(x_i\right)\right)·{\alpha }_{t,1}{h}_{t,1}\left(x_i\right))$

$+\underset{t=m+1}{\overset{n}{\Sigma }}\exp (\underset{t=1}{\overset{T}{\Sigma }}-\mathrm{sign}\left(h_{t,1}\left(x_i\right)\right)·{\alpha }_{t,2}{h}_{t,2}\left(x_i\right))\}---\left(7\right)$

式中n为总样本数，m为样本属性已知的样本数，m≤i≤n；H_j为不同视角上的强分类器，即是基于两类不同性质的视觉特征分别构成的最终分类器H₁、H₂；α_t，1为第t个选中的第1个视角的弱分类器的权重，α_t，2为第t个选中的第2个视角的弱分类器的权重；h_t，1为第t个选中的第1个视角的弱分类器，h_t，2为第t个选中的第2个视角的弱分类器。

通过求导极小化式7可转化为极小化：

$B(h_{L,j},{\alpha }_{L,j})=\underset{t=1}{\overset{n}{\Sigma }}{D}_{L,j}\left(i\right)\exp (-u_i{\alpha }_{L,j}{h}_{L,j}\left(x_i\right))---\left(8\right)$

式中u_i为估计的样本属性，D_L，j(i)为第L次提升(Boosting)选择时第j个视角对应的样本权重，α_L，j为第L个选中的第j个视角的弱分类器的权重，h_L，j为第L个选中的第j个视角的弱分类器。

极小化式8可得弱分类器权重表达：

${\alpha }_{L,j}=\frac{1}{2}\ln \left(\frac{W_{L,j,+}}{W_{L,j,-}}\right)---\left(9\right)$

式中W_L，j，+为为第L次选择中的第j个视角对应弱分类器的加权正确率，W_L，j，-为为第L次选择中的第j个视角对应弱分类器的加权错误率。并选择相应极小化W_L，j，-的h_L，j作为组合的弱分类器，其中样本权重的更新为：

D_L+1，j(i|i＝1...m)＝D_L，j(i|i＝1...m)

·exp(-y_iα_L，jh_L，j(x_i))

D_L+1，j(i|i＝m+1...n)＝D_L，j(i|i＝m+1...n)

·exp-(sign(h_L，3-j(x_i))α_L，jh_L，j(x_i))                    (10)

式中D_L，j(i)为第L次提升(Boosting)选择时第j个视角对应的样本权重，α_L，j为第L个选中的第j个视角的弱分类器的权重，h_L，j为第L个选中的第j个视角的弱分类器。

此更新原则与本发明的在线协同提升学习算法一致，所以本发明在线协同提升学习的视觉跟踪方法是一种符合极小化上界误差优化准则的跟踪方法，这一点保证了视觉跟踪的稳定性与可靠性。

为评估本发明跟踪方法的性能，我们将本发明的跟踪方法与其他三种基本的与类似的跟踪方法进行了比较，它们是：传统跟踪方法、在线提升(Online Boosting)跟踪方法以及在线提升协同(BoostingCo-Tracker)跟踪。方法介绍如下：

传统跟踪方法，大致分为三个步骤：

步骤T1，利用特征比对确定图像中各位置的目标概率组成目标概率分布图；

步骤T2，在目标概率分布图上利用快速算法，如均值漂移算法(MeanShift)或者粒子滤波算法(Particle Filter)等，寻找峰值位置作为估计的目标位置；

步骤T3，在目标估计位置抽取图像特征作为下一帧的目标比对特征。

在线提升(Online Boosting)跟踪方法，其大致步骤与传统跟踪方法一致，但它是利用背景目标分类器进行的目标判定：

步骤B1，利用前面帧在线学习好的背景目标分类器确定图像中各区域的目标概率组成目标概率分布图；

步骤B2，在目标概率分布图上利用快速算法，如均值漂移算法(MeanShift)或者粒子滤波算法(Particle Filter)等，寻找峰值区域作为估计的目标区域；

步骤B3，在目标估计区域抽取图像特征在线提升(Online Boosting)更新背景目标分类器。

假设为第n个选中的弱分类器，为第n次选择中的第m个弱分类器，为第n次选择中的第m个弱分类器的加权正确率，为第n次选择中的第m个弱分类器的加权错误率，λ为样本权重，α_n为第n个选中的弱分类器的权重。

其中最关键的步骤三的分类器在线提升(Online Boosting)更新可以分为三个主要步骤：

步骤B31，为初始化步骤，将样本的权重λ置为1，前一次更新得到的弱分类器以及加权正确率加权错误率作为当前更新的初始值；

步骤B32，挑选错误率最低的弱分类器去组合最终的强分类器，并计算弱分类器的权重α_n；

步骤B33，更新样本权重λ。

在线提升协同(Boosting Co-Tracker)跟踪，其大致步骤与在线提升(Online Boosting)学习一致，但它是一种半监督的学习方法，不需要样本属性，在在线提升(Online Boosting)学习的最后使用了协同学习，其步骤如本发明步骤S1-S4所示：

实施效果，请参看图5，我们在三个不同的视频序列上进行了评估，其中虚线方框分别为传统跟踪方法的跟踪结果、在线提升(OnlineBoosting)跟踪方法的跟踪结果以及在线提升协同(BoostingCo-Tracker)跟踪的跟踪结果，实线方框为本发明提出的极小化上界误差的基于在线协同提升学习的视觉跟踪方法的跟踪结果。

从图5可以看出，本发明的跟踪方法较其他跟踪方法更加稳定与鲁棒。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。