融合目标空间分布和时序分布特征子空间的视觉跟踪方法

摘要

本发明公开了一种融合目标空间分布和时序分布特征子空间的视觉跟踪算法，主要包含步骤：首先将目标区域特征从三个角度进行展开，分别进行子空间学习；其次运用一种更新策略来在线地更新三个模式下目标的均值与子空间。最后通过张量重构将三个子空间模式统一到一个似然函数中用于候选观测图像的评价。本发明实现了有效的目标跟踪方法，是一种通用的方法。实验结果表明，相对于其他经典子空间跟踪算法，该发明更加有效和鲁棒，具有很好的应用前景。

说明书

技术领域

本发明涉及计算机视觉领域，特别是涉及一种融合目标空间分布和时序分布特征子空间的视觉跟踪方法。 

背景技术

目标跟踪是计算机视觉领域中非常重要的研究问题，因为它是高层视觉问题如运动分析和行为识别等研究的基础。总的来说，目前的目标跟踪算法主要两个关键性的问题：(1)表观模型；(2)跟踪框架。 

一般来说，表观模型就是如何对目标物体进行有效的表达，并且进行实时的更新。目标模板，是一种最直接的目标建模方法，不过该模型缺乏判别性和鲁棒性。尽管目标区域的颜色直方图对于目标尺度、旋转以及非刚性形变较为鲁棒，但是由于其忽略了目标表观的颜色空间分布信息，存在一定的缺陷。虽然基于核密度估计的表观模型很好的解决了这一缺陷，不过换来的代价是计算与存储复杂度的增加。另外，基于条件随机场的表观模型通过马尔可夫随机场来建模邻近像素之间的内在关系，但是其训练代价非常巨大。 

近年来，基于子空间学习的表观模型由于其子空间不变假设更为合理，因而被广泛地应用于视觉跟踪领域。但是该模型在训练时需要足够多的样本，在实际运用中很难达到实时性的要求。基于此，Levy和Lindenbaum提出了序列KL(Sequential Karhunen-Loeve)变换算法用于增量地学习图像的特征基。Lim等扩展了序列KL变换算法，同 时对目标图像的均值和特征基进行增量更新，并将该算法首次应用于目标的视觉跟踪。而后，鲁棒估计策略，Yang的基于数据驱动的加强自适应方法，Liao的基于鲁棒卡尔曼滤波的跟踪方法以及Gai和Stevenson基于动态模型的方法，虽然在某些特定的场景中获得了较好的跟踪性能，但是有一定的不足之处：上述所有基于子空间的跟踪算法首先要将图像展成一维向量，目标表观的空间分布信息几乎完全丢失，从而使得模型对目标表观的全局性变化以及噪音非常敏感。针对这一缺点，Hu等引入张量思想，在一定程度上起到了效用。不过由于其在使用R-SVD更新过程只保留了前R个较大特征值所对应的特征向量带来了误差，并且随着跟踪进行时，误差会逐步累计，导致模型漂移。虽然一种基于动态张量分析的模型避免了上述误差，得到了更加精确的结果，但是由于小样本问题使得计算得到的协方差矩阵无法描述样本的分布情况，从而导致子空间的计算退化。 

发明内容

为了克服传统的基于子空间学习的表观模型只关注于目标区域特征之间的时间关联性，而忽略了目标区域的空间分布信息。本发明提供一种融合目标空间分布和时序分布特征子空间的视觉跟踪方法，相对于其它的经典子空间跟踪算法，该跟踪方法更加有效和鲁棒。 

为了实现上述目的，本发明采用了以下的技术方案： 

一种融合目标空间分布和时序分布特征子空间的视觉跟踪方法，包括以下步骤： 

(1)运用张量理论将目标图像观测的训练样本表示为一个三阶张量，并将此张量从图像的宽度、图像的高度和图像时间轴这三个不同 的方向展开成三个分解矩阵； 

其中，前两个分解矩阵的列样本子空间对于目标的空间分布信息；第三个分解矩阵的行样本子空间对应于目标的时间分布信息； 

(2)对于前两个分解矩阵，计算各分解矩阵的样本协方差矩阵，并通过对协方差矩阵做特征分解得到目标水平和垂直方向的模式子空间；对于第三个分解矩阵，采用奇异值分解算法获得目标在时间轴上的模式子空间； 

(3)对于给定的目标候选区域，计算其在目标表观空间上的重构误差，并由此定义目标候选区域的观测似然函数； 

(4)根据定义的观测似然函数，运用粒子滤波器计算目标状态的后验概率，采用最大后验估计策略从一系列候选观测值中挑选后验概率最大的作为当前时刻的目标状态； 

(5)利用跟踪的结果，对对步骤(2)中获得的目标模式子空间进行更新，并在更新过程中加入遗忘因子； 

其中，遗忘因子是一种介于0和1之间的权重，在子空间模型中越大的遗忘因子意味着模型越关注近期的数据。 

进一步说，所述的步骤(1)具体包括以下子步骤： 

首先，将目标图像观测的训练样本用一个三阶张量表示； 

其次，将获得的张量从宽度、高度、时间这三个不同的方向展开成三个分解矩阵；

更进一步说，所述的步骤(2)具体包括以下子步骤： 

首先，对于前两个分解矩阵，计算各分解矩阵的样本协方差矩阵，通过对协方差矩阵做特征分解得到各个模式的子空间； 

其次，对于第三个分解矩阵，采用奇异值分解算法获得目标在时间轴上的模式子空间。 

更进一步说，所述的步骤(3)具体包括以下子步骤： 

首先，求出重构误差； 

其次，由重构误差定义似然函数。 

更进一步说，所述的步骤(4)具体包括以下子步骤： 

首先，假定目标在连续两帧图像之间的运动是仿射运动，目标的 状态由两帧之间的目标仿射运动参数表征，并假定目标状态动态转移概率模型为高斯模型； 

其次，利用似然函数计算目标状态的后验概率； 

最后，采用最大后验估计策略从从一系列候选观测值中挑选后验概率最大的作为当前时刻的目标状态。 

更进一步说，所述的步骤(5)具体包括以下子步骤： 

对于前两个分解矩阵， 

首先，对步骤(2)中获得的样本矩阵的协方差矩阵进行更新； 

其次，将遗忘因子加入更新方程中，得到更符合实际情况的协方差矩阵。 

对于第三个分解矩阵， 

首先，将新获得的数据矩阵进行QR分解； 

其次，对融合新旧数据的数据矩阵进行奇异值分解。 

本发明的有益效果是： 

1、本发明所提出的跟踪算法是一种通用的方法，对任意跟踪目标类型都适用； 

2、本发明所采用的融合目标空间分布和时序分布特征子空间的视觉跟踪算法，充分挖掘了目标区域的垂直和水平方向上的空间分布信息以及目标区域特征之间的时间关联性，使得算法相较于经典算法降低了对目标表观的全局性变化以及噪音的敏感程度； 

3、本发明提出一种更新策略，对于水平和垂直方向的两个空间模式，通过更新协方差矩阵在线地更新目标的空间模式分布，有效地提高了更新效率； 

4、本发明提出一种更新策略，对于时间分布模式，采用增量奇异值分解方法在线地更新目标的时序模式分布，不但解决了由于样本个数远小于样本维数而产生的子空间退化问题，同时也一定程度上缓解 了计算中引入的模型漂移问题。 

附图说明

下面结合附图和实施例对本发明进一步说明。 

图1是本发明的跟踪系统的整体框架； 

图2是本发明的图像观测分解示意图； 

图3是本发明的三阶张量展开示意图。 

具体实施方式

下面通过实施例对本发明进行具体的描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，该领域的技术人员可根据上述发明的内容对本发明作出一些非本质的改进和调整。 

如图1所示，图1为本发明整体框架。本发明为一种基于多角度子空间融合的目标跟踪方法，本发明的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成，为此其它工作模式不再赘述。 

本发明的实施例采用一台具有3.2G赫兹中央处理器和1G字节内存的奔腾4计算机并用Matlab语言编制了序列粒子群优化跟踪框架的工作程序，实现了本发明的方法，本发明的融合目标空间分布和时序分布特征子空间的视觉跟踪方法包括以下步骤： 

计算基于张量子空间的展开、协方差矩阵的更新、R-SVD算法即增量的奇异值分解算法、粒子滤波器Condensation以及最大后验估计(MAP)等模块，具体步骤如下所述： 

(1)将目标图像观测的训练样本表示为一个三阶张量 来表示，其中l₁，l₂和l₃分别表示为图像观测的宽度、高度，以及在时间轴上的长度。根据张量理论，该三阶图像观测张量可以按l₁，l₂和l₃方向分别展开成三个分解矩阵A₍₁₎，A₍₂₎，A₍₃₎与图2进行对应。 

对于A₍₁₎和A₍₂₎的列样本协方差矩阵，A₍₃₎的行样本协方差矩阵分布计算如下： 

$C_1=\underset{i}{\Sigma }(A_{\left(1\right)}^i-{\mu }_1){(A_{\left(1\right)}^i-{\mu }_1)}^T$

$C_2=\underset{i}{\Sigma }(A_{\left(2\right)}^j-{\mu }_2){(A_{\left(2\right)}^j-{\mu }_2)}^T$

$C_3=\underset{i}{\Sigma }(A_{\left(3\right)}^{\prime k}-{\mu }_3){(A_{\left(3\right)}^{\prime k}-{\mu }_3)}^T$

(2)其中 分别为矩阵A₍₁₎，A₍₂₎，A₍₃₎的第i，j，k列样本。μ₁，μ₂分别为矩阵A₍₁₎，A₍₂₎的列均值，μ₃为A₍₃₎的列均值，即矩阵A₍₃₎的行均值。得到样本的协方差矩阵后，各个模式的子空间可以通过对协方差矩阵做简单的特征分解得到： 

$C_d=U_d{S}_d{U}_d^T,d=\mathrm{1,2,3}$

(3)对于给定目标候选区域 以及它的展开向量形式 该目标候选区域在目标表观子空间上的重构误差可以计算如下： 

${\mathrm{RE}}_1={\left|\right|(o_t-u_1)-(o_t-u_1)U_1{U}_1^T\left|\right|}^2$

${\mathrm{RE}}_2={\left|\right|(o_t^{\prime }-u_2)-(o_t^{\prime }-u_2)U_2{U}_2^T\left|\right|}^2$

${\mathrm{RE}}_3={\left|\right|(v_t-u_3)-(v_t-u_3)U_3{U}_3^T\left|\right|}^2$

RE＝RE₁+RE₂+RE₃

其中u₁和u₂定义如下： 

因此，目标候选区域的观测似然函数可以定义如下： 

p(o_t|x_t)∝exp(-RE) 

(4)运用粒子滤波器Condensation计算目标状态的后验概率，方法如下：假设目标在连续两帧图像之间的运动是仿射运动，两帧之间的目标仿射运动参数就可以用来表征目标的状态 其中t_x，t_y，η_t，s_t，β_t， 分别表示位置平移量、旋转角、尺度、纵横比和倾斜方向。这样以来，给定一系列观测值O_t＝{o₁，...，o_t}可以计算目标状态的后验概率： 

p(x_t|O_t)∝p(o_t|x_t)∫p(x_t|x_t-1)p(x_t-1|O_t-1)dx_t-1

其中，p(o_t|x_t)表示在给定目标状态xt下观测值ot发生的概率，p(x_t|x_t-1)表示目标状态动态转移概率模型。采用最大后验估计(MAP)的策略从一系列候选观测值中挑选后验概率最大的作为当前时刻的目标状态。 

(5)根据目标跟踪的结果，前两个模式分解样本矩阵的协方差矩阵进行更新，并在更新过程中加入遗忘因子，其中协方差的更新公式可以表达如下： 

$C_d\leftarrow \lambda C_d+(X_{\left(d\right)}-u_d^{\prime }){({X^T}_{\left(d\right)}-u_d^{\prime })}^T+\frac{\mathrm{mn}}{m+n}({\mu }_d-{\mu }_d^{\prime }){({\mu }_d-{\mu }_d^{\prime })}^T,d=\mathrm{1,2}$

其中C_d是第d个模式的当前样本协方差矩阵，X_(d)是新来的样本数据；λ是遗忘因子，在实验中λ∈[0，1]，使得在子空间模型中，近期新来的数据占据更大的权重，也意味着模型更加关注近期的数据。在更新完 所有模式的样本协方差矩阵之后，重新求得各个协方差矩阵的特征结构，即可实现对子空间模型的在线更新。 

(6)根据目标跟踪的结果，对第三个分解矩阵运用R-SVD算法，从而对该模式子空间的在线更新。具体算法如下： 

首先对了k个新的目标表观的数据E＝{I_t+1，...，I_t+k}进行QR分解，得到E的正交基 另外，令 

其次，令$V^{\prime }=\left(\begin{array}{cc}V& 0\\ 0& M_k\end{array}\right)$其中，M_k是k×k单位矩阵。这样就有 

${\Sigma }^{\prime }=U^{\prime T}{A}^{\prime }{V}^{\prime }=\left(\begin{array}{c}{U}^T\\ \tilde{E}\end{array}\right)\left(A\right|E)\left(\begin{array}{cc}V& 0\\ 0& M_k\end{array}\right)$

$=\left(\begin{array}{cc}{U}^T\mathrm{AV}& U^{T}E\\ {\tilde{E}}^T\mathrm{AV}& {\tilde{E}}^{T}E\end{array}\right)=\left(\begin{array}{cc}\Sigma & U^{T}E\\ 0& {\tilde{E}}^{T}E\end{array}\right)$

最后，对∑′进行奇异值分解，即 因此，数据矩阵A′的奇异值分解。 

A′＝U′∑′V′^T就可以表示为： 

$A^{\prime }=U^{\prime }\left(\tilde{U}\tilde{\Sigma }{\tilde{V}}^T\right)V^{\prime T}=\left(U^{\prime }\tilde{U}\right)\tilde{\Sigma }\left({\tilde{V}}^T\right)V^{\prime T}=\hat{U}\hat{\Sigma }{\hat{V}}^T$