一种基于2DPCA的运动目标跟踪方法

摘要

本发明在粒子滤波理论框架下提出了一种新的基于2DPCA的运动目标跟踪方法。首先，利用2DPCA建立运动目标特征模型；其次，获得运动目标跟踪所需要的后验概率；最后，实现运动目标的跟踪。本发明方法克服了传统PCA方法提取协方差矩阵困难、计算量大的问题，提高了运动目标特征提取的精度，减少了运动目标跟踪时间，提高了跟踪的准确性，具有较强的鲁棒性。

说明书

技术领域

本发明属于计算机视觉处理技术领域，具体涉及一种基于2DPCA的运动目标跟踪方法。

背景技术

运动目标跟踪技术在计算机视觉领域具有广泛的实际应用，例如在视觉监控、实时交通流量监测、人机交互等方面，运动目标跟踪技术都起着至关重要的作用。运动目标跟踪技术的关键在于解决两个问题：目标特征模型的建立和目标的稳定跟踪。PCA(Principal Component Analysis，主成分分析)方法作为一种特征提取和分析方法，经常被用于目标特征模型的建立。采用PCA方法对运动目标特征进行建模，虽然能够较完整的保留运动目标的主要成分特征，但是PCA方法基于一维向量，在提取主成分之前需要先将输入的二维图像序列转换成一维行向量或者一维列向量。由于输入的图像分辨率一般较大而且视频序列帧数较多，在将二维图像转换为一维向量时，通常需要一个巨大的向量空间，因此往往会占用目标跟踪系统较多的存储空间。此外，由于该矩阵的秩较大，而可供训练的样本数量却很少，因此计算PCA特征提取时所需的协方差矩阵十分困难，在得到协方差矩阵后进行特征向量和特征值运算时也需要花费大量的时间，从而增加了运动目标跟踪时间。

为了克服PCA方法出现的这些问题，2DPCA(Two-dimensional Principal Component Analysis，二维主成分分析)方法被提出。该方法的运算直接基于二维图像矩阵，在提取特征向量时不需要将二维图像转化为一维向量，因此图像的协方差矩阵大小与图像的宽度相同。与PCA方法相比，协方差矩阵减小了很多，最终获得的特征向量也比PCA方法得到的更加准确，运算时间也大大减少。将2DPCA应用于运动目标跟踪，能够减少计算量，提高跟踪的准确性。

发明内容

本发明的目的在于提出一种基于2DPCA的运动目标跟踪方法，克服了传统PCA方法提取协方差矩阵困难、计算量大的问题，提高了运动目标特征提取的 精度，减少了运动目标跟踪时间，提高了跟踪的准确性，具有较强的鲁棒性。

为了解决上述技术问题，本发明提供一种基于2DPCA的运动目标跟踪方法，使用如公式(1)所示的方法计算运动目标跟踪过程中所需的运动目标后验概率，从而实现运动目标跟踪，

式(1)中，p(A_t|Z_t)是在粒子滤波理论框架下计算获得的运动目标后验概率；A_t为t时刻的子图像矩阵；Z_t＝(x_t,y_t,s_t,r_t,θ_t,λ_t)是用于表示t时刻的目标状态的二维仿射参数，其中x_t为x方向偏移量，y_t为y方向偏移量，s_t为目标缩放尺度，r_t为目标纵横比，θ_t为目标旋转角度，λ_t为目标倾斜角度；为权重因子；||·||_F表示Frobenius范数；

式(1)中，X_t＝{X_i,i＝1,...,d}是一个在t时刻大小为w×d的图像矩阵，X_i表示一个w维的列向量；A_t为t时刻大小为h×w的子图像矩阵，该子图像矩阵由X_t图像矩阵获得；(·)^T表示矩阵的转置；为投影中心，其中为子图像序列的平均值，其定义如公式(2)所示：

$\bar{A}=\frac{1}{m}\underset{i=1}{\overset{m}{\Sigma }}{A}_i---\left(2\right)$

式(2)中，A_i为子图像序列中的任意帧图像，m为子图像序列帧数；

式(1)中，部分可以用d_t代表，用于表示子空间距离。对于距离d_t，子图像A_t关于d_t的后验概率服从高斯分布模型，其定义如公式(3)所示：

$p_{d_t}\left(A_t\right|Z_t)=N(A_t;{\mathrm{uX}}_t^T,X_t{X}_t^T+ϵI)---\left(3\right)$

式(3)中，I为一个单位矩阵，ε为高斯噪声；N(·)表示高斯分布模型；

式(1)中，部分可以用d_w代表，用于表示子空间的投影 到子空间中心的距离。对于距离d_w，子图像A_t关于d_w的后验概率服从高斯分布模型，其定义如公式(4)所示：

$p_{d_w}\left(A_t\right|Z_t)=N(A_t;{\mathrm{uX}}_t^T,X_t{\Sigma }^{-1}{X}_t^T)---\left(4\right)$

式(4)中，N(·)表示高斯分布模型；Σ表示X_t的特征矩阵；矩阵Σ中的对角元素是矩阵X_t的特征值；

进一步，在目标跟踪过程中，跟踪到的子图像累计到一定数量时，需要对子图像进行更新。设原始的子图像集合为U_t＝{A_i,i＝1,...,m}，累积的子图像集合为O_t＝{B_i,i＝1,...,5}，则更新后的子图像集合

本发明与现有技术相比，其显著优点在于：(1)本发明采用2DPCA方法对图像的子空间特征向量进行提取，由于2DPCA基于二维图像矩阵，因而在提取特征向量时不需要预先将图像转化为一个向量，而是直接使用原始图像矩阵来构建图像协方差矩阵，原始图像矩阵的特征向量用来提取特征，从而减少了运算量；此外，采用2DPCA获取协方差矩阵比PCA方法更加准确，提取特征向量的时间也大大减少；(2)本发明采用粒子滤波方法获得运动目标的动态模型，运动目标的后验概率通过2DPCA方法获得，基于2DPCA的运动目标特征模型定义的每个时刻目标的二维仿射参数，能够较好的克服目标形变等问题，确保了目标跟踪的准确性。

附图说明

图1是本发明基于2DPCA的运动目标跟踪方法流程简图。

图2是本发明基于2DPCA的运动目标跟踪方法流程详细图。。

图3是本发明方法与IVT方法、L1T方法以及VTD方法的比较结果图。

具体实施方式

一、本发明基本思想

本发明在粒子滤波理论框架下提出了一种基于2DPCA的运动目标跟踪方法，其基本原理是：

首先，利用2DPCA建立运动目标特征模型；

然后，获得运动目标跟踪所需要的后验概率；

最后，根据获得的运动目标后验概率实现对运动目标的跟踪。

二、2DPCA(二维主成分分析)的概念

定义X_t＝{X_i,i＝1,...,d}为一个在时刻t的w×d图像矩阵，w为矩阵的行数，d为矩阵的列数，该矩阵中X_i表示一个w维的列向量；定义A_t为一个在时刻t的h×w子图像矩阵，h为矩阵的行数，d为矩阵的列数；定义Y_t表示子图像矩阵A_t的投影特征矩阵，则关于X_t的线性变换如公式(1)所示：

Y_t＝A_tX_t>

定义Y_t的协方差矩阵S_x的迹为总散度J(X_t)，通过最大化这个总散度准则，就能够找到最优的投影方向X_t使得投影后的向量Y_t分开。总散度J(X_t)如公式(2)所示：

J(X_t)＝tr(S_x)(2)

式(2)中，S_x为Y_t的协方差矩阵，其定义如公式(3)所示：

S_x＝E[(Y_t-E(Y_t))(Y_t-E(Y_t))^T]

＝E[(A_tX_t-E(A_tX_t))(A_tX_t-E(A_tX_t))^T](3)

＝E[[(A_t-E(A_t))X_t][(A_t-E(A_t))X_t]^T]

式(3)中，E(·)表示期望，(·)^T表示矩阵的转置；

式(2)中，tr(S_x)表示矩阵S_x的迹，其定义如公式(4)所示：

$tr\left(S_x\right)=X_t^T\left[E\right[{(A_t-E(A_t\left)\right)}^T(A_t-E(A_t)\left)\right]]X_t---\left(4\right)$

定义U_t＝{A_i,i＝1,...,m}为m帧子图像A_i组成的序列，则子图像的协方差矩阵G_t如公式(5)所示：

G_t＝E[(A_t-E(A_t))^T(A_t-E(A_t))](5)

式(5)中，G_t是一个w×w的非负矩阵。

定义子图像序列U_t＝{A_i,i＝1,...,m}的平均值A如公式(6)所示：

$\bar{A}=\frac{1}{m}\underset{i=1}{\overset{m}{\Sigma }}{A}_i---\left(6\right)$

根据公式(5)和公式(6)，得到子图像的协方差矩阵G_t的等价表示如公式(7)所示：

$G_t=\frac{1}{m}\underset{i=1}{\overset{m}{\Sigma }}{(A_i-\bar{A})}^T(A_i-\bar{A})---\left(7\right)$

准则化公式(7)，得到公式(8)和公式(9)：

$J\left(X_t\right)=X_t^T{G}_t{X}_t---\left(8\right)$

$X_t^T{X}_t=1---\left(9\right)$

根据公式(8)和公式(9)，令：

$F=X_t^T{G}_t{X}_t-\lambda (X_t^{T}X-1)---\left(10\right)$

对公式(10)中的X_t求偏导数，得到公式(11)：

$\frac{\partial F}{\partial X_t}=2G_t{X}_t-2{\mathrm{\lambda X}}_t=0---\left(11\right)$

式(11)中，表示F对X_t的偏导；解式(11)得到公式(12)：

G_tX_t＝λX_t(12)

式(12)中，X_t表示最优投影轴，λ表示特征值。

由式(12)可知，最优投影轴是协方差矩阵G_t的最大特征值λ对应的特征向量。通常，一个最优投影轴是不够的，因此，选择对应着特征值最大的前d个相互正交的单位特征向量作为最优投影轴，其表示如公式(13)所示：

$\{\begin{array}{c}\{X_1,\mathrm{...},X_d\}=\arg \max J\left(X_t\right)\\ X_i^T{X}_j=0,i\ne j,i,j=1,\mathrm{...},d\end{array}---\left(13\right)$

式(13)中，max(·)表示取最大值；arg(·)表示正交。

三、基于IVT算法的运动目标跟踪的相关概念

对于目标在t时刻的运动状态，可以采用二维仿射参数Ζ_t＝(x_t,y_t,s_t,r_t,θ_t,λ_t)表示；其中x_t为x方向偏移量，y_t为y方向偏移量，s_t为目标缩放尺度，r_t为目标纵横比，θ_t为目标旋转角度，λ_t为目标倾斜角度。所述二维仿射参数X_t＝(x_t,y_t,s_t,r_t,θ_t,λ_t)详见文献(R.Szeliski:Computer>

采用IVT算法(Incremental Learning for Robust Visual Tracking Algorithm，基于增量学习的鲁棒性视觉跟踪算法)跟踪运动目标，其所需的运动目标后验概率如公式(14)所示：

$p\left(A_t\right|Z_t)=\exp (-\frac{1}{{\sigma }^2}||A_t-A_{t-1}|{|}^2)---\left(14\right)$

式(14)中，为权重因子；||·||_F表示Frobenius范数；A_t为在时刻t子图像矩阵。所述IVT算法(Incremental>

四、基于粒子滤波的2DPCA运动目标跟踪的相关概念

目标跟踪问题可以认为是一个隐式马尔科夫链问题，对于子图像序列U_t＝{A_i,i＝1,...,m}，目标在t时刻的运动状态Z_t通过贝叶斯理论有以下结论：

p(Z_t|A_t)∝p(A_t|Z_t)∫p(Z_t|Z_t-1)p(Z_t-1|A_t-1)dZ_t-1>

式(15)中，p(A_t|Z_t)为观测模型，p(Z_t|Z_t-1)为动态模型。

1、动态模型p(Z_t|Z_t-1)

动态模型p(Z_t|Z_t-1)在空间上采用布朗运动模型，目标在t时刻的运动状态Z_t通过目标在t-1时刻的运动状态Z_t-1的高斯分布得到，其表示如式(16)所示：

式(16)中，N(·)表示高斯分布模型；为一个对角 协方差矩阵，其对角元素为各二维仿射参数Ζ_t＝(x_t,y_t,s_t,r_t,θ_t,λ_t)的方差。

2、观测模型p(A_t|Z_t)

定义子图像序列U_t＝{A_i,i＝1,...,m}的平均值A如公式(17)所示：

$\bar{A}=\frac{1}{m}\underset{i=1}{\overset{m}{\Sigma }}{A}_i---\left(17\right)$

对于根据目标在t时刻的运动状态Z_t确定的一个子图像A_t，定义其通过投影向量矩阵X_t投影后的投影中心为其中

子图像A_t的后验概率p(A_t|Z_t)可以表示为该子图像A_t到子图像空间参考点的距离，该距离可以分解为子空间距离d_t和子空间的投影到子空间中心的距离d_w。

对于子空间距离d_t，子图像A_t关于d_t的后验概率服从高斯分布模型，其定义如公式(18)所示：

$p_{d_t}\left(A_t\right|Z_t)=N(A_t;{\mathrm{uX}}_t^T,X_t{X}_t^T+ϵI)---\left(18\right)$

式(18)中，I为一个单位矩阵，ε为高斯噪声；N(·)表示高斯分布模型；

对于距离d_w，子图像A_t关于d_w的后验概率服从高斯分布模型，其定义如公式(19)所示：

$p_{d_w}\left(A_t\right|Z_t)=N(A_t;{\mathrm{uX}}_t^T,X_t{\Sigma }^{-1}{X}_t^T)---\left(19\right)$

式(19)中，N(·)表示高斯分布模型；Σ表示X_t的特征矩阵；矩阵Σ中的对角元素是矩阵X_t的特征值。

结合式(18)和式(19)，得到子图像A_t的后验概率p(A_t|Z_t)，其表示如公式(20)所示：

$\begin{array}{c}p\left(A_t\right|Z_t)=p_{d_t}\left(A_t\right|Z_t)p_{d_w}\left(A_t\right|Z_t)\\ =N(A_t;{\mathrm{uX}}_t^T,X_t{X}_t^T+ϵI)N(A_t;{\mathrm{uX}}_t^T,X_t{\Sigma }^{-1}{X}_t^T)\end{array}---\left(20\right)$

五、运动目标特征模型的概念

定义y_t＝A_tX_t表示子图像A_t通过X_t映射得到y_t，且y_t服从高斯分布，即y_t～N(u,L)，其中，L为对角矩阵。则子空间图像A_t可以表示为：

式(21)中，为高斯噪声，满足I为一个单位矩阵。结合式(20)和式(21)，则子图像A_t的运动目标特征模型p(A_t)可以表示为：

$p\left(A_t\right)=N(A_t;{\mathrm{uX}}_t^T,X_t{\mathrm{LX}}_t^T+{\sigma }^{2}I)---\left(22\right)$

六、基于粒子滤波的2DPCA运动目标跟踪的后验概率的概念

对式(22)等号两边同时取对数得到式(23)：

式(23)中，多项式部分用c表示，多项式部分用l表示，多项式c是一个常数，因此log[p(A_t)]的值由多项式l决定。式(23)等价为式(24)：

$log\left(p\left(A_t\right)\right)\propto {(A_t-{\mathrm{uX}}_t^T)}^T(A_t-{\mathrm{uX}}_t^T){(X_t{\mathrm{LX}}_t^T+{\sigma }^{2}I)}^{-1}---\left(24\right)$

Sherman-Morrison-Woodbury公式如式(25)所示：

(A-uv^T)^-1＝A^-1+A^-1u(1-v^TA^-1u)^-1v^TA^-1>

根据式(25)，式(24)中的可以等价表示为：

又因为：

${(L^{-1}+\frac{1}{{\sigma }^2}I)}^{-1}={\sigma }^2(I-D^{-1}{\sigma }^2)---\left(27\right)$

式(27)中，D为一个对角矩阵，D_ii＝L_ii+σ²，则式(26)可等价为：

$\begin{array}{c}{(X_t{\mathrm{LX}}_t^T+{\sigma }^{2}I)}^{-1}\\ =\frac{1}{{\sigma }^2}I-\frac{1}{{\sigma }^2}{X}_t{\sigma }^2(I-D^{-1}{\sigma }^2)X_t^T\frac{1}{{\sigma }^2}\\ =\frac{1}{{\sigma }^2}I-\frac{1}{{\sigma }^2}\left(X_t{X}_t^T\right)+\left(X_t{D}^{-1}{X}_t^T\right)\\ =\frac{1}{{\sigma }^2}(I-X_t{X}_t^T)+\left(X_t{D}^{-1}{X}_t^T\right)\end{array}---\left(28\right)$

将式(28)代入式(23)，可以得到：

式(29)中，多项式c是一个常数，因此log[p(A_t)]由多项式l₁决定，则：

$log\left[p\left(A_t\right)\right]\propto {(A_t-{\mathrm{uX}}_t^T)}^T(A_t-{\mathrm{uX}}_t^T)\left(\frac{1}{{\sigma }^2}\right(I-X_t{X}_t^T)+\left(X_t{D}^{-1}{X}_t^T\right))---\left(30\right)$

因此得到运动目标特征模型p(A_t)的后验概率p(A_t|Z_t)为：

七、执行本发明方法的一个流程

步骤一，手动选取图像序列中第一帧图像中的运动目标，并用表示符号标识出来，例如用红色长方形框将第一帧图像中的运动目标框出，作为参考目标。

步骤二，初始化并且置空子图像序列U_t＝{A_i,i＝1,...,m}。

步骤三，对于输入的第n帧图像，判断n＞n_th(n_th为设定的帧数阈值)。若满足n＞n_th，则执行步骤五，否则执行步骤四。

步骤四，采用IVT方法(Incremental Learning for Robust Visual Tracking Algorithm，基于增量学习的鲁棒性视觉跟踪算法)跟踪运动目标[Ross D A,Lim J,Lin R S,et al.:Incremental learning for robust visual tracking[J].International Journal of Computer Vision.(2008)77(1-3):125-141.]。

步骤五，使用公式(31)所示的方法计算运动目标跟踪过程中所需要的运动目标后验概率，从而实现运动目标的跟踪。

步骤六，返回步骤三。

本发明的有益效果可以通过以下实验进一步说明：

本发明实施例以Matlab2012b为实验平台，输入图像序列为“dudek”，每帧图像大小为480×720，共计150帧。选取人脸为运动目标进行跟踪，从第100帧到第110帧，运动目标被遮挡，第110帧后对运动目标的遮挡消失。

本实验将本发明方法与现有的IVT方法、L1T方法和VTD方法进行了比较。采用均方根误差(RMS)作为比较依据，其计算公式如公式(32)所示：

$RMS=\frac{|RD-TD|}{TD}\times 100\%---\left(32\right)$

其中，RD表示跟踪结果像素值，TD表示真实像素值。比较结果如图3所示。从图3中可以看出，在跟踪初始阶段，IVT方法，L1T方法和本发明所述方法跟踪得到的实际值与真实值的均方根误差小于5个像素，但是局部遮挡后，本发明所述方法的均方根误差要小于现有的其他算法，可见采用本方法进行运动目标跟踪具有一定的优势。

所述L1T方法详见文献(Mei X,and Ling H:Robust visual tracking using L1 minimization[C].Computer Vision,2009IEEE 12th International Conference on.IEEE.(2009):1436-1443.)。

所述VTD方法详见文献(J.Kwon and K.Lee.Visual tracking decomposition.In CVPR,pages 1269–1276,2010.)。