基于正则化模板与重建误差分解的快速目标跟踪方法

摘要

本发明公开了一种基于正则化模板和重建误差分解的快速目标跟踪方法，其特征是如下步骤进行：将常用的目标模板集合进行正则化，消除模板之间冗余性，提升模板的抗干扰能力和对目标的重建能力；并将重建误差进行分解，分别使用L

说明书

技术领域

本发明属于图像处理、模式识别技术领域，主要涉及一种基于正则化模板与重建误差分解的快速单目标视觉跟踪方法。 

背景技术

视觉目标跟踪是一种智能视频分析方法，其目的就是要对用户感兴趣的目标进行持续不间断地跟踪，是计算机视觉领域热门研究课题之一。目标跟踪可以应用于智能视频监控、异常行为分析、运动事件检测等方面。公安技术人员利用目标跟踪方法可以对摄像头中出现的可疑人员进行跟踪和识别，协助侦破案件。 

视觉目标跟踪的研究已超过二十年，然而目标在跟踪过程中经常面临的尺度变化、光照变化、遮挡以及形变等复杂问题一直困扰着目标跟踪研究者们，研究者们通常会设计复杂的数学方法去解决上述干扰问题，但是复杂的数学方法通常又增加了目标跟踪方法的计算复杂度，导致目标跟踪方法在跟踪目标时速度很慢，不利于目标跟踪方法的工程推广。例如，2011年，Mei Xue等研究者在顶级国际期刊IEEE Transaction on Pattern Analysis and Machine Intelligence上发表的文章《Robust Visual Tracking and Vehicle Classification via Sparse Representation》中提出一种目标跟踪方法，该方法采用目标模板集和琐碎模板对目标进行稀疏表示，利用L₁正则化对目标表示模型进行求解，并假设重建误差服从高斯分布，使用重建误差均方最小准则作为选择跟踪目标的依据。但是这种方法的不足之处有： 

(1)、该方法所用目标模板集合中目标模板之间是互相相关的，包含大量冗余信息，无法很有效地对跟踪目标进行重建； 

(2)、在视频的每一帧，该方法都需要求解数百次的L₁正则化，求解L₁正则化耗费了大量的时间； 

(3)、在现实跟踪场景中，当目标受到遮挡等干扰时，重建误差并不服从高斯分布，所以该方法在跟踪时往往会出现跟踪“漂移”等问题。实际上，重建误差中包含两种分量：一种为类似弱光线变化等引起的高斯噪声，这种噪声是一直存在的，且幅值一般较小；另一种是由遮挡等较严重干扰造成的残差分量，这部分分量往往包含一些幅值较大的异常点。两种分量需要区别对待，分别建模。 

Mei Xue所提出的这种目标跟踪方法是近几年来目标跟踪代表性方法之一，受到广泛关注。但是，从工程应用的角度来看，Mei Xue所提出的目标跟踪方法实用性较低。到目前为止，目标跟踪研究领域内依然没有出现一种跟踪准确度高、运算速度快、可以工程应用的目 标跟踪方法。 

发明内容

本发明旨在解决当前多数目标跟踪方法对目标重建能力低，而且时效性低下的问题，提出了一种基于正则化模板和重建误差分解的快速目标跟踪方法，提高了线性目标表示模型对目标的重建能力，且将跟踪速度提升到接近实时水平，从而能够适用于工程应用。 

本发明为解决技术问题采用如下技术方案： 

本发明一种基于正则化模板和重建误差分解的快速目标跟踪方法的特点是如下步骤进行： 

步骤1、初始化阶段： 

步骤1.1、对输入的视频图像的第1帧图像进行人工标记，获得跟踪目标的状态向量x₁和观测向量y₁； 

所述状态向量x₁＝(x₁,y₁,θ₁,s₁,α₁,φ₁)，x₁和y₁分别表示所述跟踪目标在第1帧图像中的水平方向的坐标和竖直方向的坐标；θ₁、s₁、α₁和φ₁分别表示所述跟踪目标在第1帧图像中的旋转角度、尺度、高宽比率和斜切方向；所述观测向量y₁＝(y₁,y₂,…,y_d)^T为所述跟踪目标的图像特征向量；d表示所述观测向量的维数； 

步骤1.2、利用经典粒子滤波跟踪方法对所述第2帧图像到第F帧图像进行目标跟踪，F≥3；获得前F帧图像的跟踪目标的状态向量集合X＝[x₁,x₂,…,x_F]和目标模板集合Y＝[y₁,y₂,…,y_F]； 

步骤1.3、利用奇异值分解方法对所述目标模板集合Y进行正则化处理，获得初始正则化模板集合U_F＝[u₁,u₂,…,u_k,u_F]，U_F中任一个基向量u_k＝(u₁,u₁,…,u_d)^T，k＝1,2,…,F；并获得均值向量为${\bar{u}}_F=\frac{1}{F}{\Sigma }_{k=1}^F{u}_k;$

步骤2、跟踪阶段：输入所述第t-1帧中的跟踪目标的状态向量x_t-1、正则化模板集合U_t-1和均值向量对所述输入视频的第t帧图像中的目标进行跟踪； 

步骤2.1、利用式(1)所示的动态模型进行高斯采样，获得第t帧图像中的N个粒子集合 并在所述第t帧图像中抽取任一个粒子所对应的候选目标图像特征向量

$p\left(x_t^i\right|x_{t-1})=N(x_t^i;x_{t-1},\psi )---\left(1\right)$

式(1)中：Ψ为对角协方差矩阵，Ψ对角线上的元素分别为6个仿射参数的方差 所述粒子集合中任一个粒子所述任一个粒子所对应的权重为令i＝1,2,…,N；t≥F+1，F为正整数； 

步骤2.2、利用式(2)所示的线性目标表示模型对所述候选目标特征向量进行线性重建： 

$y_t^i=U_{t-1}z+e=z_1{u}_1+z_2{u}_2+···+z_F{u}_F+e---\left(2\right)$

式(2)中：z为重建系数向量，z＝(z₁,z₂,…,z_F)；e为重建误差向量，e＝(_e1,e₂,…,e_d)^T； 

步骤2.3、利用式(3)的岭回归分析方法获得所述重建系数向量z： 

$z={(U_{t-1}^T{U}_{t-1}+\mathrm{\lambda I})}^{-1}{U}_{t-1}^T{y}_t^i---\left(3\right)$

式(3)中：λ为正则化参数，I为单位矩阵； 

利用式(4)获得所述重建误差向量e： 

$e=y_t^i-U_{t-1}z---\left(4\right)$

步骤2.4利用式(5)和(6)将所述重建误差向量e分解成第一分量e^#和第二分量e^*： 

$e_j^{\#}=\left(\begin{array}{cc}{e}_j& \left|e_j\right|\le \delta \\ 0& \left|e_j\right|>\delta \end{array}\right)---\left(5\right)$

$e_j^{*}=\left(\begin{array}{cc}{e}_j& \left|e_j\right|>\delta \\ 0& \left|e_j\right|\le \delta \end{array}\right)---\left(6\right)$

式(5)和式(6)中，δ为阈值参数；$e^{\#}={(e_1^{\#},e_2^{\#},...,e_d^{\#})}^T;$$e^{*}={(e_1^{*},e_2^{*},...,e_d^{*})}^T;$j＝1,2,…,d； 

步骤2.5、利用式(7)获得候选目标特征向量与正则化模板集合U_t-1的距离

$d(y_t^i;U_{t-1})={\left|\right|e^{\#}\left|\right|}_2^2+\beta {\left|\right|e^{*}\left|\right|}_0---\left(7\right)$

式(7)中：||·||₂表示L₂范数，||·||₀表示L₀范数；β为惩罚参数； 

步骤2.6、利用式(8)更新所述任一个粒子的权值

$w_t^i=1/d(y_t^i;U_{t-1})---\left(8\right)$

式(8)中，权值最大的粒子作为第t帧图像中所要跟踪的目标的状态向量x_t；并在所述第t 帧图像中抽取所述目标的状态向量x_t所对应的第t帧目标图像特征向量y_t；若所述第t帧为所述视频图像的最后一帧，则结束目标跟踪，否则，继续进行步骤3； 

步骤3、更新阶段： 

步骤3.1、计算遮挡度ρ＝||e^*||₀/d，并对所述第t帧目标图像特征向量y_t进行遮挡判定； 

(a)、若ρ小于所设定的低阈值thre_low，则判定为跟踪目标未被遮挡，对所述目标图像特征向量y_t不作处理，令(y_t)^*＝y_t，进行步骤3.2； 

(b)、若ρ大于所设定的高阈值thre_high，则判定跟踪目标被严重遮挡，第t帧正则化模板集合U_t和均值向量的取值延续第t-1帧的正则化模板集合U_t-1和均值向量的取值，即U_t＝U_t-1，并直接进入步骤4； 

(c)、若ρ大于等于低阈值thre_low且小于等于高阈值thre_high，则判定跟踪目标被部分遮挡，目标图像特征向量y_t中被遮挡部分的像素用均值向量对应位置的像素进行替换后获得新的目标图像特征向量(y_t)^*并进入步骤3.2； 

步骤3.2、采用增量PCA学习算法将步骤3.1所得目标图像特征向量(y_t)^*更新正则化模板集合，获得第t帧的正则化模板空间U_t以及均值向量

步骤4：输出所述第t帧图像中的跟踪目标的状态向量x_t、正则化模板集合U_t和均值向量 返回步骤2，输入第t帧中的跟踪目标的状态向量x_t、正则化模板集合U_t和均值向量对输入视频的第t+1帧图像中的目标进行跟踪。 

与已有技术相比，本发明有益效果体现在： 

1、本发明将传统目标跟踪方法常用的目标模板集合进行正则化，获得正则化模板集合，去除了原目标模板集合中存在的冗余性和噪声，提高了对目标表示模型对目标的重建能力。 

2、针对重建误差不服从高斯分布并且包含两种分量这一特点，本发明将重建误差进行分解，并分别用L₂范数和L₀范数对分解出来的两种分量进行建模，然后构建候选目标与正则化模板空间的距离，提高了目标跟踪方法的鲁棒性和跟踪准确度。 

3、本发明所使用的正则化模板集合中特征向量之间是互相正交的，不再需要使用耗时的L1正则化对目标重建系数进行求解，在本发明中，可以使用快捷的岭回归分析方法对目标表 示系数和重建误差进行求解。本发明运算简单，降低了目标跟踪方法的计算复杂度，在实验室环境下，跟踪速度可以达到每秒25帧的效果；同时将本发明的跟踪方法移植到DSP芯片上运行，借助于DSP芯片优秀的计算能力，本发明完全可以达到实时的运行效果。 

附图说明

图1为本发明的跟踪方法工作流程图； 

图2为本发明中目标模板正则化的视觉效果图； 

图3a为本发明的跟踪方法进行车辆跟踪时的视频第26帧的跟踪效果图； 

图3b为本发明的跟踪方法进行车辆跟踪时的视频第184帧的跟踪效果图； 

图3c为本发明的跟踪方法进行车辆跟踪时的视频第204帧的跟踪效果图； 

图3d为本发明的跟踪方法进行车辆跟踪时的视频第616帧的跟踪效果图。 

具体实施方式

本实施例中，一种基于正则化模板和重建误差分解的快速目标跟踪方法，流程图如图1所示，是按照如下步骤进行： 

步骤1、初始化阶段：该阶段主要为了获得初始目标模板集合，并进行正则化，获得初始正则化模板集合以及均值向量。 

步骤1.1、对输入的视频图像的第1帧图像进行人工标记，获得跟踪目标的状态向量x₁和观测向量y₁； 

状态向量x₁＝(x₁,y₁,θ₁,s₁,α₁,φ₁)，是由6个仿射参数组成，x₁和y₁分别表示跟踪目标在第1帧图像中的水平方向的坐标和竖直方向的坐标；θ₁、s₁、α₁和φ₁分别表示跟踪目标在第1帧图像中的旋转角度、尺度、高宽比率和斜切方向；观测向量y₁＝(y₁,y₂,…,y_d)^T为跟踪目标的图像特征向量，d表示观测向量的维数；状态向量x₁对应的灰度图像首先归一化到统一大小，通常归一化为32×32大小的灰度图像块，并将32×32的灰度图像矩阵经过首尾相连拉伸为列向量，构建成观测向量y₁，d＝32×32＝1024； 

步骤1.2、利用经典的粒子滤波跟踪方法对第2帧图像到第F帧图像进行目标跟踪，F≥3；获得前F帧图像的跟踪目标的状态向量集合X＝[x₁,x₂,…,x_F]和目标模板集合Y＝[y₁,y₂,…,y_F]；F一般取值为10； 

以第2帧图像的目标跟踪为例，介绍经典粒子滤波跟踪方法： 

(1)首先，以第1帧所标记的目标状态x₁为中心，利用式(1)的动态模型进行高斯采样，采样后获取第2帧图像中N个粒子N通常取200。将每个粒子所对应的灰度图像按照步骤1.1中所用方式转换成d维的图像特征向量

$p\left(x_2^i\right|x_1)=N(x_2^i;x_1,\psi )---\left(1\right)$

式(1)中：Ψ为对角协方差矩阵，Ψ对角线上的元素分别为6个仿射参数的方差 

是由6个仿射参数组成的候选目标状态向量，每个粒子对应的权值为令i＝1,2,…,N； 

(2)按照式(2)对每个粒子的权值进行更新 

$w_2^i=\exp \{-{\left|\right|y_2^i-y_1\left|\right|}_2^2\}---\left(2\right)$

(3)选取权值最大的粒子所对应的候选目标作为跟踪目标，获得目标的状态向量x₂和图像特征向量y₂。 

粒子滤波跟踪方法的优势在于可以有效地解决目标尺度变化和旋转等干扰问题。步骤1.2采用经典粒子滤波跟踪方法，而本发明步骤2中的跟踪框架也是来源于粒子滤波跟踪方法。 

步骤1.3、利用奇异值分解方法对目标模板集合Y进行正则化处理，获得初始正则化模板集合U_F＝[u₁,u₂,…,u_F]，U_F中任一个基向量u_k＝(u₁,u₁,…,u_d)^T，k＝1,2,…,F；并获得均值向量为正则化模板集合U_F包含的特征向量个数始终为F，特征向量会随着每一帧更新而改变。正则化模板集合U_F中的特征向量之间是正交不相关的，去除了传统目标模板集合Y中包含的冗余性，增强了对目标的重建能力； 

奇异值分解方法的作用在于将目标模板集合Y转化为由一组正交基向量张成的子空间，即正则化模板集合U_F。 

步骤2、跟踪阶段：输入第t-1帧图像中的跟踪目标的状态向量x_t-1、正则化模板集合U_t-1和均值向量对输入视频的第t帧图像中的目标进行跟踪； 

步骤2.1、利用式(3)所示的动态模型进行高斯采样，获得第t帧图像中的N个粒子集合 并在第t帧图像中抽取任一个粒子所对应的候选目标图像特征向量

式(3)中：中任一个粒子任一个粒子所对应的权重为 令i＝1,2,…,N；t＝F+1,F+2,F+3,； 

高斯采样实际上就是指以第t-1帧图像中目标状态向量x_t-1为中心，在x_t-1的周围采集N个粒子，粒子的分布呈现高斯分布的规律，离x_t-1越近分布越密集，离x_t-1越远分布越松散。第t-1帧图像中的跟踪目标的状态向量x_t-1、正则化模板集合U_t-1和均值向量是由前一帧图像的目标跟踪输出的，逐渐往前递推。 

步骤2.2、利用式(4)所示的线性目标表示模型对候选目标特征向量进行线性重建： 

$y_t^i=U_{t-1}z+e=z_1{u}_1+z_2{u}_2+···+z_F{u}_F+e---\left(4\right)$

式(4)中：z为重建系数向量，z＝(z₁,z₂,…,z_F)；e为重建误差向量，e＝(e₁,e₂,…,e_d)^T；正则化模板集合U_t-1又可以称为正则化子空间，式(2)成立的前提是假设候选目标存在于正则化子空间U_t-1中。 

步骤2.3、利用式(5)的岭回归分析方法获得重建系数向量z： 

$z={(U_{t-1}^T{U}_{t-1}+\mathrm{\lambda I})}^{-1}{U}_{t-1}^T{y}_t^i---\left(5\right)$

式(5)中：λ为正则化参数，I为单位矩阵，单位矩阵I主要是为了保证矩阵可逆； 

利用式(6)获得重建误差向量e： 

$e=y_t^i-U_{t-1}z---\left(6\right)$

在具体计算过程中，令矩阵P独立于候选目标特征向量在每一帧图像的跟踪中矩阵P只需要计算一次；将N个候选目标特征向量集中在一个矩阵中，即可通过两次矩阵计算，直接获得N个候选目标的重建系数向量和重建误差向量，即Z＝PY_t和E＝Y_t-U_t-1Z；Z表示N个候选目标的重建系数向量所组成的矩阵，E表示N个候选目标的重建误差向量所组成的矩阵； 

步骤2.4利用式(7)和(8)将重建误差向量e分解成第一分量e^#和第二分量e^*： 

$e_j^{\#}=\left(\begin{array}{cc}{e}_j& \left|e_j\right|\le \delta \\ 0& \left|e_j\right|>\delta \end{array}\right)---\left(7\right)$

$e_j^{*}=\left(\begin{array}{cc}{e}_j& \left|e_j\right|>\delta \\ 0& \left|e_j\right|\le \delta \end{array}\right)---\left(8\right)$

式(7)和式(8)中，δ为阈值参数；$e^{\#}={(e_1^{\#},e_2^{\#},...,e_d^{\#})}^T;$$e^{*}={(e_1^{*},e_2^{*},...,e_d^{*})}^T;$j＝1,2,…,d；阈值参数δ为一个较小的正数，例如，可设置为0.12；第一分量e^#主要由于微弱光线变化、人脸表情变化等较弱干扰导致，e^#中元素的数值的绝对值一般分布在0～0.1之间，e^#属于正常存在的噪声；第二分量e^*主要由于较强干扰引起的噪声，如遮挡、光线剧变等；e^*中的元素大多数为一些数值较大的异常点；当目标被遮挡时，e^*中的元素近似对应被遮挡像素的位置； 

步骤2.5、利用式(9)获得候选目标特征向量与正则化模板集合U_t-1的距离

$d(y_t^i;U_{t-1})={\left|\right|e^{\#}\left|\right|}_2^2+\beta {\left|\right|e^{*}\left|\right|}_0---\left(9\right)$

式(9)中：||·||₂表示L₂范数，||·||₀表示L₀范数；β为惩罚参数；惩罚参数β可设置为一个很小的正数，比如0.05； 

步骤2.6、利用式(10)更新任一个粒子的权值

$w_t^i=1/d(y_t^i;U_{t-1})---\left(10\right)$

式(10)中，权值最大的粒子作为第t帧图像中所要跟踪的目标的状态向量x_t；并在第t帧图像中抽取状态向量x_t所对应的第t帧目标图像特征向量y_t；若第t帧为视频图像的最后一帧，则结束目标跟踪，否则，继续进行步骤3； 

步骤3、更新阶段： 

步骤3.1、计算遮挡度ρ＝||e^*||₀/d，并对第t帧目标图像特征向量y_t进行遮挡判定； 

(a)、若ρ小于所设定的低阈值thre_low，则判定为跟踪目标未被遮挡，对目标图像特征向量y_t不作处理，令(y_t)^*＝y_t，进行步骤3.2； 

(b)、若ρ大于所设定的高阈值thre_high，则判定跟踪目标被严重遮挡，第t帧正则化模板集合U_t和均值向量的取值延续第t-1帧的正则化模板集合U_t-1和均值向量的取值，即U_t＝U_t-1，并直接进入步骤4； 

(c)、若ρ大于等于低阈值thre_low且小于等于高阈值thre_high，则判定跟踪目标被部分遮挡，目标图像特征向量y_t中被遮挡部分的像素用均值向量对应位置的像素进行替换后获得新的目标图像特征向量(y_t)^*并进入步骤3.2； 

步骤3.2、采用增量PCA学习算法将步骤3.1所得目标图像特征向量(y_t)^*更新进正则化模板集合中，获得第t帧的正则化模板空间U_t以及均值向量

虽然步骤3.1是在假设目标被遮挡的情形下进行更新处理的，但本发明方法同样适用于尺度变化、光线剧变、运动模糊等情形下的模型更新； 

在具体计算时，在步骤3.2中，本发明也可以每隔m帧进行一次增量PCA学习，便于提升跟踪速度；m通常可以取5；增量PCA学习算法的优势在于，算法进行学习的时候，可以在前面学习的结果上结合新的样本进行学习，这样避免了将所有样本集中在一起再一次学习，有效地加快了PCA子空间学习的速度；增量PCA学习算法的具体流程可以参见文献《Incremental learning for robust visual tracking》中的介绍； 

步骤4：输出第t帧图像中的跟踪目标的状态向量x_t、正则化模板集合U_t和均值向量返回步骤2，输入第t帧中的跟踪目标的状态向量x_t、正则化模板集合U_t和均值向量对输入视频的第t+1帧图像中的目标进行跟踪。 

图3a、图3b、图3c、图3d是本发明跟踪方法在动态背景下，对运动车辆进行跟踪，克服了尺度变化、光线剧变等干扰，取得了很好的跟踪效果。 

以上，仅为本发明较佳的一种实施方式，其他研究人员根据上面，完全可以在其他跟踪场景下，比如行人跟踪、人脸跟踪等，取得相同的效果。必须说明的是，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或相关参数改变，都应涵盖在本发明的保护范围之内。