用于鲁棒跟踪的自适应多特征融合的方法

摘要

一种用于鲁棒跟踪的自适应多特征融合的方法，包括步骤：特征结构初始化；分别计算梯度直方图HOG特征、局部二值模式LBP特征、颜色直方图特征；利用增量式主成分分析IPCA算法计算特征的主分量，并得到特征的稳定性表征；更新子特征权重；根据粒子滤波的跟踪结果，计算子特征的更新率。本发明目标特征用梯度信息，纹理信息和颜色信息共同表达，复杂场景下提高了特征的描述能力。根据不同子特征在跟踪中不同的稳定性，实时更新其权重，提高融合后的特征的稳定性。本发明计算量小，可以满足实时性要求。

说明书

技术领域

本发明涉及视频监控与模式识别领域，特别涉及一种用于鲁棒跟 踪的自适应多特征融合的方法。

背景技术

智能视频监控(IVS：Intelligent Video Surveillance)是计 算机视觉领域中近几年来新兴起的一个应用方向。它是利用计算机视 觉技术对视频信号进行处理、分析和理解，并对视频监控系统进行控 制，从而提高视频监控系统智能化水平。智能视频监控系统在民用和 军事领域中都有极大的应用前景。目前虽然在银行、商店、车站、港 口等一些重要的公共场合所普遍设了监控摄像机，但实际的监控任务 仍需要较多的人工工作来完成。很多情况下，目前的视频监控系统所 提供的信息是没有经过任何分析的视频裸数据，这就不能充分发挥视 频监控系统应有的实时主动的监控作用。另一方面，为了防止和阻止 犯罪，对无人值守的视频监控系统的需求量日益上升，这类系统的主 要目标是减少对繁琐人工的依赖，自动完成对复杂环境中人和车辆等 进行实时观测以及对感兴趣的对象行为进行分析和描述。要完成这些 任务，需要涉及到智能视频监控中许多核心技术，如：背景分析、对 象提取、对象描述、对象跟踪、对象识别和对象行为分析。

对象跟踪技术作为智能视频监控技术中的关键技术之一，成为研 究热点。近些年来学者们把研究重点放在解决跟踪技术中的表观变 化、遮挡、复杂背景和光照变化等问题上，不少方法已经提出。如自 适应模型的方法(Z.Kalal，K.Mikolajczyk，and J.Matas， “Tracking-learning-detection，”PAMI，vol.34(7)，July2012； H.Grabner，C.Leistner，and H.Bischof，“Semi-supervised  on-line boosting for robust tracking，”ECCV，2008)，但是这 些更新模型的方法都假设上一帧图像的检测以及跟踪是正确的，显然 这样的更新方法难以保证跟踪的准确性；另外还有多特征结合的方法 (J.Kwon and K.M.Lee，“Tracking by sampling track-ers，” ICCV，2011；G.Shu，A.Dehghan，O.Oreifej，E.Hand，and M. Shah，“Part-based multiple-person tracking with partial  occlu-sion handling，”CVPR，2012)。多特征融合的方法虽然比单 特征在跟踪中表现好，但多特征如何去融合，如何决定哪种特征在跟 踪中起着重要作用成为了大问题。因此一种自适应多特征融合的方法 急需提出。

发明内容

本发明的目的是发明一种用于鲁棒跟踪的自适应多特征融合的 方法。

为了实现上述目的，一种用于鲁棒跟踪的自适应多特征融合的方 法包括步骤：

特征结构初始化；

分别计算梯度直方图HOG特征、局部二值模式LBP特征、颜色直 方图特征；

利用增量式主成分分析IPCA算法计算特征的主分量，并得到特 征的稳定性表征；

更新子特征权重；

根据粒子滤波的跟踪结果，计算子特征的更新率。

本发明目标特征用梯度信息，纹理信息和颜色信息共同表达，复 杂场景下提高了特征的描述能力。根据不同子特征在跟踪中不同的稳 定性，实时更新其权重，提高融合后的特征的稳定性。本发明计算量 小，可以满足实时性要求。

附图说明

图1是本发明技术方案流程图；

图2是特征不变性表征的计算流程图。

具体实施方式

本发明的思想要点是：1)多特征融合方法，提升特征的描述能 力，增强算法对场景的变化的适应性。2)利用个子特征的稳定性， 实时更新各个特征的权重，得到稳定的融合特征。3)根据目标跟踪 结果，调整子特征权重的更新率。本发明的整个技术方案流程图如附 图1所示。下面对发明中所涉及到的技术细节予以说明。

1.特征结构初始化

我们通过融合HOG特征、LBP特征和颜色直方图特征，来完成对 目标特征的描述。目标特征用式(1)表示：

F＝{n|w_if_i，i＝1，....，n}    (1)

其中n指特征个数为3，w_i为第i个特征的权重，初始 化w_i＝1/n，f_i为第i个子特征，且每个子特征的维数为D，D＝256。

2.计算梯度直方图(HOG)特征、局部二值模式(LBP)特征、颜 色直方图特征

HOG特征(N.Dalal，B.Triggs.“Histograms of Oriented  Gradients for Human Detection”，CVPR，Vol.1，2005)，体现目 标的边缘梯度特征，我们将目标区间重采样为24*40，每个块为32 维向量，则区域HOG特征为256维向量；LBP特征(T.Ojala，M. Pietikainen，T.Maenaa.“Multiresolution gray-scale and  rotation invariant texture classification with local binary  patterns”，TPAMI，Vol.24，2002)，体现目标的纹理特征，使用 原始的二值模式直方图，为256维向量；颜色直方图特征体现目标的 颜色特征，将原始RGB彩色图像，转换到HSV色彩空间，统计H通道 的颜色直方图，也是256维向量。

3.利用增量式主成分分析(IPCA)算法计算特征的主分量，并得 到特征的稳定性表征

每种子特征都有其特定的使用场景，因此我们利用特征挖掘的思 想，使子特征权重随着场景的变化而改变。在子特征比重的更新过程 中我们利用IPCA对之前的场景进行学习，并与当前帧比较，获得从 而确定新一帧的子特征权值变化。每种子特征的特征不变性表征的计 算流程图如图2，计算步骤如下：

步骤1：初始化特征向量矩阵。

对前t(t＝20)帧图像中的每一帧图像，通过尺度变换、旋转变 换获得更多的样本图像，这里我们使用5种尺度{0.25，0.5，1，2， 4}、5种旋转角度{-10°，-5°，0°，5°，10°}，从而获得Q＝t*25幅图像， 并计算每一幅图像的子特征，用式(2)表示。

$X=(x_1,...,x_Q)⋐R^{D*Q}---\left(2\right)$

x_i为第i幅图像的某个子特征的D维特征向量。

通过计算矩阵X的协方差矩阵，把协方差矩阵的特征向量矩阵作 为初始化的特征向量矩阵，用式(3)表示。

$U=(u_1,...,u_D)⋐R^{D*D}---\left(3\right)$

步骤2：利用IPCA计算特征向量，这样可以省去每次计算协方 差矩阵的时间与空间的消耗。如式(4)

$v\left(N\right)=(1-\alpha )v(N-1)+\alpha x_N{x}_N^T\frac{v(N-1)}{\left|\right|v(N-1)\left|\right|}---\left(4\right)$

v(N)为特征向量，N为采样点索引，且v_i(0)＝u_i，α为更新率，计 算方法见式(11)，x_N为当前采样点图像(当前帧图像)某个子特征 的D维特征向量。

步骤3：计算特征值(λ₁，...，λ_D)，λ_i＝||v_i(N)||和特征值相对应的特征 向量(u1，...，u_D)，u_i＝v_i(N)，并通过式(5)筛选前d(d＜D)个主要特征 值如式(6)，以及特征值相对应的特征向量如式(7)。

$d=\arg \underset{d}{\min }(\underset{i=1}{\overset{d}{\Sigma }}{\lambda }_i/\underset{i=1}{\overset{D}{\Sigma }}{\lambda }_i>\beta )---\left(5\right)$

$\Lambda =({\lambda }_i,...,{\lambda }_d)⋐R^{d*1}---\left(6\right)$

$V=(u_i,...,u_d)⋐R^{D*d}---\left(7\right)$

β为筛选前d个特征的阈值，且β＝0.9。

步骤4：计算特征不变性表征。通过步骤3计算得到的特征向量 V，利用式(8)将当前帧图像t+1的D维子特征向量投影到d维的子 特征空间Γ中，并利用相关系数作为相似度测量，获得特征的稳定 性表征S^t+1(Λ，Γ)，如式(9)。

$\Gamma =V^T·x_N⋐R^{d*1}---\left(8\right)$

$S^{t+1}(\Lambda ,\Gamma )=\frac{{\Lambda }^T·\Gamma }{\left|\right|\Lambda \left|\right|·\left|\right|\Gamma \left|\right|}---\left(9\right)$

每个子特征都根据以上步骤1-4计算其稳定性S。跟踪目标初始 化阶段利用前t(t＝20)帧按照步骤1完成初始化协方差矩阵的计算， 之后每一帧重复步骤2-4，计算每个子特征的稳定性表征。

4.更新子特征权重

子特征权重w_i是实时更新的。我们把某个子特征随着时间变化比 较小或者不随时间变化称为特征不变性，具有这样性质的特征，能够 实时跟踪到目标，此时需要增加这样特征的权重。S^t+1(Λ，Γ)作为特征 不变性表征，用其计算更新子特征权重，如式(10)。

$w_i^{\prime (t+1)}=w_i^t+\eta (S^{t+1}-S^t)$

$w_i^{t+1}=w_i^{\prime (t+1)}/\underset{i=1}{\overset{n}{\Sigma }}{w}_i^{\prime (t+1)}---\left(10\right)$

为t+1帧图像中第i个子特征权重。η为w_i的更新速率，我们 取其为7，可以根据实际情况调整。

5.根据粒子滤波的跟踪结果，计算子特征的更新率

利用本帧图像粒子滤波(M.Isard，A.Blake.“Condensation  lconditional den-sity propagation for visual tracking”，IJCV， vol.29(1)，1998)的跟踪结果，调整下帧图像的特征向量矩阵的更 新学习率。更新的学习率α计算方法如式(11)。

α∝E(R(F_i，F_t))

$R(F_i,F_t)=\frac{F_i^T·F_t}{\left|\right|F_i\left|\right|·\left|\right|F_t\left|\right|}---\left(11\right)$

E(R)表示为变量R的期望，F_t为当前帧t图像的特征向量，F_i为 特征向量变量，i＝1，...，t-1，为观测粒子，R(F_i，F_t)表示当前帧图像特 征与第i帧图像特征(第i次观测粒子)的相关关系。