一种自适应对象特征的跟踪方法

摘要

本发明提供了一种自适应对象特征的跟踪方法，属于计算机图形图像处理技术领域。它能有效地解决对刚性和非刚性目标对象长时间实时稳定的跟踪问题。该方法通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点信息，然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述目标的特征组合，并以此对目标建模；跟踪过程中，该方法首先根据目标灰度表构建与图像对应的霍夫表，然后通过目标模型搜索确定预测目标位置，接着在以该预测目标位置为中心的局部较小范围内搜索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，完成目标的定位。主要用于对象目标的跟踪。

说明书

技术领域

本发明属于计算机视觉对象跟踪技术领域，特别涉及计算机图形图像处理技术领域。

背景技术

视觉对象跟踪是许多计算机视觉应用的基本和关键问题，如视频分析，智能监控，人机 交互，行为识别等，尽管研究人员对此做出了大量的工作，但要在复杂的环境中实现实时稳 定的对象跟踪仍然是极具挑战性的任务。

由于基于在线学习的跟踪方法本质上更能够适应对象及其环境的变化，有利于完成长时 间的跟踪任务，因此目前依赖检测或者学习的对象跟踪方法(如TLD, Tracking-Learning-Detection)受到越来越广泛的关注。这些方法通过学习某种分类器，如支 持向量机、自举、随机森林，或者随机蕨等来发掘未知的数据和信息，进而增强其对目标及 其场景变化的适应能力。在基础(短时)跟踪(如KLT、均值漂移、粒子滤波等)失败时， 这些分类器则被用作检测器进行目标检测，以达到恢复跟踪的目的。为了保证分类器学习的 准确性，同时又能尽可能的适应目标的变化，Babenko等提出了袋学习的思想和OMB方法 (Online-MILBoost)，Kalal等提出了P-N(Positive-Negative)正负样例学习的方法。然而， 这些方法仍然难以处理非刚性运动变化以及遮挡等问题。对此，霍夫森林提供了一种可能的 解决方法，它是一种融合霍夫变换的随机森林，对象的定位或者检测被看作是寻求霍夫图像 中的概率极大值点，然而该方法在实时性和持久性上有待进一步提高。此外，基于稀疏表示 和学习的对象跟踪方法，由于其较稳定的跟踪性能受到越来越多的关注和研究，然而这些方 法十分依赖样例模板，同样存在不小的失败风险，且计算结构复杂而难以满足实际实时性的 要求。

一般情况下，场景越复杂，跟踪或者检测就变得越困难，由于计算资源的局限和效率的 要求，对象表观模型不能过于复杂。实际上，除了目标本身以外，背景信息也是十分有用且 重要的信息。Yang等采用图像分割融合方法，通过时空分析发掘辅助对象作为跟踪协助，其 对应实现的CAT跟踪系统表现出较稳定的跟踪结果。然而该辅助对象的获取基于一定的运动 假设，因而难以适应更复杂的跟踪环境，且计算效率有待进一步的提高。Grabner等提出通过 获取目标周围有价值的特征点，借此预测目标的位置，增强了跟踪的稳定性，然而检测和匹 配所有这些局部特征点的方法在计算上十分耗时。Thang等通过将PNT作为基础跟踪和同时 增加对误匹配项的跟踪来改进Grabner等的算法，能够在一定程度上区分与目标相似的对象， 从而表现出更好的跟踪性能。Fan等提出学习具有较强区别性的关注区域用以辅助跟踪，然 而在场景出现剧烈运动时，受这些局部区域的限制，其计算效率依然不高。Godec等通过对 场景进行聚类学习，将背景分类为多个虚拟的类型，取得了较为满意的跟踪效果，但是该方 法假设背景只是逐步而细微的改变，这在很多跟踪场合并不成立，因此其应用有限。

因此，有必要研究开发一种可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定； 同时由于使用的特征简单，且不需要进行复杂的机器学习过程的对象跟踪方法。

发明内容

本发明的目的是提供一种自适应对象特征的跟踪方法，它能有效地解决对刚性和非刚性 目标对象长时间实时稳定的跟踪问题。

本发明的目的是通过以下技术方案来实现的：一种自适应对象特征的跟踪方法，包括如 下步骤：

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程可以通过运动目标检测方法 自动提取，也可以通过人机交互方法手动指定。

步骤二、构建目标灰度表

目标灰度表的构建方法为：对目标图像块中的每一个像素点I，设该像素点灰度值在目 标灰度直方图和背景灰度直方图中对应的量化级分别为a_k和g_k，则该像素点的权重w计算为 w＝a_k/(a_k+g_k)；然后计算该像素点在目标图像块中的横坐标x和纵坐标y，以及与目标中心 位置的横向距离dx和纵向距离dy；如果w>θ_T则根据该像素点的灰度值将其加入到目标灰度 表中对应的像素点集中。设表示目标灰度表，H_T的总量 化级数表示为M_T，$B_k={\left\{I_i^k\right\}}_{i=1...L},$其中L为B_k包含的像素点数目，$I_i^k=(x_i^k,y_i^k,{\mathrm{dx}}_i^k,{\mathrm{dy}}_i^k,b_i^k,$$w_i^k)$表示B_k中第i个像素点，其中和分别表示在目标图像块中的横坐标和纵坐标，和分别表示与目标中心位置的横向距离和纵向距离，表示的灰度值，表示的 权重，设表示目标图像块Z_T的归一化灰度直方图，其中N_T为 A_T的总量化级数，设表示以目标图像块Z_T为中心的周围背 景的归一化灰度直方图，其中N_G为A_G的总量化级数。

步骤三、特征选择与目标建模

设F＝{f_i}_i＝1...D表示特征集，其中D为F包含的特征数目，f_i表示F中的第i个特征， 两点特征的提取方法为：在H_T中随机选择两个不同的像素点集B_i和B_j，i≠j，1≤i,j≤M_T； 然后在B_i中随机选择一个像素点I_a，并在B_j中随机选择一个像素点I_b，I_a和I_b构成两点特 征，该两点特征的特征值f计算为：

$f=\left(\begin{array}{cc}1,& I_a\ge I_b\\ 0,& I_a<I_b\end{array}\right)$

根据各个特征与类型c的互信息对所有特征进行排序，提取互信息最大的前K个特征构 成目标特征集F_T＝{f_i}_i＝1...K用于目标建模。具体为，根据该特征集中各个特征对应在目标图 像块中的取值将目标描述为一个K维的特征向量A_T＝(f₁,f₂,…,f_i,…,f_K)，其中f_i表 示A_T的第i个特征值。

步骤四、图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪 的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照 时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则跟踪结束。

步骤五、构建霍夫表

霍夫表的构建方法为：设表示与图像对应的霍夫表，其中W_I和H_I分 别表示图像的宽和高，q_i,j为在(i，j)位置上根据目标灰度表H_T确定的指向该位置的像素点数 目，对图像中的每一个像素点，根据它的灰度在灰度表H_T中查找对应的像素点集B，然后对 B包含的每一个像素点，若该像素点指向的目标中心位置为(i，j)，则对应将Q中的q_i,j加1。

步骤六、目标定位

对目标搜索区域内的每一个候选图像块Z，根据目标特征集F_T计算Z的特征向量其中f_i^Z表示A_Z的第i个特征值，则该候选图像块Z与目标的 相似度S_Z计算为：

$S_Z=R·\underset{i=1}{\overset{K}{\Sigma }}{I}_{f_i}\delta ({f_i}^Z-f_i),$

其中为特征f_i与类型c的互信息，即$I_{f_i}=I(f_i;c)=\underset{f_i\in V}{\Sigma }\underset{c\in C}{\Sigma }p(f_i,c)\log \frac{p(f_i,c)}{p\left(f_i\right)p\left(c\right)},$R为归 一化因子，$R=\frac{1}{\underset{i=1}{\overset{K}{\Sigma }}{I}_{f_i}},\delta ({f_i}^z-f_i)=\left(\begin{array}{cc}1,& {f_i}^Z=f_i\\ 0,& {f_i}^Z\ne f_i\end{array}\right),$将具有最大相似度的候选图像块所在的 图像位置作为预测目标位置；然后，在以预测目标位置为中心的局部较小范围内搜索对应霍 夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，目标定位完成。

所述两点特征提取方法提取D个两点特征构成特征集F_T＝{f_i}_i＝1...D，其中f_i表示F_T中 的第i个两点特征；对特征集中的每一个特征f，计算它与类型c的互信息I(f；c)，

$I(f;c)=\underset{f\in V}{\Sigma }\underset{c\in C}{\Sigma }p(f,c)\log \frac{p(f,c)}{p\left(f\right)p\left(c\right)},$

其中V＝{0,1}，C＝{0,1}，这里c＝1表示目标，c＝0表示背景；p(f,c)＝p(f)p(c|f)，其中 p(f)＝0.5，p(c|f)＝N_c/N_o，N_o表示在目标所在的背景搜索区域内参与计算的候选图像块 的总数目；设f^T表示该特征对应在目标图像块中的取值，N_c为f≠f^T对应的候选图像块的 数目。

跟踪过程中，目标灰度表用于提供构成两点特征所需的像素点信息和用于构建霍夫表， 霍夫表则给出了各个对应的图像位置为目标中心位置的可能性；通过基于互信息的特征选择 可以获得最佳的特征组合，并用于目标建模，该建模信息则进一步用于预测目标位置；最后 根据该预测结果并结合霍夫表确定最终的目标位置，从而实现对目标对象的跟踪。

本发明与现有技术相比的优点和积极效果：

本发明通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点 信息，然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述 目标的特征组合，并以此对目标建模；由于采用了目标检测与霍夫变换的双重目标定位机制， 本发明方法可以快速排除场景干扰，因而对目标的适应性强，跟踪稳定；同时由于使用的特 征简单，且不需要进行复杂的机器学习过程，该方法实现简单，计算速度快。

附图说明

图1为本发明的技术流程图。

实施例：

下面通过附图对本发明做进一步说明

以高速公路视频监控车辆超速检测为例，可以采用本发明提出的跟踪方法实现。首先通 过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内各个车辆的图像区域， 然后将这些图像区域作为目标进行跟踪。步骤如下：

(1)目标选取

从初始图像中选择并确定要跟踪的目标对象。目标选取过程可以通过运动目标检测方法 自动提取，也可以通过人机交互方法手动指定。

(2)构建目标灰度表

目标灰度表将用于提供构成两点特征所需的像素点信息和用于构建霍夫表。设表示目标灰度表，其中M_T为H_T的总量化级数，这里M_T＝256，B_k表 示H_T中第k个灰度级对应的像素点集，$B_k={\left\{I_i^k\right\}}_{i=1...L},$其中L为B_k包含的像素点数目，$I_i^k=$$(x_i^k,y_i^k,{\mathrm{dx}}_i^k,{\mathrm{dy}}_i^k,b_i^k,w_i^k)$表示B_k中第i个像素点，其中和分别表示在目标图像块中 的横坐标和纵坐标，和分别表示与目标中心位置的横向距离和纵向距离，表示的灰度值，表示的权重。设$A_T=(a_1,a_2,...,a_k,...{,a}_{N_T})$表示目标图像块Z_T的归一 化灰度直方图，其中N_T为A_T的总量化级数，这里N_T＝32，a_k表示A_T中第k个量化级数对应 的直方图取值；设表示以目标图像块Z_T为中心的周围背景 的归一化灰度直方图，其中N_G为A_G的总量化级数，这里N_G＝N_T，g_k表示A_G中第k个量化 级数对应的直方图取值。目标灰度表H_T的构建方法为：对目标图像块中的每一个像素点I， 设该像素点灰度值在目标灰度直方图和背景灰度直方图中对应的量化级分别为a_k和g_k，则该 像素点的权重w计算为w＝a_k/(a_k+g_k)；然后计算该像素点在目标图像块中的横坐标x和纵坐 标y，以及与目标中心位置的横向距离dx和纵向距离dy；如果w>θ_T则根据该像素点的灰度 值将其加入到目标灰度表中对应的像素点集中，这里权重阈值θ_T＝0.5。由此，目标灰度表中 各个灰度级包含了用于预测目标中心位置的像素点信息。

(3)两点特征选择与目标建模

设F＝{f_i}_i＝1...D表示特征集，其中D为F包含的特征数目，f_i表示F中的第i个特征， 这里为两点特征。一个两点特征的提取方法为：在H_T中随机选择两个不同的像素点集B_i和 B_j，i≠j，1≤i,j≤M_T；然后在B_i中随机选择一个像素点I_a，并在B_j中随机选择一个像素 点I_b，I_a和I_b构成两点特征，该两点特征的特征值f计算为：

$f=\left(\begin{array}{cc}1,& I_a\ge I_b\\ 0,& I_a<I_b\end{array}\right).$

按照以上两点特征提取方法提取D个两点特征构成特征集F_T＝{f_i}_i＝1...D，其中f_i表示F_T中 的第i个两点特征。对特征集中的每一个特征f，计算它与类型c的互信息I(f；c)，

$I(f;c)=\underset{f\in V}{\Sigma }\underset{c\in C}{\Sigma }p(f,c)\log \frac{p(f,c)}{p\left(f\right)p\left(c\right)},$

其中V＝{0,1}，C＝{0,1}，这里c＝1表示目标，c＝0表示背景；p(f,c)＝p(f)p(c|f)，其中 p(f)＝0.5，p(c|f)＝N_c/N_o，N_o表示在目标所在的背景搜索区域内参与计算的候选图像块 的总数目；设f^T表示该特征对应在目标图像块中的取值，N_c为f≠f^T对应的候选图像块的 数目。根据各个特征与类型c的互信息对所有特征进行排序，提取互信息最大的前K个特征 构成目标特征集F_T＝{f_i}_i＝1...K用于目标建模，这里K＝50。具体为，根据该特征集中各个特征 对应在目标图像块中的取值将目标描述为一个K维的特征向量A_T＝(f₁,f₂,…,f_i,…, f_K)，其中f_i表示A_T的第i个特征值。

(4)图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪 的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照 时间顺序，逐个提取帧图像作为输入图像。如果输入图像为空，则跟踪结束。

(5)构建霍夫表

霍夫表将给出各个对应的图像位置为目标中心位置的可能性。设表示 与图像对应的霍夫表，其中W_I和H_I分别表示图像的宽和高，q_i,j为在(i，j)位置上根据目标 灰度表H_T确定的指向该位置的像素点数目。霍夫表Q的构建方法为：对图像中的每一个像素 点，根据它的灰度在灰度表H_T中查找对应的像素点集B，然后对B包含的每一个像素点，若 该像素点指向的目标中心位置为(i，j)，则对应将Q中的q_i,j加1。因此，q_i,j的值越大则表明 其对应位置为目标中心位置的可能性越大。

(6)目标定位

对目标搜索区域内的每一个候选图像块Z，根据目标特征集F_T计算Z的特征向量其中f_i^Z表示A_Z的第i个特征值，则该候选图像块Z与目标的 相似度S_Z计算为：

$S_Z=R·\underset{i=1}{\overset{K}{\Sigma }}{I}_{f_i}\delta ({f_i}^Z-f_i),$

其中为特征f_i与类型c的互信息，即$I_{f_i}=I(f_i;c)=\underset{f_i\in V}{\Sigma }\underset{c\in C}{\Sigma }p(f_i,c)\log \frac{p(f_i,c)}{p\left(f_i\right)p\left(c\right)},$R为归 一化因子，$R=\frac{1}{\underset{i=1}{\overset{K}{\Sigma }}{I}_{f_i}},\delta ({f_i}^z-f_i)=\left(\begin{array}{cc}1,& {f_i}^Z=f_i\\ 0,& {f_i}^Z\ne f_i\end{array}\right).$将具有最大相似度的候选图像块所在的 图像位置作为预测目标位置。然后，在以预测目标位置为中心的局部较小范围内(这里是10 ×10)搜索对应霍夫表Q中具有最大像素点数目的位置，并将其作为最终的目标位置，目标 定位完成。最后，为了适应目标尺度的变化，这里采用在所确定的目标位置处以多个尺度提 取候选图像块，并计算它们与目标的归一化交叉互相关值(NCC，Normalized  Cross-Correlation)，将具有最大归一化交叉互相关值的候选图像块作为新的目标。当前跟踪 完成，跳转到(2)。

具体来说，首先通过目前已广泛使用的背景建模和前景提取方法，获取视频监控范围内 各个车辆的图像区域，然后将这些图像区域作为目标进行跟踪。对每一个这样的车辆目标， 首先通过构建基于像素的目标灰度表保存对预测目标中心位置有贡献的灰度和像素点信息， 然后根据该目标灰度表并基于互信息进行自适应的两点特征选择，从而确定最能描述目标的 特征组合，并以此对目标建模；接着在运行时根据目标灰度表构建与图像对应的霍夫表，然 后通过目标模型搜索确定预测目标位置，并在以该预测目标位置为中心的局部较小范围内搜 索对应霍夫表中具有最大像素点数目的位置，并将其作为最终的目标位置，完成目标定位， 从而实现对该车辆目标的跟踪。最后，根据车辆目标跟踪的结果计算车辆目标1秒钟运动的 图像距离，并按照图像距离与实际距离的比例关系计算得到车辆在道路中的实际运动距离， 进而得到车辆的行驶速度，如果车辆速度超过了高速公路的限速值，则认为该车辆已超速， 完成车辆超速检测。

本发明的方法还可用于对象跟踪的其它应用场合，如智能视频分析，人机交互，交通视 频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪 系统软件可在任何PC或者嵌入式系统中实现实时对象跟踪应用。