一种基于超像素的协同跟踪算法和系统

摘要

本发明涉及一种基于超像素的协同跟踪算法和系统。本发明提供的方法将结合全局判断和局部判断来确定候选图像内是否包含有目标区域，因此能解决目标区域被遮挡的跟踪问题，同时，通过引入更新策略，使得该方法可以适应目标区域在跟踪过程中各种外观变化，其准确性、适用性大大提高。

说明书

技术领域

本发明涉及计算机视觉目标跟踪领域，更具体地，涉及一种基于超像素的协 同跟踪算法和系统。

背景技术

随着计算机的发展和普及，人们越来越期待计算机能具有像人类一样的感知 和识别能力，其中一个努力的方向就是类似人类的视觉感知系统。计算机视觉是 通过计算机对输入的图像信息进行处理，模拟人眼对视觉信息的感知和识别，完 成诸如目标识别、跟踪等任务。随着计算机性能的提高以及摄像头的普及，我们 每天都能够获取到海量的视频图像信息，而且还在不断增长，使得人们对于视觉 信息自动化处理的需求日益增加。

目标跟踪是在一组图像序列中对预先选定的感兴趣目标进行检测，逐帧地跟 踪目标。按照跟踪目标的个数，目标跟踪算法可以简单地分成单目标跟踪算法和 多目标跟踪算法；按照跟踪过程中使用的摄像头个数，目标跟踪算法可以分成单 摄像头跟踪和多摄像头跟踪。本发明主要针对单摄像头单目标的跟踪问题。目标 跟踪本身就是计算机视觉中的一个应用技术，同时它又是其他高级应用的基础。 目标跟踪的一些典型应用包括：人机交互、安全监控、交通检测、智能机器人导 航等。然而，目标跟踪是一个复杂的过程，该领域还存在许多挑战，例如目标跟 踪过程中的局部遮挡、外观变化、光线变化、剧烈运动、目标在视野中消失后再 现、背景影响等。

发明内容

本发明为解决以上现有技术的缺陷，提供了一种基于超像素的协同跟踪算法， 该方法能够处理遮挡、外观变化等目标跟踪中的常见问题，并且具有很好的稳定 性和鲁棒性。

为实现以上发明目的，采用的技术方案是：

一种基于超像素分割的协同跟踪算法，用于解决单摄像头单目标的跟踪问题， 包括以下步骤：

一、训练阶段

S1.构建全局判别模型，所述全局判别模型用于提取目标区域的Haar_Like 特征，然后根据提取的Haar_Like特征构建全局分类器GC，并确定全局分类器 GC的参数；

S2.使用基于重叠滑动窗口的分片方法对目标区域进行分片，获得N个子区 域，然后分别构建N个全局判别模型，所述N个局部判别模型用于对N个子区 域分别提取Haar_Like特征，然后根据提取Haar_Like特征分别构建局部分类器， 并确定局部分类器的参数；

S3.构建适应生成模型，并确认适应生成模型的模型参数，其具体步骤如下：

对目标区域进行超像素分割，并分别提取每个超像素的特征向量，然后使用 K-means算法对目标区域的所有超像素进行聚类，从而确定适应生成模型的模型 参数；

二、跟踪阶段

S4.将候选图像p_i输入至全局判别模型，全局判别模型对候选图像p_i的 Haar_Like特征进行提取，然后使用全局分类器GC对候选图像p_i的Haar_Like 特征进行分类，GC(p_i)表示候选图像p_i的分类结果；

S5.使用步骤S2的方法将候选图像p_i划分N个子区域，然后使N个局部判 别模型对N个子区域分别提取Haar_Like特征，然后使用N个局部分类器分别 对N个子区域的Haar_Like特征进行分类，LC_j(p_i)表示第j个局部分类器对子区 域的分类结果；

S6.结合全局分类模型、局部分类模型的分类结果，对候选图像是否包含目 标区域进行判断：

thr_GC、thr_LC分别表示全局分类、局部分类的两个阈值，当y(p_i)＝1时，表 示候选图像p_i包含有目标区域；

S7.将所有的候选图像进行步骤S4～S6的操作从而判断其内是否包含有目标 区域，然后将所有判定其内包含有目标区域的候选图像输入至适应生成模型；

S8.对于每一张候选图像，适应生成模型对其进行超像素分割，然后提取每 个超像素的特征向量，然后使用K-means算法对所有超像素的特征向量进行聚类， 并计算候选图像的聚类置信度；然后选取置信度最高的候选图像作为跟踪结果进 行输出，输出数据包括当前跟踪结果的置信度conf_T与目标区域的匹配面积area_T， 其中其中A_i为每个超像素的面积，N表示候选图像片 中包含超像素的个数，

上述公式表明当超像素与聚类中心在特征空间中相近，与聚类中模板超像素在目 标区域相对位置也相近，且所属聚类的目标/背景置信度高时，本专利认为该类 超像素可以更加充分地描述当前目标的外观信息且判别能力强，其中g_i′表示候选 图像片包含的超像素，k_i′表示超像素所属聚类，S_i′表示超像素所属聚类的距离， 表示每个聚类的目标/背景置信度，R_j′表示聚类半径，conf_i′表示g_i′的置信 度，L_i表示候选图像片中每个超像素与所属聚类中的模板超像数间的最小空间距 离，a_s是控制空间距离权重的权重因子，表示g_i′与所 属聚类的模板超像素在目标区域中的空间距离；

${\mathrm{conf}}_{cls}=\frac{A_{t\arg et}}{A_{t\arg et}+A_{backgound}},$

其中A_target表示每个聚类中所有类成员属于目标区域的像素点个数的和， A_background表示背景区域的像素点个数的和；

其中${\mathrm{area}}_T=\frac{{\Sigma }_{j=1}^{M}F\left(g_i\right)}{A},F\left(g_j\right)=\left(\begin{array}{c}{A}_j^{\prime }{A}_j^{\prime }\le A_{t\arg \mathrm{et}}^j\\ A_{t\arg et}^j{A}_j^{\prime }>A_{t\arg et}^j\end{array}\right)$

A_j′表示当前跟踪结果中每个超像素的像素点个数，表示每个超像素聚 类包含的目标区域像素点个数，M表示超像素的总数；

三、检测阶段

S9.构建模板库生成模型，并使模板库生成模型在当前帧内检测目标区域， 返回检测结果的置信度conf_D，然后根据适应生成模型和模板库生成模型的输出 结果估计目标区域的当前位置：

1)当area_T≥thr_PL且conf_T≥thr_TH时

其中thr_TH、thr_PL分别表示置信度阈值和匹配面积阈值，此时适应生成模型 的跟踪结果具有较高的置信度和匹配面积，适应生成模型正常工作而且适应了目 标区域外观，所以把适应生成模型的输出结果作为目标位置输出；然后按照更新 策略根据area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进 行更新；

2)当area_T＜thr_PL且conf_T≥thr_TH时

此时适应生成模型的跟踪结果的匹配面积较低，但跟踪结果的置信度仍然高 于阈值，所以仍把适应生成模型的输出结果作为目标位置输出；然后按照更新策 略根据area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进行 更新；

3)当area_T≥thr_PL且conf_T＜thr_TH时

此时适应生成模型的跟踪结果具有较低的置信度，但具有较高的匹配面积， 所以仍把适应生成模型的输出结果作为目标位置输出；然后按照更新策略根据 area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进行更新；

4)当area_T＜thr_PL，conf_T≥thr_TH且conf_D≥thr_DH时

thr_DH表示检测结果置信度的阈值，此时适应生成模型的跟踪结果的置信度 和匹配面积都低于预设的阈值，而模板库生成模型检测到一个置信度较高的目标 位置，则把模板库生成模型的检测结果当作目标位置输出，然后对全局分类器 GC、局部分类器、适应生成模型进行重初始化。

模型更新是使跟踪算法能够适应目标外观变化的关键，判别模型采用了类似 RealTimeCompressiveTracking文献中增量更新方法(注与本专利无关，所以不 赘述)，生成模型中采用了一种基于滑动窗口的更新方法。在跟踪过程中，每隔 U帧图像，我们就把一帧图像加入到模型中并进行超像素分割、特征提取、聚类。 为了保证算法的实时性，我们采用了一个固定大小的窗口，并在每次更新时，如 果窗口的图像帧数大于预定大小，则按一定的策略丢弃对生成模型影响最小的图 像。

同时，本发明还提供了一种应用所述协同跟踪算法的系统，其具体方案如下： 包括跟踪模块、检测模块和位置估计模块，其中所述跟踪模块包括全局判别模型、 局部判别模型和适应性生成模型，所述检测模型包括模板库生成模型，位置估计 模块用于根据适应生成模型和模板库生成模型的输出结果估计目标区域的当前 位置。

与现有技术相比，本发明的有益效果是：

本发明提供的基于超像素的协同跟踪算法，该方法能够处理遮挡、外观变化等目 标跟踪中的常见问题，具有很好的稳定性和鲁棒性。

附图说明

图1为本方法的框架图。

图2为判别模型的训练示意图。

图3为适应生成模型的训练示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

一种基于超像素分割的协同跟踪算法，用于解决单摄像头单目标的跟踪问题， 包括以下步骤：

一、训练阶段

S1.构建全局判别模型，所述全局判别模型用于提取目标区域的Haar_Like 特征，然后根据提取全局压缩Haar_Like特征构建全局分类器GC，并确定全局 分类器GC的参数，具体如如图2所示；

S2.使用基于重叠滑动窗口的分片方法对目标区域进行分片，获得N个子区 域，然后分别构建N个全局判别模型，所述N个局部判别模型用于对N个子区 域分别提取Haar_Like特征，然后根据提取局部压缩Haar_Like特征分别构建局 部分类器，并确定局部分类器的参数，具体如如图2所示；

S3.构建适应生成模型，并确认适应生成模型的模型参数，其具体步骤如下：

对目标区域进行超像素分割，并分别提取每个超像素的特征向量，然后使用 K-means算法对目标区域的所有超像素进行聚类，从而确定适应生成模型的模型 参数，具体如如图3所示；

二、跟踪阶段

S4.将候选图像p_i输入至全局判别模型，全局判别模型对候选图像p_i的 Haar_Like特征进行提取，然后使用全局分类器GC对候选图像p_i的全局压缩 Haar_Like特征进行分类，GC(p_i)表示候选图像p_i的分类结果；

S5.使用步骤S2的方法将候选图像p_i划分N个子区域，然后使N个局部判 别模型对N个子区域分别提取Haar_Like特征，然后使用N个局部分类器分别 对N个子区域的局部压缩Haar_Like特征进行分类，LC_j(p_i)表示第j个局部分类 器对子区域的分类结果。目标发生遮挡时，全局判别模型可能无法对目标区域进 行正确判别，但N个局部判别模型中通常仍然有一个或者多个对应区域未被遮 挡的局部分类器能够正确判别目标区域。

S6.结合全局分类模型、局部分类模型的分类结果，对候选图像是否包含目 标区域进行判断：

thr_GC、thr_LC分别表示全局分类、局部分类的两个阈值，当y(p_i)＝1时，表 示候选图像p_i包含有目标区域；

上述方案中，当目标区域被阻挡时，全局判别模型无法正常工作，为了避免 此种缺陷，本发明提供的方法将结合全局判断和局部判断来确定候选图像内是否 包含有目标区域，其准确性、适用性大大提高。

S7.将所有的候选图像进行步骤S4～S6的操作从而判断其内是否包含有目标 区域，然后将所有判定其内包含有目标区域的候选图像输入至适应生成模型；

S8.对于每一张候选图像，适应生成模型对其进行超像素分割，然后提取每个 超像素的特征向量，然后使用K-means算法对所有超像素的特征向量进行聚类， 并计算候选图像的聚类置信度；然后选取置信度最高的候选图像作为跟踪结果进 行输出，输出数据包括当前跟踪结果的置信度conf_T与目标区域的匹配面积area_T， 其中其中A_i为每个超像素的面积，N表示候选图像片 中包含超像素的个数，

上述公式表明当超像素与聚类中心在特征空间中相近，与聚类中模板超像素 在目标区域相对位置也相近，且所属聚类的目标/背景置信度高时，本专利认为 该类超像素可以更加充分地描述当前目标的外观信息且判别能力强，其中g_i′表示 候选图像片包含的超像素，k_i′表示超像素所属聚类，S_i′表示超像素所属聚类的距 离，表示每个聚类的目标/背景置信度，R_j′表示聚类半径，conf_i′表示g_i′的 置信度，L_i表示候选图像片中每个超像素与所属聚类中的模板超像数间的最小空 间距离，a_s是控制空间距离权重的权重因子，表示g_i′与 所属聚类的模板超像素在目标区域中的空间距离；

${\mathrm{conf}}_{cls}=\frac{A_{t\arg et}}{A_{t\arg et}+A_{backgound}},$

其中A_target表示每个聚类中所有类成员属于目标区域的像素点个数的和， A_background表示背景区域的像素点个数的和；

其中${\mathrm{area}}_T=\frac{{\Sigma }_{j=1}^{M}F\left(g_j\right)}{A},F\left(g_j\right)=\left(\begin{array}{c}{A}_j^{\prime }{A}_j^{\prime }\le A_{t\arg et}^j\\ A_{t\arg et}^j{A}_j^{\prime }>A_{t\arg et}^j\end{array}\right)$

A_j′表示当前跟踪结果中每个超像素的像素点个数，表示每个超像素聚 类包含的目标区域像素点个数，M表示超像素的总数；

三、检测阶段

S9.构建模板库生成模型，并使模板库生成模型在当前帧内检测目标区域， 返回检测结果的置信度conf_D，然后根据适应生成模型和模板库生成模型的输出 结果估计目标区域的当前位置：

1)当area_T≥thr_PL且conf_T≥thr_TH时

其中thr_TH、thr_PL分别表示置信度阈值和匹配面积阈值，此时适应生成模型 的跟踪结果具有较高的置信度和匹配面积，适应生成模型正常工作而且适应了目 标区域外观，所以把适应生成模型的输出结果作为目标位置输出；然后按照更新 策略根据area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进 行更新；

2)当area_T＜thr_PL且conf_T≥thr_TH时

此时适应生成模型的跟踪结果的匹配面积较低，但跟踪结果的置信度仍然高 于阈值，所以仍把适应生成模型的输出结果作为目标位置输出；然后按照更新策 略根据area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进行 更新；

3)当area_T≥thr_PL且conf_T＜thr_TH时

此时适应生成模型的跟踪结果具有较低的置信度，但具有较高的匹配面积， 所以仍把适应生成模型的输出结果作为目标位置输出；然后按照更新策略根据 area_T、conf_T对全局分类器GC、局部分类器、适应生成模型的参数进行更新；

4)当area_T＜thr_PL，conf_T≥thr_TH且conf_D≥thr_DH时

thr_DH表示检测结果置信度的阈值，此时适应生成模型的跟踪结果的置信度 和匹配面积都低于预设的阈值，而模板库生成模型检测到一个置信度较高的目标 位置，则把模板库生成模型的检测结果当作目标位置输出，然后对全局分类器 GC、局部分类器、适应生成模型进行重初始化。

上述方案中，模板库生成模型根据一定的策略来确定当前各模型的工作状态 和目标位置并输出，同时反馈到全局分类器GC、局部分类器、适应生成模型中， 并对全局分类器GC、局部分类器、适应生成模型中进行更新，从而使得该方法 可以适应目标区域在跟踪过程中各种外观变化。

实施例2

本发明还提供了一种应用所述协同跟踪算法的系统，如图3所示，其具体方 案如下：

包括跟踪模块、检测模块和位置估计模块，其中所述跟踪模块包括全局判别 模型、局部判别模型和适应性生成模型，所述检测模型包括模板库生成模型，位 置估计模块用于根据适应生成模型和模板库生成模型的输出结果估计目标区域 的当前位置。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非 是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明 的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施 方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进 等，均应包含在本发明权利要求的保护范围之内。