一种基于圆投影匹配算法的TLD目标跟踪方法

摘要

本发明涉及一种基于圆投影匹配算法的TLD目标跟踪方法，包括：跟踪模块、检测模块、学习模块，该方法包括如下步骤：从第一帧图像中初始化选取目标区域，获取目标区域信息；所述跟踪模块依据上一帧图像中目标区域信息预测确定目标跟踪结果；所述检测模块对所述当前帧图像进行全局遍历得到待选目标；所述检测模块采用圆投影匹配算法对所述待选目标进行筛选形成目标检测结果；根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域；将所述目标跟踪区域输入至所述学习模块进行学习。本发明能够大幅度提高TLD目标跟踪算法的抗旋转性，且该方法计算量相对较小，算法简单，进一步提高了TLD算法的实时性。

说明书

技术领域

本发明属于目标跟踪技术领域，具体涉及一种基于圆投影匹配算法的TLD目标跟踪方法。

背景技术

目标跟踪在军事和民用领域中都有广泛的应用。而随着现代航空航天技术的飞速发展，各种航行速度和机动性能越来越高，对目标跟踪也提出越来越高的要求。目标跟踪是把自动控制、图像处理、信息科学有机结合起来，形成了一种能从图像信号中实时地自动识别目标、提取和预测目标位置信息，自动跟踪目标运动技术。

作为一种基于在线学习检测的单目标跟踪算法，TLD(Tracking-Learning-Detection，简称TLD)跟踪算法由于其良好的跟踪性能，受到了广泛的关注。该算法主要由跟踪模块、检测模块、学习模块三个部分组成。跟踪模块采用中值光流法预测出目标在当前帧中的位置；检测模块使用了三层级联分类器，方差分类器、随机蕨分类器、最近邻分类器，检测出目标在当前帧中的位置；学习模块利用P-N在线学习的方法，不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。TLD算法较好的解决了被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。例如专利申请号为201610530203.0的一种基于TLD算法的目标跟踪方法。

TLD算法在对单目标进行长时间跟踪时展现出了良好的跟踪性能，但是当被跟踪目标出现较大角度旋转时，TLD算法很容易造成跟踪目标丢失。这是因为传统的最近邻分类器采用归一化互相关匹配法(Normalized Cross Correlation，NCC)进行图像匹配，这在目标的旋转角度极其小(不大于5度)时，跟踪效果不错。但是当目标发生大角度旋转时，很容易造成目标丢失。并且传统的TLD跟踪算法检测模块的三层分类器计算复杂，实时性差，其中随机蕨分类器耗时尤为严重，影响工程实践的效果。

因此，提高TLD目标跟踪算法的抗旋转性仍然是一个极富挑战性的课题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于圆投影匹配算法的TLD目标跟踪方法，包括：跟踪模块、检测模块、学习模块，包括：

(a)从第一帧图像中初始化选取目标区域，获取目标区域信息；

(b)所述跟踪模块依据上一帧图像中目标区域信息预测确定目标跟踪结果；

(c)所述检测模块对所述当前帧图像进行全局遍历得到待选目标；

(d)所述检测模块采用圆投影匹配算法对所述待选目标进行筛选形成目标检测结果；

(e)根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域；

(f)将所述目标跟踪区域输入至所述学习模块进行学习。

在本发明的一个实施例中，所述步骤(a)包括：

在视频或者图片序列的起始帧，手动确定一个包含目标的矩形并得到所述矩形的初始坐标和宽高信息作为初始化的目标区域。

在本发明的一个实施例中，所述步骤(b)采用中值光流法。

在本发明的一个实施例中，所述步骤(d)包括：

(d1)所述方差分类器对至少一个所述待选目标进行处理得到待匹配目标；

(d2)所述最近邻分类器采用圆投影匹配算法对所述待匹配目标进行筛选得到目标检测结果。

在本发明的一个实施例中，所述步骤(d1)包括：

所述方差分类器计算所述待选目标的方差，若所述待选目标的方差大于方差阈值，则保留所述待选目标，否则放弃所述待选目标，输出所有保留的所述待选目标为待匹配目标。

在本发明的一个实施例中，所述步骤(d2)包括：

(d21)获得所述待匹配目标和所述最近邻分类器中样本图的圆形模板半径查找表；

(d22)计算所述待匹配目标和所述样本图的圆投影向量相似度；

(d23)若所述相似度大于阈值则保留所述待匹配目标，否则放弃所述待匹配目标；

(d24)输出所有保留的所述待匹配目标为目标检测结果。

在本发明的一个实施例中，所述步骤(d22)包括：

(d221)将所述圆形模板上像素的灰度值求和后再取均值；

(d222)将所述均值与权重因子作用获得一维的具有旋转不变性的所述圆投影向量。

在本发明的一个实施例中，计算所述待匹配目标和所述样本图的圆投影向量相似度S(x,y)采用如下公式：

其中，所述C_g(r)表示所述样本图的圆投影向量，C_f(r)表示所述待匹配目标的圆投影向量，，表示所述样本图圆投影向量的平均值，表示所述待选目标圆投影向量的平均值，R表示所述圆形模板的最大半径。

在本发明的一个实施例中，所述圆投影向量相似度的值域为[-1,1]。

在本发明的一个实施例中，对所述当前帧图像进行全局遍历采用滑窗方式。

本发明实施例一种基于圆投影匹配算法的TLD目标跟踪方法，当被跟踪目标有较大角度旋转时，使得含有旋转目标的待选扫描框也能通过最近邻分类器，进而大幅度提高TLD目标跟踪算法的抗旋转性。且该方法计算量相对较小，算法简单，进一步提高了TLD算法的实时性。

附图说明

图1为本发明实施例提供的一种基于圆投影匹配算法的TLD目标跟踪方法的流程示意图；

图2为本发明实施例提供的一种圆投影匹配算法的工作原理示意图；

图3为本发明实施例提供的一种圆投影匹配算法的圆形模板半径查找表示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种基于圆投影匹配算法的TLD目标跟踪方法的流程示意图；其中，所述目标跟踪方法包括：跟踪模块、检测模块、学习模块，该方法包括：

(a)从第一帧图像中初始化选取目标区域，获取目标区域信息；

(b)所述跟踪模块依据上一帧图像中目标区域信息预测确定目标跟踪结果；

(c)所述检测模块对所述当前帧图像进行全局遍历得到待选目标；

(d)所述检测模块采用圆投影匹配算法对所述待选目标进行筛选形成目标检测结果；

(e)根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域；

(f)将所述目标跟踪区域输入至所述学习模块进行学习。

进一步地，从第一帧图像中初始化选取目标区域，所述步骤(a)包括:

在视频或者图片序列的起始帧，手动确定一个包含目标的矩形并得到所述矩形的初始坐标和宽高信息作为初始化的目标区域。

优选地，所述步骤(b)采用中值光流法。

进一步地，所述步骤(d)包括：

(d1)所述方差分类器对至少一个所述待选目标进行处理得到待匹配目标；

(d2)所述最近邻分类器采用圆投影匹配算法对所述待匹配目标进行筛选得到目标检测结果。

进一步地，所述步骤(d1)包括：

所述方差分类器计算所述待选目标的方差，若所述待选目标的方差大于方差阈值，则保留所述待选目标，否则放弃所述待选目标，输出所有保留的所述待选目标为待匹配目标。

进一步地，所述步骤(d2)包括：

(d21)获得所述待匹配目标和所述最近邻分类器中样本图的圆形模板半径查找表；

(d22)计算所述待匹配目标和所述样本图的圆投影向量相似度；

(d23)若所述相似度大于阈值则保留所述待匹配目标，否则放弃所述待匹配目标；

(d24)输出所有保留的所述待匹配目标为目标检测结果。

进一步地，所述步骤(d22)包括：

(d221)将所述圆形模板上像素的灰度值求和后再取均值；

(d222)将所述均值与权重因子作用获得一维的具有旋转不变性的所述圆投影向量。

其中，计算所述圆投影向量相似度S(x,y)采用如下公式：

其中，所述C_g(r)表示所述样本图的圆投影向量，C_f(r)表示所述待匹配目标的圆投影向量，，表示所述样本图圆投影向量的平均值，表示所述待选目标圆投影向量的平均值，R表示所述圆形模板的最大半径。

其中，所述圆投影向量相似度的值域为[-1,1]。

优选地，对所述当前帧图像进行全局遍历采用滑窗方式。

本发明实施例一种基于圆投影匹配算法的TLD目标跟踪方法，去掉随机蕨分类器，检测模块只用方差分类器和最近邻分类器，当被跟踪目标有较大角度旋转时，使得含有旋转目标的待选扫描框也能通过最近邻分类器，进而大幅度提高TLD目标跟踪算法的抗旋转性。且该方法计算量相对较小，算法简单，进一步提高了TLD算法的实时性。

实施例二

请参见图2，图2为本发明实施例提供的一种圆投影匹配算法的工作原理示意图；本实施例在上述实施例的基础上，结合TLD算法的工作流程，给出一种基于圆投影匹配算法的TLD目标跟踪方法，重点对检测模块的改进进行说明。检测模块主要进行了如下改进：去除随机蕨分类器，针对TLD检测模块的最近邻分类器匹配算法进行改进。

本实施例圆投影匹配算法的TLD目标跟踪方法工作流程具体如下：

S01：选取起始帧中目标的位置和大小；在视频(或图片序列)的起始帧，通过鼠标手动确定一个包含目标的矩形，得到所需跟踪的目标位置和大小，即记录目标坐标和宽高；

S02：跟踪模块依据上一帧图像中目标区域信息预测确定目标跟踪结果；

S03：所述检测模块采用滑窗模式对所述当前帧图像进行全局遍历以得到待选目标；

S04：采用检测模块的方差分类器、最近邻分类器对至少一个待选目标进行处理形成目标检测结果；

S041：将最近邻分类器中的样本图和待选目标归一化为15*15大小；

S042：采用方差分类器计算待选目标的方差，若待选目标的方差大于方差阈值，则保留待选目标，否则放弃待选目标，输出所有保留的待选目标为待匹配目标；

S043：分别以待匹配目标和样本图图像中心(8，8)为圆心，各个像素点距离图像中心的距离为半径，插入待匹配目标和样本图中，形成待匹配目标圆形模板半径查找表和样本图的圆形模板半径查找表。例如，请参见图3，图3为本发明实施例提供的一种圆投影匹配算法的圆形模板半径查找表示意图，该示意图中圆形模板半径查找表为5*5，每一个像素块都是单位像素块。

S044：计算待选目标和样本图的圆投影向量相似度；

将半径为r的圆形模板上像素的灰度值求和后再取均值，然后与权重因子作用，就得到了一维的具有旋转不变性的圆投影向量，获得待选目标圆投影向量和样本图圆投影向量。设样本图和待选目标的一维圆投影向量分别为C_wg(r)和C_wf(r)，按照如下的计算公式：

其中，r＝0,1,2,…,R，R表示最大半径，W(r)表示表示权重系数。按照如下公式计算相似度S(x,y)：

其中，所述C_g(r)表示所述样本图的圆投影向量，C_f(r)表示所述待匹配目标的圆投影向量，表示所述样本图圆投影向量的平均值，表示所述待选目标圆投影向量的平均值，R表示所述圆形模板的最大半径。

所述相似度S(x,y)的值域为[-1,1]，值越大说明该待匹配目标含有跟踪目标的可能性越大；

S045：若相似度大于阈值就认为待选目标包含跟踪目标并且保留该待选目标，否则放弃该待选目标；

S046：输出所有保留的待选目标为目标检测结果；

S05：根据所述目标跟踪结果与所述目标检测结果确定目标跟踪区域；

S06：将所述目标跟踪区域输入至所述学习模块进行学习。

本发明实施例中TLD跟踪算法的检测模块为方差分类器和最近邻分类器的级联，即待匹配目标先经过方差分类器筛选出一部分图像，将筛选出的图像送入最近邻分类器，通过圆投影匹配算法来进行最终的筛选，最终通过这两层级联分类器的待匹配目标像便被分类到正样本集中。

利用这种圆投影算法改进TLD中最近邻分类器的NCC匹配算法，当被跟踪目标有较大角度旋转时，使得含有旋转目标的待选扫描框也能通过最近邻分类器，进而大幅度提高TLD目标跟踪算法的抗旋转性。同时，圆投影匹配算法与NCC匹配算法相比，计算量相对较小，这也在一定程度上提高了TLD跟踪算法的实时性，有利于TLD跟踪算法的工程实践。同时圆投影匹配算法替代去除的随机蕨分类器对样本图和待匹配目标之间存在灰度、噪声、光照和对比度的适应性进行处理。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。