一种基于边缘特征和相关滤波的人物自动跟踪方法

摘要

本发明涉及一种基于边缘特征和相关滤波的人物自动跟踪方法，包括以下步骤：1)获取当前输入帧，并以当前目标位置为中心，提取训练样本；2)提取训练样本的边缘特征和颜色特征，得到对应的特征图，并根据设定规则判断是否需要更新滤波器模板，若是，则执行步骤3)，否则执行步骤4)；3)利用训练样本的特征图对滤波器模板进行迭代更新；4)分别将边缘特征和颜色特征对应的特征图与滤波器模板进行相关运算，预测下一帧的目标位置；5)通过尺度滤波器对目标位置进行尺度预测，得到下一帧的目标框，并返回执行步骤2)，与现有技术相比，本发明具有兼具实时性和准确性等优点。

说明书

技术领域

本发明涉及机器视觉领域，尤其是涉及一种基于边缘特征和相关滤波的人物自动跟踪方法。

背景技术

基于计算机视觉的人物自动跟踪从视觉图像得到人物目标的图像坐标，是实现定位跟随人物功能的基础，采用轻量快速而准确的人物自动跟踪系统对于推动服务机器人的应用具有重要意义。此外，该技术在自动驾驶、智慧城市、智能监控等领域，也有广阔的应用前景。

自动跟踪涉及检测与跟踪的集成，分属于两个独立的研究领域，现有的自动跟踪方法主要有两种：

一是利用数据关联进行匹配的方法：该方法利用数据关联实现跟踪预测框和实际检测到的观测框进行最优匹配；现有的此类方法存在以下问题：该方法是基于检测的，在目标受到遮挡或干扰时易发生跟踪目标切换；每帧都进行目标特征提取作为匹配标准，运算负担大，很难满足实时性的要求。

二是检测与跟踪串联工作的方法：该方法以检测器作为跟踪的初始化及校正，检测器得到对应的坐标位置、分类、置信度，跟踪器根据检测结果进行初始化，后续帧以跟踪器给出的位置为有效结果；在这种方案中，检测器的性能决定跟踪目标的可靠性，跟踪器的性能决定结果的准确性。

检测器多采用机器学习的方法，构建人物检测分类器，用于区分人物目标和背景，其中需要克服的问题有：目标与背景或多目标间的相似干扰，目标发生运动时的光线变化及形变、目标遮挡等。

跟踪器则是一个单目标跟踪问题，按照目标模型可分为：

1)生成式模型方法，该方法依据目标建模进行跟踪，但其未充分利用背景信息，过于依赖特征使得目标本身外观变化对结果影响很大，且需要处理整张图片，实时性差；

2)判别式模型方法，该方法同时考虑目标模型和背景信息，基于手工特征的方法，面对背景干扰及遮挡的情况不够鲁棒，存在目标漂移的问题，而基于深度学习的方法利用深度卷积网络提取目标特征，可以在一定程度上改善目标漂移，但实时性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种兼具实时性和准确性的基于边缘特征和相关滤波的人物自动跟踪方法。

本发明的目的可以通过以下技术方案来实现：

一种基于边缘特征和相关滤波的人物自动跟踪方法，包括以下步骤：

1)获取当前输入帧，并以当前目标位置为中心，提取训练样本；

2)提取训练样本的边缘特征和颜色特征，得到对应的特征图，并根据设定规则判断是否需要更新滤波器模板，若是，则执行步骤3)，否则执行步骤4)；

3)利用训练样本的特征图对滤波器模板进行迭代更新；

4)分别将边缘特征和颜色特征对应的特征图与滤波器模板进行相关运算，预测下一帧的目标位置；

5)通过尺度滤波器对目标位置进行尺度预测，得到下一帧的目标框，并返回执行步骤2)。

进一步地，所述的步骤1)中，当输入图像为初始帧时，所述的目标位置为检测器检测得到的初始目标框，当输入图像为后续帧时，所述的目标位置为步骤5)中得到的目标框。

更进一步地，所述的检测器检测目标框的步骤具体包括：

11)获取第一帧彩色图像；

12)进行灰度化后提取边缘特征；

13)将边缘特征输入分类器，判断输入图像中是否存在人物目标，若是，则执行步骤14)，否则获取下一帧彩色图像，并返回执行步骤12)；

14)分类器输出图像中的所有人物目标；

15)遍历步骤14)中得到的所有检测框，选取最接近画面中央的目标人物，将该目标人物所在的矩形区域作为初始目标框。

进一步地，所述的提取训练样本具体包括：

按照高斯混合模型得到的组分模型生成样本分布，每帧以当前目标位置为中心提取一个训练样本，训练样本大小为目标框大小的5×5倍，在分布中初始化一个新的模型分量，并设置权重以控制每个样本的影响力。

进一步地，所述的步骤2)具体包括：

21)对训练样本在离散域上提取不同分辨率的边缘特征和颜色特征，获得离散特征图的通道数量和总体维度；

22)使用连续卷积算子将边缘特征和颜色特征对应的离散特征图转换到连续的空间域；

23)根据设定规则判断是否需要更新滤波器模板，若是，则执行步骤3)，否则执行步骤4)。

进一步地，所述的步骤4)具体包括：

41)在连续域中对边缘特征和颜色特征进行插值运算；

42)在连续域上将插值后的边缘特征和颜色特征与滤波器模板进行相关运算，得到连续的特征响应图；

43)将特征响应图加权求和；

44)按照最大化网格搜索法和牛顿迭代取得最大响应位置；

45)将最大响应位置作为跟踪器预测的下一帧目标位置。

进一步地，所述的步骤5)中，以响应最大值位置为预测中心位置，采用多尺度搜索策略进行尺度预测，获取目标框的位置与尺度信息，通过fDSST自适应预测尺度算法，得到下一帧的目标框。

更进一步地，所述的设定规则具体包括：

若当前输入帧为初始帧，则判断需要更新滤波器模板；

若达到隔帧更新设定间隔，且满足阈值监督更新机制，则判断需要更新滤波器模板。

进一步地，所述的步骤5)中得到的目标框经过响应峰值分布校验后，用于模型更新，所述的响应峰值分布校验采用标准差作为响应峰值分散程度的衡量，所述的模型更新包括滤波器模型更新、尺度滤波器更新和样本空间更新；

所述的阈值监督更新机制具体包括：

若响应峰值分布校验中的标准差大于设定阈值，则该目标框满足阈值监督更新机制。

进一步地，所述的边缘特征为fHOG特征，所述的颜色特征为多通道颜色特征。

与现有技术相比，本发明具有以下优点：

1)本发明利用检测器对输入图片进行检测，经过训练后的检测器检出人物目标，再以画面中央的人物为初始目标进行跟踪，结合检测器与跟踪器，实现人物目标的自动检出与跟踪，这一过程提取人物的轮廓特征，检测阶段具有较高的准确率，此后应用跟踪算法，节约了运算资源，保证初始目标的有效性；

2)本发明利用基于相关滤波的跟踪算法，在连续域中融合边缘特征与多通道颜色特征，将对运动鲁棒的颜色特征和对光线鲁棒的边缘特征融合，加权求和每个特征层的响应，取最大值作为预测位置，使得特征具有良好的表达能力，能够应对运动变形及光线变化等情况，提高目标跟踪的准确性；

3)在更新滤波器模板的时候，应用响应图分布阈值校验机制校验当前跟踪结果的可靠性，校验可靠才进行更新，这种额外的校验环节，能够应对跟踪框漂移和目标丢失的问题，提高了跟踪方法的鲁棒性，且采用隔帧更新的方法，更新次数的降低使得跟踪速度得到提升；

4)本发明可以自动进行人物跟踪，对人物遮挡、形态变化等情形均具有准确的跟踪定位，且计算轻量，适用于部署在算力受限的硬件平台上。

附图说明

图1为本发明方法的流程图；

图2为本发明方法第一帧和下一帧的处理流程图；

图3为人物检测过程的示意图；

图4为人物跟踪过程的示意图；

图5为本发明人物跟踪效果图，其中，图(5a)为初始帧的人物跟踪效果，图(5b)为第337帧的人物跟踪效果，图(5c)为第532帧的人物跟踪效果，图(5d)为第694帧的人物跟踪效果，图(5e)为第910帧的人物跟踪效果，图(5f)为第1012帧的人物跟踪效果。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1-图4所示，本发明提供一种基于边缘特征和相关滤波的快速人物自动跟踪方法，具体包括以下步骤：

S1、获取初始输入的彩色图像，进行灰度化后提取边缘特征，将边缘特征输入到分类器，得到人物目标候选框。

其中，分类器采用支持向量机，本实施例中采用线性SVM，并使用INRIA数据集进行分类器的训练，训练过程包括数据集裁剪预处理、边缘特征提取、模型训练、难例优化，最终得到分类器模型。

S2、跟踪器在检测出的若干人物目标候选框中，以画面中央的目标框为初始跟踪目标，根据步骤S1的检测结果选出位于画面中央的目标框。

具体为，根据图像滑窗检测的结果，检测到最接近画面中央的人物为目标对象。在线检测的过程中，自系统运行开始，若画面中无人物出现，则一直进行检测过程直至出现目标。分类器的训练及检测流程如图2所示。

S3、以输入图像当前目标位置为中心提取训练样本，训练样本的长宽为目标框尺寸的5×5倍，计算训练样本的边缘特征和多通道颜色特征，并在初始帧和需要更新滤波器模板时，利用特征图训练相应的滤波器模板。

具体为：

当输入图像为初始帧时，其目标位置为步骤S2中检测得到的目标框，当输入图像为后续帧时，其目标位置为步骤S5中预测得到的目标框；

以目标位置为中心，按原目标框尺寸的5×5倍区域提取训练样本，按照高斯混合模型(GMM)得到的组分模型生成样本分布，多组分的设置可以增强样本空间的多样性，用新样本初始化一个模型分量，并设置权重以控制每个样本的影响力；

对训练样本在离散域上提取不同分辨率的边缘特征和CN颜色特征，获得离散特征图的数量和总体维度，并对特征进行连续插值运算，将特征图转换到连续的空间域，其中，边缘特征选用fHOG特征，该特征是基于HOG特征改进而来的，以适应于相关滤波的循环移位处理；

当输入图像为初始帧或者需要更新滤波器模板时，利用样本空间中的所有历史样本得到的多个通道的特征图在连续域上训练对应相关滤波器的系数，得到每个通道对应的滤波器模板，对滤波器模板进行初始化或更新，其中训练过程采用共轭梯度法进行优化，以上一帧得到的目标位置作为迭代优化的初始化，若为初始帧，进行100次迭代，若为后续帧，则进行5次迭代。

S4、分别将边缘特征和颜色特征的特征图与滤波器模板进行相关运算，得到不同的特征响应图，选择加权求和后的响应最大值位置作为预测的目标中心位置。

具体为：在连续域中对边缘特征和多通道颜色特征进行插值计算，与对应的相关滤波器进行相关运算，得到不同特征层的特征响应图输出，对特征响应图进行加权求和后，按照最大化网格搜索法和牛顿迭代取得当前帧的最大响应位置，作为跟踪器预测的目标位置。这里由于边缘特征和多通道颜色特征具有不同的分辨率，使用连续卷积算子将其转换到连续域。

S5、利用尺度滤波器得到目标尺寸的最佳估计，确定最终的目标框，返回步骤S3继续下一帧的跟踪预测，同时引入基于相关响应图分布的阈值监督更新机制，隔帧进行滤波器的迭代更新；

具体为：以响应最大值位置为预测中心位置，在目标位置基础上采用多尺度搜索策略(17个尺度和相对比例因子1.02)进行尺度预测，找到响应值最大的尺度，确定下一帧的最终目标框的位置与尺度信息，以该目标框为下一帧预测的训练样本目标框。

同时经过响应峰值分布校验，隔帧进行模型更新，模型更新包括相关滤波器、尺度滤波器和样本空间，本实施例中，设定每隔5帧进行模型更新，对相关滤波器用共轭梯度方法进行优化迭代，并更新尺度滤波器的参数和样本空间。

响应峰值分布校验中，使用标准差作为响应峰值分散程度的衡量，将峰值集中的响应视作可靠跟踪，设定阈值进行监督更新，在更新前校验跟踪目标的可靠性，以标准差作为衡量响应峰值分布的指标，标准差小于一定阈值的响应模板认为是不可靠的，不进行模型的更新，此时保留上一次跟踪的滤波器模板。

如图5所示，采用本发明方法进行在线人物跟踪的效果图，本发明提供的人物自动跟踪方法，与现有的目标跟踪技术相比，最大的创新点有两点：一是将当前研究中的人物检测与跟踪框架结合起来，实现了对实时视频的人物目标进行自动跟踪，且能达到快速准确的跟踪效果；二是使用了特征融合的方式，将对运动鲁棒的颜色特征和对光线鲁棒的边缘特征融合，加权求和每个特征层的响应，取最大值作为预测位置，具有较强的鲁棒性。这两个创新点使得人物跟踪可以自动进行，对人物遮挡、形态变化等情形均具有准确的跟踪定位，且计算轻量，适用于部署在算力受限的硬件平台上。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。