基于结构化输出相关滤波器的目标跟踪方法

摘要

本发明公开了一种基于结构化输出相关滤波器的目标跟踪方法，主要解决因目标光照变化、遮挡、旋转等导致的跟踪失败问题。本发明实现的步骤如下：(1)对第一帧图像进行预处理；(2)构造结构化输出相关滤波器；(3)求取最优的结构化输出相关滤波器；(4)对当前帧图像进行预处理；(5)确定当前帧图像中待跟踪目标的位置；(6)优化结构化输出相关滤波器；(7)判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则结束，否则，执行步骤(4)。本发明通过构造结构化输出相关滤波器，更好地描述样本中包含的信息，使结构化输出相关滤波器学习到区分度高的特征，能够稳定准确地跟踪目标。

说明书

技术领域

本发明属于图像处理技术领域，更进一步涉及计算机视觉图像处理技术领域中的一种基于结构化输出相关滤波器的目标跟踪方法。本发明采用一种基于结构化输出相关滤波器的方法，实现视频监控、医疗保健、智能交通、机器人导航、人机交互、虚拟现实等领域的运动目标跟踪。

背景技术

目标跟踪的主要任务是估计视频中目标的轨迹，即从视频图像序列中检测出待跟踪的运动目标，进而在每一帧图像中确定出运动目标的位置。目标跟踪最流行的方法之一是检测跟踪，检测跟踪通常根据判别式学习模型，在线学习一个二进制分类器将目标和背景分离。这类方法的目标是设计一个鲁棒的分类器，动态捕捉目标和背景的差异性特征，适应跟踪过程中的视角、光照、姿态等变化。

中国人民解放军国防科学技术大学在其申请的专利文件“一种基于相关滤波的快速稳健视觉跟踪方法”(专利申请号201610943999.2，公开号CN106570893A)中公开了一种基于相关滤波的快速稳健视觉跟踪方法。该方法基于图像局部的时间和空间信息，通过对目标区域进行循环移位来近似模拟采样过程，构建分块循环矩阵并将其变换到频域对所有的采样信息同时进行计算，对下一帧中目标可能出现的位置进行预测和评估。该方法存在的不足之处是，仅对图像中的目标区域进行循环移位构造的相关滤波器对平移中的偏差特别敏感，因此不能很好地推广到其他类型的外观变化，例如照明、视点、尺度、旋转等，从而无法适应实际场景中目标和背景变化时的目标跟踪。

Hamed Kiani Galoogahi等人在其发表的论文“Correlation Filters withLimited Boundaries”(Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2015:4630–4638)中提出的一种基于有限边界相关滤波器的目标跟踪方法。该方法在学习过程中，能够隐式地利用从训练样本中密集提取的所有可能图像块，显著减少了边界效应，从而提高了目标跟踪的准确性。由于有限边界相关滤波器只对样本进行了加工，而未注意到样本与标签的匹配问题，在扩大滤波器尺寸的同时仍采用了传统相关滤波器的平滑高斯函数生成标签，未包含目标的样本块同样被赋予了正标签，因此，该方法存在的不足之处是，有限边界相关滤波器无法学习到区分度高的特征，使得目标跟踪的鲁棒性不高。

发明内容

本发明的目的是针对现有技术的不足，提出一种基于结构化输出相关滤波器的目标跟踪方法，以实现当目标发生遮挡、光照变化、旋转、快速运动时对目标进行准确、有效地跟踪。

实现本发明目的的具体思路是，构造结构化输出相关滤波器，使得样本描述与实际问题相一致，结构化输出相关滤波器可以学习到区分度高的特征，从而实现稳定准确的目标跟踪。

为实现上述目的，本发明的具体步骤如下：

(1)标记待跟踪目标的初始位置：

(1a)读取待跟踪视频图像序列的第一帧图像；

(1b)在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置；

(2)对第一帧图像进行预处理：

对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集；

(3)构造结构化输出相关滤波器：

生成一个行和列全为0、一维向量的维度等于D的结构化输出相关滤波器，其中，D表示第一帧图像中初始位置的待跟踪目标展为一维向量时的维度；

(4)获取结构化输出相关滤波器的期望响应：

(4a)利用训练样本集，产生一个相关滤波器的期望响应函数；

(4b)生成一个行和列全为1、一维向量的维度等于D的标签滤波器，用0扩充标签滤波器的边缘，得到一维向量的维度等于M的已扩标签滤波器，其中，M表示训练样本集中任意一个训练样本展为一维向量时的维度；

(4c)用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应；

(5)计算第一帧图像的互相关谱能量和自相关谱能量；

(6)采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器；

(7)从待跟踪视频图像序列中选取一帧图像，作为当前帧图像；

(8)对当前帧图像进行预处理：

在当前帧图像中，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口，取出与训练样本大小相同的多个矩形框，将所有矩形框作为候选样本；

(9)按照下式，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应：

其中，S_y表示第y个候选样本对应的结构化输出相关滤波器响应，表示傅里叶域的第y个候选样本；

(10)确定当前帧图像中待跟踪目标的位置：

(10a)从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置；

(10b)在当前帧图像中标记出待跟踪目标的位置；

(11)获取当前帧图像的互相关谱能量和自相关谱能量：

(11a)计算当前帧图像的互相关谱能量和自相关谱能量；

(11b)按照更新公式，更新当前帧图像的互相关谱能量和自相关谱能量；

(12)优化结构化输出相关滤波器：

采用交替方向乘子算法，得到当前帧图像的最优的结构化输出相关滤波器；

(13)判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则执行步骤(14)，否则，执行步骤(7)；

(14)结束目标跟踪。

本发明与现有的技术相比具有以下优点：

第一，由于本发明构造结构化输出相关滤波器，从空间域截取候选样本，剔除候选样本中的畸形部分，克服了现有技术中仅对图像中的目标区域进行循环移位构造的相关滤波器，对平移中的偏差特别敏感的缺点，使得本发明对图像中的目标区域平移中的偏差不敏感，能很好地推广到其他类型的外观变化时的目标跟踪，例如光照、遮挡、旋转等场景变化时的目标跟踪。

第二，由于本发明用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应，有效地克服了现有技术中因有限边界相关滤波器无法学习到区分度高的特征导致目标跟踪鲁棒性不高的问题，使得本发明样本描述与实际问题相一致，可以学习到区分度高的特征，从而实现稳定、准确的目标跟踪。

第三，由于本发明在跟踪过程中不断优化结构化输出相关滤波器，克服了现有技术中学习目标与背景之间的差异性特征的能力差的问题，使得本发明在利用相关滤波密集取样优势的同时，显著减少边界效应带来的性能损失，同时保留了传统频域相关滤波器的许多计算优点，可以通过利用大量负示例以较低的内存成本来学习一个有效的结构化输出相关滤波器，能够适应目标和背景的变化，从而更加稳定地实现目标跟踪，跟踪实时性好。

附图说明

图1为本发明的流程图；

图2为本发明在输入的第一帧图像中用矩形框标记出待跟踪目标的示意图；

图3为本发明当目标发生变化时的跟踪结果示意图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，对本发明的具体步骤描述如下。

步骤1，标记待跟踪目标的初始位置。

读取待跟踪视频图像序列的第一帧图像。

在第一帧图像中，用矩形框手工标记出待跟踪目标，将矩形框的位置作为待跟踪目标的初始位置。

步骤2，对第一帧图像进行预处理。

对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集。

所述的对第一帧图像进行随机仿射变换的具体步骤如下：

第一步，用一个1×4的矩阵，对第一帧进行裁剪，得到裁剪后的图像。

第二步，将平移因子取值为0，在(-2,2)的范围内选取一个值作为旋转因子，将比例因子取值为1。

第三步，对三个因子进行运算操作，得到3×2的仿射变换矩阵如下：

其中，O表示3×2的仿射变换矩阵，[·]表示矩阵符号，*表示相乘操作，cos(·)表示求余弦操作，theta表示旋转因子，-表示负号，sin(·)表示求正弦操作。

第四步，用裁剪后的图像与仿射变换矩阵相乘，得到一幅仿射变换后的图像。

第五步，返回执行第二步，重复执行8次，得到8幅仿射变换后的图像。

步骤3，构造结构化输出相关滤波器。

生成一个行和列全为0、一维向量的维度等于D的结构化输出相关滤波器，其中，D表示第一帧图像中初始位置的待跟踪目标展为一维向量时的维度。

步骤4，获取结构化输出相关滤波器的期望响应。

利用训练样本集，产生一个相关滤波器的期望响应函数。

所述的利用训练样本集，产生一个相关滤波器的期望响应函数的具体步骤如下：

第一步，从训练样本集中任选一个训练样本。

第二步，从所选的训练样本中任选一个像素点。

第三步，按照下式，计算所选像素点与位于所选训练样本中心的像素点之间的距离：

q＝(x-x₀)²+(y-y₀)²

其中，d表示所选像素点与位于所选训练样本中心的像素点之间的距离，x表示所选像素点的横坐标，x₀表示位于所选训练样本中心的像素点的纵坐标，y表示位于所选训练样本中心的像素点的横坐标，y₀表示位于所选训练样本中心的像素点的纵坐标。

第四步，按照下式，计算相关滤波器的期望响应值：

其中，g表示相关滤波器的期望响应值，exp表示以自然常数为底的指数操作，-表示负数符号，q表示所选像素点与位于所选训练样本中心的像素点之间的距离，*表示相乘操作，表示开平方操作，r表示训练样本像素点矩阵的行数，c表示训练样本像素点矩阵的列数。

第五步，判断是否选完所选训练样本的所有像素点，若是，则执行第六步，否则，执行第二步。

第六步，以所选训练样本中像素点所在坐标平面建立一个平面坐标系，与平面坐标系的垂直方向组成一个空间立体坐标系。

第七步，将所有随所选训练样本中像素点的坐标变化的相关滤波器期望响应值，按其在所选训练样本中对应的像素点的坐标，排列在第三个坐标轴的正方向上，组成一个二维的相关滤波器期望响应函数。

生成一个行和列全为1、一维向量的维度等于D的标签滤波器，用0扩充标签滤波器的边缘，得到一维向量的维度等于M的已扩标签滤波器，其中，M表示训练样本集中任意一个训练样本展为一维向量时的维度。

用相关滤波器的期望响应函数与已扩标签滤波器相乘，得到结构化输出相关滤波器的期望响应。

步骤5，计算第一帧图像的互相关谱能量和自相关谱能量。

步骤6，采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器。

按照等式约束条件，建立结构化输出相关滤波器的目标函数如下：

其中，E表示结构化输出相关滤波器的目标函数，N表示待输入的训练样本或候选样本的数目，∑表示求和操作，||·||₂表示求二范数操作，表示傅里叶域中结构化输出相关滤波器的期望响应，diag(·)表示对角化操作，表示傅里叶域中待输入的第i个训练样本或候选样本，表示等式约束参数，λ表示取值为10的正则项参数，s.t.表示约束条件符号。

用增强拉格朗日方法处理目标函数中引入的约束条件，得到增强拉格朗日函数：

其中，U表示增强拉格朗日函数，表示傅里叶域的拉格朗日乘子，μ表示控制收敛速率的惩罚因子。

所述交替方向乘子算法的具体步骤如下：

第一步，生成一个行和列全为0、一维向量的维度等于D的拉格朗日乘子，用0扩充拉格朗日乘子的边缘，得到一维向量的维度等于M的拉格朗日乘子，并对拉格朗日乘子进行傅里叶变换，得到傅里叶域的拉格朗日乘子。

第二步，将控制收敛速率的惩罚因子初始值设置为0.01，在[3,5]范围内任意选取一个整数作为最大更新次数。

第三步，按照下式，利用傅里叶域的拉格朗日乘子和控制收敛速率的惩罚因子，更新结构化输出相关滤波器：

其中，h'表示更新后的结构化输出相关滤波器，μ表示更新前的结构化输出相关滤波器的控制收敛速率的惩罚因子，λ表示取值为10的正则项参数，P表示指定扩充尺寸的D×M维的掩蔽矩阵，F表示由复数基向量组成的M×M维的规范正交矩阵，T表示转置操作，A_j表示当前帧图像的互相关谱能量，h表示更新前的结构化输出相关滤波器，表示更新前的傅里叶域的拉格朗日乘子，B_j表示第一帧的自相关谱能量，W表示一个由元素1组成的M维向量。

第四步，按照下式，利用更新后的结构化输出相关滤波器和更新前的控制收敛速率的惩罚因子，更新傅里叶域的拉格朗日乘子：

其中，表示更新后的拉格朗日乘子。

第五步，按照下式，利用控制收敛速率的惩罚因子的最大值和更新率，更新控制收敛速率的惩罚因子：

μ'＝min(μ_m，βμ)

其中，μ'表示更新后的结构化输出相关滤波器的控制收敛速率的惩罚因子，min(·)表示求最小值操作，μ_max表示取值为20的控制收敛速率的惩罚因子的最大值，β表示取值为1.1的更新率。

第六步，判断当前更新次数是否等于最大更新次数，若是，则得到最优的结构化输出相关滤波器，否则，执行第三步。

步骤7，从待跟踪视频图像序列中选取一帧图像，作为当前帧图像。

步骤8，对当前帧图像进行预处理。

在当前帧图像中，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口，取出与训练样本大小相同的多个矩形框，将所有矩形框作为候选样本。

步骤9，按照下式，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应：

其中，S_y表示第y个候选样本对应的结构化输出相关滤波器响应，表示傅里叶域的第y个候选样本。

步骤10，确定当前帧图像中待跟踪目标的位置。

从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置。

在当前帧图像中标记出待跟踪目标的位置。

步骤11，获取当前帧图像的互相关谱能量和自相关谱能量。

计算当前帧图像的互相关谱能量和自相关谱能量。

所述图像的互相关谱能量和自相关谱能量是由下式计算得到的：

其中，A_j表示图像的互相关谱能量，N表示训练样本或候选样本的数目，l表示结构化输出滤波器的期望响应，^表示傅里叶变换操作，·表示两个矩阵对应元素相乘操作，x_i表示第i个训练样本或候选样本，*表示共轭操作，B_j表示图像的自相关谱能。

按照更新公式，更新当前帧图像的互相关谱能量和自相关谱能量。

所述更新公式如下：

A_j'＝ηA_j+(1-η)A_j-1

B_j'＝ηB_j+(1-η)B_j-1

其中，A_j'表示更新后的当前帧图像的互相关谱能量，η表示取值为0.025的学习率，A_j表示更新前的当前帧图像的互相关谱能量，A_j-1表示上一帧图像的互相关谱能量，B_j'表示更新后的当前帧图像的自相关谱能量，B_j表示更新前的当前帧图像的自相关谱能量，B_j-1表示上一帧图像的自相关谱能量。

步骤12，优化结构化输出相关滤波器。

采用交替方向乘子算法，得到最优的结构化输出相关滤波器。

按照等式约束条件，建立结构化输出相关滤波器的目标函数如下：

其中，E表示结构化输出相关滤波器的目标函数，N表示待输入的训练样本或候选样本的数目，∑表示求和操作，||·||₂表示求二范数操作，表示傅里叶域中结构化输出相关滤波器的期望响应，diag(·)表示对角化操作，表示傅里叶域中待输入的第i个训练样本或候选样本，表示等式约束参数，λ表示取值为10的正则项参数，s.t.表示约束条件符号。

用增强拉格朗日方法处理目标函数中引入的约束条件，得到增强拉格朗日函数：

其中，U表示增强拉格朗日函数，表示傅里叶域的拉格朗日乘子，μ表示控制收敛速率的惩罚因子。

所述交替方向乘子算法的具体步骤如下：

第一步，生成一个行和列全为0、一维向量的维度等于D的拉格朗日乘子，用0扩充拉格朗日乘子的边缘，得到一维向量的维度等于M的拉格朗日乘子，并对拉格朗日乘子进行傅里叶变换，得到傅里叶域的拉格朗日乘子。

第二步，将控制收敛速率的惩罚因子初始值设置为0.01，在[3,5]范围内任意选取一个整数作为最大更新次数。

第三步，按照下式，利用傅里叶域的拉格朗日乘子和控制收敛速率的惩罚因子，更新结构化输出相关滤波器：

其中，h'表示更新后的结构化输出相关滤波器，μ表示更新前的结构化输出相关滤波器的控制收敛速率的惩罚因子，λ表示取值为10的正则项参数，P表示指定扩充尺寸的D×M维的掩蔽矩阵，F表示由复数基向量组成的M×M维的规范正交矩阵，T表示转置操作，A_j表示当前帧图像的互相关谱能量，h表示更新前的结构化输出相关滤波器，表示更新前的傅里叶域的拉格朗日乘子，B_j表示第一帧的自相关谱能量，W表示一个由元素1组成的M维向量。

第四步，按照下式，利用更新后的结构化输出相关滤波器和更新前的控制收敛速率的惩罚因子，更新傅里叶域的拉格朗日乘子：

其中，表示更新后的拉格朗日乘子。

第五步，按照下式，利用控制收敛速率的惩罚因子的最大值和更新率，更新控制收敛速率的惩罚因子：

μ'＝min(μ_m，βμ)

其中，μ'表示更新后的结构化输出相关滤波器的控制收敛速率的惩罚因子，min(·)表示求最小值操作，μ_max表示取值为20的控制收敛速率的惩罚因子的最大值，β表示取值为1.1的更新率。

第六步，判断当前更新次数是否等于最大更新次数，若是，则得到最优的结构化输出相关滤波器，否则，执行第三步。

步骤13，判断是否选取完待跟踪视频图像序列中的所有帧图像，若是，则执行步骤14，否则，执行步骤7。

步骤14，结束目标跟踪。

下面通过本发明的仿真实验对本发明的效果做进一步说明。

1.仿真实验条件：

本发明的仿真实验的硬件平台是：处理器为CPU Intel Core^TM>

2.仿真实验内容：

将视觉跟踪基准库OTB-100中Coke的视频图像序列作为本发明仿真实验中的待跟踪视频图像序列，从待跟踪视频图像序列中选取五帧图像，分别是第一帧图像和当目标发生变化时的四帧图像，输入所选的五帧图像，进行五个输入不同的仿真实验。

仿真实验1：载入待跟踪视频图像序列中的第一帧图像，在输入的第一帧图像中用矩形框标记出待跟踪目标，如图2所示。待跟踪目标是一个可口可乐的Coke瓶。图2中矩形框的位置表示待跟踪视频图像序列中待跟踪目标的初始位置，对第一帧图像进行随机仿射变换，将得到的8幅仿射变换后的图像组成一个训练样本集，构造结构化输出相关滤波器，获取结构化输出相关滤波器的期望响应，计算第一帧图像的互相关谱能量和自相关谱能量，采用交替方向乘子算法，得到第一帧图像的最优的结构化输出相关滤波器，为下一帧图像处理做准备。

仿真实验2：载入待跟踪视频图像序列中一帧视频图像，该图像中目标有部分遮挡，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口。在该图像中获取多个候选样本，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应，从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置，当输入的一帧视频图像中的目标发生部分遮挡时的跟踪结果如图3(a)所示。图3(a)中矩形框的位置表示待跟踪视频图像序列中目标发生部分遮挡时的一帧视频图像中待跟踪目标的位置，获取当前帧图像的互相关谱能量和自相关谱能量，优化结构化输出相关滤波器，为下一帧图像处理做准备。

仿真实验3：载入待跟踪视频图像序列中一帧视频图像，该图像中目标的光照发生变化，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口。在该图像中获取多个候选样本，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应，从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置，当输入的一帧视频图像中的目标的光照发生变化时的跟踪结果如图3(b)所示。图3(b)中矩形框的位置表示待跟踪视频图像序列中目标的光照发生变化时的一帧视频图像中待跟踪目标的位置，获取当前帧图像的互相关谱能量和自相关谱能量，优化结构化输出相关滤波器，为下一帧图像处理做准备。

仿真实验4：载入待跟踪视频图像序列中一帧视频图像，该图像中目标发生了旋转，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口。在该图像中获取多个候选样本，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应，从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置，当输入的一帧视频图像中的目标发生旋转时的跟踪结果如图3(c)所示。图3(c)中矩形框的位置表示待跟踪视频图像序列中目标发生旋转时的一帧视频图像中待跟踪目标的位置，获取当前帧图像的互相关谱能量和自相关谱能量，优化结构化输出相关滤波器，为下一帧图像处理做准备。

仿真实验5：载入待跟踪视频图像序列中一帧视频图像，该图像中目标发生了快速运动，以上一帧图像中待跟踪目标的位置及其8邻域作为测试窗口。在该图像中获取多个候选样本，从空间域截取候选样本，剔除候选样本中的畸形部分，得到结构化输出相关滤波器的响应，从多个候选样本中，选出结构化输出相关滤波器响应最大的候选样本，将其对应的位置作为当前帧图像中待跟踪目标的位置，当输入的一帧视频图像中的目标发生快速运动时的跟踪结果如图3(d)所示。图3(d)中矩形框的位置表示待跟踪视频图像序列中目标发生快速运动时的一帧视频图像中待跟踪目标的位置，获取当前帧图像的互相关谱能量和自相关谱能量，优化结构化输出相关滤波器，为下一帧图像处理做准备。

3.仿真结果分析：

在图2中，矩形框的位置表示待跟踪视频图像序列中待跟踪目标的初始位置；在图3中，矩形框的位置表示本发明跟踪到的待跟踪视频图像序列中待跟踪目标的位置。由图3可以看出，矩形框准确地框定了目标，说明本发明能够在图像中的目标发生遮挡、光照变化、旋转、快速运动的情况下，准确、有效地进行目标跟踪。