一种基于特征聚合的多目标跟踪算法

摘要

本发明公开了一种基于特征聚合的多目标跟踪算法，采用目标检测算法对待检测目标进行检测，得到检测框内的目标图像及检测框数据集合；将检测框内的目标图像输入重识别网络，利用重识别网络提取检测目标的外观特征，得到外观特征数据集合；利用卡尔曼滤波算法预测跟踪轨迹；利用关联算法对检测目标和跟踪轨迹进行匹配；利用卡尔曼滤波更新匹配成功的跟踪轨迹；本发明的多目标跟踪算法可以准确提取检测目标的外观特征，减少跟踪过程中身份识别混乱现象。同时利用两阶段数据关联匹配机制可有效抑制目标遮挡和突然形变导致的匹配失效。

说明书

技术领域

本发明属于计算机视觉领域，尤其是一种基于特征聚合的多目标跟踪算法。

背景技术

多目标跟踪技术在视频监控、工业生产、智能交通、军事等领域得到了广泛的应用，同时也是当今计算机视觉领域内研究的热点。

利用“检测跟踪”策略实现目标轨迹跟踪是当前技术研究的主流做法。在这种做法中，用目标检测器对每帧图像中的目标进行检测，获取目标的数目和状态参数，然后，利用嵌入的重识别模块对检测到的目标提取的外观信息，结合目标的运动特征信息对相邻帧中检测目标进行关联，实现目标的匹配和跟踪。

“检测跟踪”策略下的多目标跟踪算法，面临着诸多挑战。在复杂场景下同类目标之间外观过于相似，或者目标与障碍物、目标与目标之间的遮挡，这都会造成重识别网络提取的特征不准确以及数据关联失败，进而造成目标身份标号的错乱。

发明内容

为了解决现有技术中存在的不足，本申请提出了一种基于特征聚合的多目标跟踪算法，可以准确提取检测目标的外观特征，减少跟踪过程中身份识别混乱现象。

本发明所采用的技术方案如下：

一种基于特征聚合的多目标跟踪算法，包括如下步骤：

步骤1、采用目标检测算法对待检测目标进行检测，得到检测框内的目标图像及检测框数据集合

步骤2、将检测框内的目标图像输入重识别网络，利用重识别网络提取检测目标的外观特征，得到外观特征数据集合为f

步骤3、利用卡尔曼滤波算法预测跟踪轨迹；

步骤4、基于步骤1中得到的检测目标的检测框数据集D

步骤5、利用卡尔曼滤波更新步骤4中匹配成功的跟踪轨迹。

进一步，所述重识别网络是由2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层组成；目标图像依次经过2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层的处理得到外观特征数据集合。

进一步，所述特征聚合模块是由1个3×3的卷积层、1个dropout层、1个3×3的卷积层、1个1×1的卷积层构成；输入特征聚合模块的输入特征图依次经过3×3的卷积层、dropout层和3×3的卷积层的处理，分别输出相应的第一特征图、第二特征图和第三特征图；对第一特征图、第二特征图和第三特征图进行聚合得到总特征图，将总特征图输入1×1的卷积层进行计算得到输出特征图；将输出特征图与输入特征图进行加法运算得到聚合特征图。

进一步，步骤3中根据下式预测跟踪轨迹的运动状态：

其中，

进一步，步骤4中对检测目标和跟踪轨迹进行匹配包括两个阶段，第一匹配阶段是根据检测目标和跟踪轨迹之间的加权相似度进行匹配；第二匹配阶段是根据第一匹配阶段中关联失败的检测目标和关联失败的跟踪轨迹之间的形状相似度进行匹配。

进一步，第一匹配阶段的处理过程为：

步骤4.1.1、计算第i个检测目标的检测框数据

步骤4.1.2、计算第i个检测目标的检测框数据

步骤4.1.3、基于外观相似性d

步骤4.1.4、利用匈牙利算法对加权相似度矩阵进行处理，得到检测目标和跟踪轨迹之间的关联矩阵A

步骤4.1.5、基于步骤4.1.4中匹配对的加权相似度c(i,j)再次进行筛选，若匹配对的加权相似度c(i,j)小于阈值w，则认为匹配对在第一阶段关联失败，反之，匹配对在第一阶段关联成功；第一阶段关联成功的检测目标记为

进一步，第二匹配阶段的处理过程为：

步骤4.2.1、计算第一阶段关联失败的第i个检测目标D

步骤4.2.2、对形状相似度矩阵再次利用匈牙利算法进行匹配，得到关联失败的检测目标D

步骤4.2.3、在关联成功的匹配对中，将检测目标与跟踪轨迹的形状相似度IOU(i,j)值小于阈值r的匹配对归为第二阶段关联失败，反之认为第二阶段关联成功；

步骤4.2.4、将第二阶段关联失败的检测目标D

而第二阶段关联失败的跟踪轨迹X

进一步，步骤5中，根据下式更新步骤4中关联成功的跟踪轨迹：

其中，

本发明的有益效果：

1、本发明通过采用重识别网络从目标图像中提取特征，以特征聚合模块为基础的重识别网络可以充分利用每层网络提取的目标图像特征，增强不同目标外观的辨识能力，减少复杂场景下具有相似外观的目标引起的身份识别混乱问题，

2、本发明通过利用两阶段关联算法实现检测目标与跟踪轨迹的数据关联，抑制目标遮挡和突然形变导致的匹配失效。

附图说明

图1为本发明流程图；

图2为重识别网络结构示意图；

图3为本发明重识别网络中的特征聚合结构示意图；

图4为本发明步骤4中匹配处理的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示的一种基于特征聚合的多目标跟踪算法，包括如下步骤：

步骤1、采用目标检测算法(具体采用yolov3目标检测算法)对待检测目标进行检测，得到检测框内的目标图像及检测框数据集合

步骤2、将检测框内的目标图像输入重识别网络，利用重识别网络提取检测目标的外观特征，得到外观特征数据集合为f

本申请中的重识别网络如图2所示，重识别网络是由2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层组成；检测框内的目标图像依次经过2个卷积层、1个最大值池化层、6个特征聚合模块和1个线性全连接层的处理得到外观特征数据集合；将最大值池化层的输出作为第一个特征聚合模块的输入，将特征聚合模块输出的聚合特征图作为下一层特征聚合模块的输入特征图，最终由线性全连接层对最后一层特征聚合模块输出的聚合特征图进行连接。

每一个特征聚合模块是由1个3×3的卷积层、1个dropout层、1个3×3的卷积层、1个1×1的卷积层构成；当前输入特征聚合模块的输入特征图依次经过3×3的卷积层、dropout层和3×3的卷积层的处理，分别输出相应的第一特征图、第二特征图和第三特征图；对所输出的第一特征图、第二特征图和第三特征图进行聚合(使用concatenate函数进行聚合)得到总特征图，将总特征图输入1×1的卷积层进行计算得到输出特征图；将输出特征图与输入特征图进行加法运算得到聚合特征图。

步骤3、利用卡尔曼滤波算法预测跟踪轨迹。

假设检测目标在连续帧中服从匀速运动模型，且在t-1时刻跟踪轨迹的集合为

预测第i个跟踪轨迹的状态：

式中，

Q为过程噪声协方差矩阵，表示为：

Q＝diag[2.5×10

步骤4、基于步骤1中得到的检测目标的检测框数据集D

步骤4.1、如图4所示，对检测目标和跟踪轨迹进行第一匹配阶段关联的步骤如下：

步骤4.1.1、计算第i个检测目标的检测框数据

其中，

步骤4.1.2、计算第i个检测目标的检测框数据

步骤4.1.3、基于外观相似性d

c(i,j)＝(1-λ)d

同理，计算所有检测目标与所有跟踪轨迹之间的加权相似度c(i,j)，并由所有的加权相似度组成加权相似度矩阵；在本实施例中，权重系数λ取值为0.1。

步骤4.1.4、利用匈牙利算法对加权相似度矩阵进行处理，得到检测目标和跟踪轨迹之间的关联矩阵A

步骤4.1.5、基于关联成功的匹配对(即检测目标和跟踪轨迹)的加权相似度c(i,j)再次进行筛选。具体地，步骤4.1.4中关联成功的匹配对中，若匹配对的加权相似度c(i,j)小于阈值w，则认为匹配对在第一阶段关联失败，在本实施例中w取值为0.8。反之，匹配对在第一阶段关联成功。

此时，第一阶段关联成功的检测目标记为

步骤4.2、对步骤3中第一阶段关联失败的检测目标D

步骤4.2.1、计算第一阶段关联失败的第i个检测目标D

计算第一阶段中所有关联失败的检测目标D

步骤4.2.2、对形状相似度矩阵再次利用匈牙利算法进行匹配，得到关联失败的检测目标D

步骤4.2.3、在步骤4.2.2中关联成功的匹配对中，将检测目标与跟踪轨迹的形状相似度IOU(i,j)值小于阈值r的匹配对归为第二阶段关联失败，反之认为第二阶段关联成功；在本实施例中，r取值为0.8。

步骤4.2.4、将步骤4.2.3中被判定为第二阶段关联失败的检测目标D

而第二阶段关联失败的跟踪轨迹X

步骤5、利用卡尔曼滤波更新步骤4中关联成功的跟踪轨迹；具体实现包括：

利用卡尔曼滤波更新关联成功的跟踪轨迹的运动状态，第i个跟踪轨迹的更新方程如下：

式中，

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。