基于多周期循环一致性的自监督目标跟踪方法

摘要

本发明提供了一种基于多周期循环一致性的自监督目标跟踪方法，主要解决现有目标跟踪技术中带有标签的训练样本不足，导致训练得到的特征提取网络模型表示能力不足的问题。包括：1)对初始化目标区域提取特征，并训练相关滤波层参数；2)在无标注的图像中，利用参数通过孪生网络对无标注数据生成目标的伪标签；2)采用基于前后向跟踪的多周期循环一致性损失对生成的伪标签进行优化；3)通过优化后的带有伪标签的数据确定最终的卷积神经网络的参数；4)通过最终的卷积神经网络提取特征、孪生网络进行追踪，完成目标跟踪任务。本发明能够在保证模型表征能力的同时降低模型训练对标注数据的需求，有效提升目标跟踪的精确度和鲁棒性。

说明书

技术领域

本发明属于目标跟踪技术领域，进一步涉及目标定位、数据标注及自监督学习，具体为一种基于多周期循环一致性的自监督目标跟踪方法，可用于无人机的目标跟踪识别。

背景技术

目标跟踪在计算机视觉领域中发挥着重要的作用；其在导弹制导、视频监控、无人驾驶等领域有着广泛的应用。近年来，目标跟踪方法得益于深度卷积神经网络展示出了惊人的跟踪性能，但是该网络需要大量人工标注的训练数据来进行模型训练。由于带有标签的训练数据数量非常有限，使得该类基于深度卷积神经网络的目标跟踪方法的性能受到了限制。

基于深度学习的跟踪方法过于依赖带有标签的训练数据的规模。跟踪方法中的深度卷积神经网络的训练离不开带有标签的训练样本。通常来说，带有标签的训练样本的质量和数量会直接影响到训练的卷积神经网络的表示能力。带有标签的训练样本的质量越好、数量越多，采用这些样本训练的卷积神经网络的表示能力也会相对越强。虽然当前可以很轻松的从网络上获取海量的无标签的样本数据，但是现有带标签的数据数量相对有限，并且进行大规模数据的标注也是费时且昂贵。所以如何利用海量的无标签数据来训练网络并使网络保持良好的表示能力是一个十分重要的问题。

Bhat G,Danelljan M,Gool L V,et al.Learning discriminative modelprediction for tracking[C]//Proceedings of the IEEE International Conferenceon Computer Vision.Seoul,Korea:IEEE,2019:6182–6191.中提出了一种基于判别学习损失的跟踪算法，其利用目标和背景信息进行目标模型预测，在一定程度上提高跟踪器的跟踪精度，但由于置信度评分缺乏明确的概率解释，Danelljan M,Gool L V,TimofteR.Probabilistic regression for visual tracking[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.Seattle,WA,USA,USA:IEEE,2020:7183–7192.为跟踪任务提供了概率回归公式作为理论支持，虽然达到了不错的跟踪性能，但它们高度依赖于带标签的训练数据进行特征提取网络模型的训练；由于带有标签的训练数据不足，使得这类跟踪方法仍然不能满足实际任务的需求。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种基于多周期循环一致性的自监督目标跟踪方法，用于解决现有目标跟踪技术中带有标签的训练样本不足，导致训练得到的特征提取网络模型的表示能力不足的问题。

实现本发明的基本思路是：首先通过基于孪生网络结构的跟踪框架进行前后向跟踪为无标注数据生成相应的伪标签，然后通过多周期循环一致性损失对特征提取网络模型进行优化，最后通过优化后的特征提取网络进行跟踪任务中的目标特征提取。本发明能够有效的提升特征提取网络模型对目标的表达能力，从而提升跟踪器的精度和鲁棒性。

本发明实现上述目的具体步骤如下：

(1)对无标注数据生成目标伪标签：

利用基于孪生网络的跟踪器计算无标注数据图像中的搜索区域和第一帧目标模板之间的相似性，得到无标注数据图像中目标的伪标签；

(2)采用多周期循环一致性优化目标的伪标签：

(2.1)在无标注的视频序列中，每间隔k帧通过前向跟踪生成无标注数据图像中目标的伪标签；设每个序列生成m帧的伪标签，即1+k，1+2k，...，1+mk；

(2.2)通过反向跟踪，从1+mk帧出发再生成1+(m-1)k，...，1+k以及第1帧的伪标签；

(2.3)根据在同一帧上前向和反向跟踪的结果，构建多周期循环一致性损失函数表达式：

其中，

(2.4)通过最小化步骤2.3中的多周期循环一致性损失对无标注数据图像生成的目标伪标签进行优化，得到优化后无标注数据图像中目标的伪标签；

(3)根据优化后无标注数据图像中目标的伪标签，确定最终的深度卷积神经网络参数，得到优化后深度卷积神经网络模型；

(4)利用优化后深度卷积神经网络模型及孪生网络，完成目标跟踪定位任务。

本发明与现有技术相比，具有以下有益效果：

本发明使用基于孪生网络结构的跟踪框架可以对无标注数据进行伪标签的生成，从而利用伪标签数据进行深度卷积神经网络的训练，在保证模型表征能力的同时降低模型训练对标注数据的需求。

第一、由于本发明采用前后向跟踪的方式对无标注数据生成伪标签，使得大量无标注数据可以直接用于模型训练，从而在降低手工标注数据成本的同时增强了训练模型的表达能力；

第二、由于本发明采用多周期循环一致性损失进行模型训练，使得模型能够综合考虑跟踪过程中各阶段的跟踪结果，避免了训练模型的过拟合，从而提升了模型的泛化能力。

第三、由于本发明采用基于孪生网络结构的跟踪框架，使得跟踪器能够保证实时的跟踪速度，从而满足应用场景对跟踪速度的需求。

附图说明

图1为本发明的实现流程图；

图2是本发明中基于孪生网络的伪标签生成框架图；

图3是本发明中基于前后向跟踪的多周期循环一致性损失过程示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

实施例一：

参照图1，本发明提出的基于多周期循环一致性的自监督目标跟踪方法，主要包括：对初始化目标区域提取类型特征，并训练相关滤波层参数；对无标注图像帧的搜索区域提取特征；通过卷积操作生成响应图，并根据响应图确定无标注图像帧中目标位置。

步骤一：利用前后向跟踪对大规模无标注数据生成伪标签，用于特征提取网络模型的训练；

步骤二：利用训练得到的特征提取网络模型对跟踪序列中第一帧目标区域和当前帧搜索区域进行特征提取；

步骤三：对提取到的特征进行卷积操作，生成搜索区域对应的响应图；

步骤四：从响应图中找到最大相应值点作为目标的中心位置，得到当前帧的跟踪结果。

实施例二：

参照图1-3，本实施例中的目标跟踪方法整体步骤同实施例一，进一步给出相关函数表达式及参数，对本发明的实现过程进行详细描述：

步骤1：参照图2，本发明中基于孪生网络的伪标签生成框架图，对无标注数据生成目标伪标签：

采用基于孪生网络的跟踪器对无标注数据生成目标伪标签：基于孪生网络的跟踪器可以通过计算无标注数据图像中的搜索区域和第一帧目标模板之间的相似性来给出无标注数据图像中目标的伪标签，具体步骤如下所示：

(1.1)根据第一帧目标位置，采用初始化深度卷积神经网络提取特征并训练参数，通过最小化损失函数f(w)得到训练后的相关滤波层参数w：

其中，x表示初始化目标区域特征，y表示目标区域特征对应的标签，λ表示正则化参数权重，*表示卷积操作；

(1.2)在无标注的图像中选取搜索区域，采用深度卷积神经网络提取特征，并将其与相关滤波层参数w进行卷积操作，得到目标响应图R；

(1.3)通过寻找目标响应图R中的最大值点的位置，得到无标注数据图像中目标的伪标签。

通过最小化损失函数训练得到相关滤波层参数w后，在无标注的图像中选取搜索区域，采用深度卷积神经网络提取特征，然后与相关滤波层参数w进行卷积操作关可以得到目标响应图；通过寻找响应图中的最大值点的位置便可以确定无标注图像中目标的伪标签。

步骤2：参照图3，本发明中基于前后向跟踪的多周期循环一致性损失过程示意图，采用多周期循环一致性优化目标的伪标签，即通过前后向跟踪对无标注视频帧生成前向跟踪的伪标签以及反向跟踪的伪标签：

(2.1)在无标注的视频序列中，每间隔k帧通过前向跟踪生成无标注数据图像中目标的伪标签；设每个序列生成m帧的伪标签，即1+k，1+2k，...，1+mk；

(2.2)通过反向跟踪，从1+mk帧出发再生成1+(m-1)k，...，1+k以及第1帧的伪标签；

本实施例以m＝3为例，可以通过前项跟踪生成1+k，1+2k，1+3k帧的伪标签；然后通过反向跟踪，从1+3k帧出发同样可以生成1+2k，1+k以及第一帧的伪标签。

(2.3)根据在同一帧上前向和反向跟踪的结果，构建多周期循环一致性损失函数表达式：

其中，其中

(2.4)通过最小化步骤2.3中的多周期循环一致性损失对无标注数据图像生成的目标伪标签进行优化，得到优化后无标注数据图像中目标的伪标签；

步骤3：通过优化后的带有伪标签的数据来确定最终的卷积神经网络的参数，即根据优化后无标注数据图像中目标的伪标签，确定最终的深度卷积神经网络参数，得到优化后深度卷积神经网络模型；

步骤4：通过最终的卷积神经网络提取特征，通过孪生网络跟踪框架来进行目标跟踪任务。这里利用优化后深度卷积神经网络模型及孪生网络跟踪框架，完成目标跟踪定位任务，具体如下：

首先采用优化后深度卷积神经网络模型对初始目标和待搜索区域进行特征提取；然后计算初始目标和待搜索区域之间的相似性；再利用相似性在待搜索区域上生成响应图；最后通过寻找响应图中最大值点的位置目标实现跟踪定位。

本发明使用孪生网络对无标注数据生成目标的伪标签，通过多周期循环一致性损失对生成的伪标签进行优化，这样可以使自动生成的伪标签无限接近目标的真实标签，从而减少模型训练对标注数据的需求。通过伪标签数据确定最终的卷积神经网络参数进行目标跟踪任务，可以在保证跟踪性能的同时降低模型训练对标注数据的需求。因此能够有效提升特征提取网络模型对目标的表达能力，从而提升跟踪器的精度和鲁棒性。

本发明未详细说明部分属于本领域技术人员公知常识。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。