一种基于特征解耦和特征迁移相结合的跨域行人重识别技术

摘要

本发明属于计算机应用技术领域机器学习理论及应用子领域。本发明所要解决的问题是行人重识别模型应用于目标域时面临的严重的性能下降问题。解决该方案的算法要点如下：首先使用特征解耦技术DG‑Net++提取源域ID有关特征，而后用“测地线流式核方法”将ID有关特征转换至中间域中，最后利用转换至中间域的特征去训练模型。在将训练好的模型应用于目标域时，利用DG‑Net++技术解耦出目标域的ID有关特征并利用“测地线流式核方法”将目标域的ID有关特征转换至中间域后完成行人重识别任务。

说明书

技术领域

本发明属于计算机应用技术领域机器学习理论及应用子领域，本发明专利关注于跨域行人重识别问题。提出一种特征解耦和特征迁移相结合的技术，用于解决行人重识别模型在面对跨域任务时因分布漂移而性能大幅度下降的问题。我们首先使用特征解耦技术DG-Net++，剥离与ID无关的特征；接着使用特征迁移技术测地线流式核方法，将源域和目标域的特征迁移至中间域；而后用迁移至中间域的特征来训练模型。由于ID无关特征被剥离，且域特征被迁移至中间域中，训练出的模型遇到的分布漂移问题将大大减轻，这有效的提高了模型的跨域性能，促进了跨域行人重识别问题的解决。

背景技术

行人重识别(re-id)是智慧监控的核心技术，旨在通过给定的查询图像，在非重叠摄像机中检索包含感兴趣人员的图像，是构建智能城市的基本技术。当前的行人重识别任务在有监督的学习场景中已经达到了让人相当满意的表现。目前有监督的行人重识别的数据一般取自校园里的一小块区域，人流量较少且摄像头较少。但在实际的城市监控场景中，摄像头数量和人流数量均相当庞大，标志这样的数据集是极其困难、昂贵和几乎不可能的。因此，针对无标签的行人重识别数据集的研究蜂拥而出。由于跨域行人重识别中两个不同的域不包含任何相同的身份类，因此大多数迁移学习领域的基本算法难以用在本领域中。研究如何在无监督的情景中较好地实现行人重识别成为该领域研究中的重要任务。

借助有标签的源域让模型在无标签的目标域实现较好的行人重识别这个任务叫做跨域行人重识别。由于源域和目标域的差异，如季节、背景、视点、光照、摄像机等的变化，将在源域训练好的模型部署到目标域时通常会造成严重的性能下降。解决这一问题的主要方法基于这样一个假设：如果受域特有特征的影响缩小或域间差距缩小，在源域中性能表现良好的模型预计将在目标域中实现类似的性能。因此具体的解决方案又分为两个技术路线：一是在训练模型时剥离域特有的特征即剥离ID无关特征，二是进行域对齐。其中，域对齐又分为实例级对齐和特征级对齐。

但现有的技术未能很好地将ID无关特征剥离与域对齐很好地结合起来，事实上这两种技术路线有很强的互补性。如果未进行ID无关特征的剥离便进行域对齐，那么诸如背景杂波之类等无需对齐难以对齐的特征也被要求强行对齐，这是难以做到的，因此纯粹的域对齐方案往往不能取得较好的效果。另一方面，现有技术无法做到完全地特征解耦，并且即便实现彻底地解耦，只留下与ID有关的特征，也无法解决分布漂移的问题，这是因为ID有关特征本身便带有域相关的属性，因此在特征解耦之后再进行特征迁移实现域对齐对跨域任务的解决至关重要。

发明内容

本发明要解决的技术问题是行人重识别模型在进行跨域任务时会产生严重的性能下降问题，提出了一种特征解耦与特征迁移相结合的跨域行人重识别解决方案。并且该方案第一次将特征迁移技术测地线流式核方法引入到跨域行人重识别领域中。

本发明的总体结构说明如下：

我们的模型由三个模块构成，分别是特征解耦模块，特征迁移模块和reid模块。特征解耦模块负责将特征分离成ID无关特征和ID表征特征，该模块预先在数据集上进行训练，在我们的方案中，我们采用DG-Net++作为特征解耦的解决方案。特征迁移模块负责将从特征解耦模块中获得的源域和目标域的ID有关特征迁移至中间域，在我们的方案中，我们采用的特征迁移技术为测地线流式核方法。第三个模块是Reid模块，其由ResNet50网络的block1，block2,block3和block4构成，其输入为中间域特征。我们采用gem池化方法做全局池化，采用基于软标签的分类损失和带有难样本挖掘的三元组损失进行模型训练。

我们的训练分为两个阶段，第一阶段将在源域和目标域构成的训练集上训练特征解耦模块，第二阶段的核心进行reid模块的训练。特征解耦模块通过人物图像的分解，组合与重构实现ID有关特征与ID无关特征的分离。在第二个阶段中，我们固定特征解耦模块通过第一阶段得到的权重，从特征解耦模块中获得ID有关特征，而后将ID有关特征输入特征迁移模块，完成特征迁移。而后我们以特征迁移模块得到的中间域特征作为输入，以基于软标签的分类损失和带有难样本挖掘的三元组损失作为损失函数，训练reid模块。

在测试阶段，我们将使用目标域的图库和查询集对整个模型进行测试。