基于自动数据增强的域泛化行人重识别方法、系统及介质

摘要

本发明公开了一种基于自动数据增强的域泛化行人重识别方法、系统及介质，该方法包括：定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略在源域训练集上应用重新训练行人重识别模型；应用训练好的行人重识别模型进行行人匹配。本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法搜索出一组复杂的数据增强策略，多样性强，可提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。另外，本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，相比普通数据增强操作进一步提升模型的泛化能力，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。

说明书

技术领域

本发明属于计算机视觉的技术领域，具体涉及一种基于自动数据增强的域泛化行人重识别方法、系统及介质。

背景技术

行人重识别技术(person re-ID，person re-identification)，又称行人检索(person retrieval)，是智能视频分析的重要组成部分。行人重识别旨在使用给定查询图像(queryimage)在一个图像数据库(galleryset)中检索与其匹配的图像，也可以看作是一种针对行人的图像检索任务。

绝大部分行人重识别数据集是由有限个摄像机的图像集组成，训练集的行人身份(person ID)集合与测试集的行人身份(person ID)集合是不相交的，但两者的摄像机集合是一致的。大部分工作都关注有监督场景下的行人重识别问题(有监督单域：训练集有标签)，性能较好，上升空间小。近年，出现了基于深度学习的无监督行人重识别工作，主要分为以下三类：

(1)纯无监督(单域)：训练集无标签；

(2)域适应(跨域)：源域数据有标签，目标域数据无标签且可用于训练；

(3)域泛化(跨域)；源域数据有标签，目标域数据不可用于训练；

纯无监督方法与域适应方法的相关研究工作已比较成熟，而域泛化工作还处于起步阶段。纯无监督与域适应这两者相比于域泛化的优点是可利用目标域数据来缩小源域与目标域之间的域间差距(domain gap)。域间差距主要体现在摄像头角度、行人穿着、光照以及天气等场景因素的不同。

数据增强是增强深度学习模型泛化能力的一项重要技术。本专利仅研究图像增强操作，包括几何变换，颜色空间增强，混合图像(mixing)，随机擦除(randomerasing)等操作。数据增强在行人重识别领域中被广泛利用，除普通的增强操作外，部分行人重识别技术还使用生成对抗网络合成样本以扩充数据集。近年，自动数据增强成为该领域的研究热点，该技术旨在从数据集中自动搜索增强策略(policy，由一组数据增强方法组成)，并使用该策略进行训练以增强模型的泛化能力。

上述行人重识别技术主要有以下缺点：

(1)有监督场景下的行人重识别方法可能对域内场景过拟合。此类方法主要通过难样本挖掘(hard example mining)，局部特征(localfeature)设计等方法学习具有判别性的特征。即使能够提升域内的重识别性能，部分方法使模型对域内场景过拟合，在其他域场景下性能低下，例如，模型在陌生视角场景下的识别性能较差。

(2)纯无监督方法与域适应方法训练过程使用目标域数据能够缩小源域与目标域的域间差距，但真实场景下，难以先让模型适应目标域场景再应用，比如在火车站内的大型监控系统检索失踪儿童，域适应的成本十分高昂，一旦监控系统被修改，如增添摄像机，可能需要重新域适应。以上原因说明这两类方法落地成本高，并不适用真实场景下的大规模行人重识别。

(3)使用生成对抗网络合成样本的行人重识别技术，合成样本过程的时间花费大，而且有可能合成样本是噪声，因为生成对抗网络本身存在一定局限性，其次，行人重识别数据集存在部分低质量的样本，由这些样本合成的新样本变成噪声的概率更高。

(4)数据集的样本数量以及样本多样性是模型泛化能力的重要影响因素。上述行人重识别方法简单地使用了一部分数据增强操作，但是并没有最大限度地发挥数据增强的作用。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于自动数据增强的域泛化行人重识别方法、系统及介质，旨在进一步增强数据集的样本数量以及样本多样性以增强模型在陌生场景下的鲁棒性，解决域泛化行人重识别问题中，行人重识别模型在陌生场景下性能较差的问题。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面公开了一种基于自动数据增强的域泛化行人重识别方法，包括下述步骤：

定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略

在源域训练集上应用

应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。

作为优选的技术方案，所述数据增强策略包括多个子策略，每个子策略均包含两个数据增强操作，且数据增强操作有调用次序；所述数据增强操作包括两个超参数：应用该操作的概率和增强幅度；所述数据增强策略的应用过程为：首先随机选取一个子策略，然后根据次序调用数据增强操作并按照操作对应的概率和增强幅度对输入数据应用数据增强操作。

作为优选的技术方案，所述采样子数据集具体为：

从源域训练数据集D

作为优选的技术方案，所述在每个子数据集内通过数据增强策略算法搜索数据增强策略，并将搜索到的数据增强策略补充至

令子数据集

使用子数据集

重复以下步骤T次：通过贝叶斯优化方法搜索一组候选数据增强策略，令为

将

作为优选的技术方案，所述通过贝叶斯优化方法搜索一组候选数据增强策略具体为，重复以下步骤B次具体为：

采样一组子策略构造成一个候选数据增强策略

将对应的调用概率

在验证集

作为优选的技术方案，所述行人重识别模型θ以去除最后一个全连接层的残差网络作为骨干网络，紧接一个全连接层进并使用交叉熵损失作为损失函数监督网络训练。

作为优选的技术方案，所述在源域训练集上应用输出的数据增强策略重新训练行人重识别模型具体为：

从源域训练集D

应用数据增强策略

计算损失并使用随机梯度下降法更新模型参数；

重复上述步骤，直到损失收敛，得到训练好的行人重识别模型θ。

作为优选的技术方案，所述应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配具体为：

使用行人重识别模型θ对给定查询行人图像和数据库的图像输出每张图对应的判别特征；所述判别特征是行人重识别模型θ骨干网络输出的高维特征；

计算查询行人图像与数据库的每张行人图像之间的相似度，其中，两张行人图片相似度定义为两张行人图片判别特征之间的欧氏距离；

与查询行人图像相似度最高的行人图像即为匹配结果。

本发明的另一方面提供了一种基于自动数据增强的域泛化行人重识别系统，其特征在于，应用于所述的基于自动数据增强的域泛化行人重识别方法，包括数据增强策略搜索模块、模型训练模块和行人匹配模块；

所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略

所述模型训练模块，用于在源域训练集上应用

所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。

本发明的又一方面提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于自动数据增强的域泛化行人重识别方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用了一种针对域泛化行人重识别问题的数据增强策略搜索算法，在源域内模拟域泛化的设定，搜索出一组复杂的数据增强策略，增强了数据集样本多样性，以提升行人重识别模型在未知场景下的稳定性和鲁棒性，有利于推进行人重识别技术落地。同类技术只应用一种或多种数据增强操作，未能较好地发挥数据增强的作用，落地成本高，没有考虑样本多样性较弱所带来的模型过拟合源域的问题。

(2)本发明在数据增强策略搜索过程中采用了TPE算法调优数据增强策略，策略搜索时不需要重复训练行人重识别模型，提升了搜索效率。部分行人重识别技术使用生成对抗网络合成样本以提升样本多样性，时间花费较大，而且低质量的合成样本可能变成噪声。

(3)本发明采用的数据增强策略相比普通数据增强操作进一步提升模型的泛化能力，使数据增强策略搜索在域泛化行人重识别问题上更有效。现有的行人重识别技术仅简单地使用一种或几种数据增强操作，例如色彩增强，随机水平翻转等，对数据集样本多样性的增强有限，而且部分数据增强操作的超参数是手动调整的，或者是参考其他工作的数据增强操作超参数。另外，在域泛化行人重识别问题直接应用现有的自动数据增强算法并不能有很好地效果，因为训练集与验证集是同域的，模型训练过程保留了部分源域特征信息，可以辅助模型对行人的匹配，但搜索策略过程计算的损失会带来一定偏差，不利于搜索有效的数据增强策略。

附图说明

图1是本发明实施例基于自动数据增强的域泛化行人重识别方法的流程图；

图2是本发明实施例基于自动数据增强的域泛化行人重识别系统的结构示意图；

图3是本发明实施例的存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1所示，本实施例提供了一种基于自动数据增强的域泛化行人重识别方法，包括以下步骤：

S1、定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略

在本实施例中，对数据增强策略作如下定义：一个策略(policy)是由多个子策略(sub-policy)组成的集合，每个子策略包含两个数据增强操作，且有调用先后的次序。每个数据增强操作与两个超参数(hyperparameter)相关联：1)应用该操作的概率；2)增强幅度(magnitude)。数据增强策略应用过程如下：首先，随机选取一个子策略；其次，根据次序调用数据增强操作，并按照操作对应的概率和增强幅度对输入数据(小批量数据，mini-batch)应用数据增强操作。例如，[[(TranslateX,0.5,50),(Rotate,0.8,10)],...]是一个数据增强策略，其中，[(TranslateX,0.5,50),(Rotate,0.8,10)]是一个子策略。

本发明应用的数据增强操作如表1所示：

表1、数据增强操作

更为具体的，步骤S1包括以下操作：

S1.1、采样子数据集。从源域训练数据集D

S1.2、令最终输出的数据增强策略

S1.3、在每个子数据集

S1.3.1、令子数据集

S1.3.2、使用子数据集

S1.3.3、重复以下步骤T(在本实施例中，设置为2)次：

S1.3.3(1)、通过贝叶斯优化方法搜索B(在本实施例中，设置为200)个候选数据增强策略

S1.3.3(2)、从B个候选数据增强策略

S1.3.4、将

S2、在源域训练集D

损失函数监督网络训练步骤如下：

S2.1、从源域训练集D

S2.2、应用数据增强策略

S2.3、以步骤S2.2生成的数据作为输入，计算损失并使用随机梯度下降法更新模型参数；

S2.4、重复步骤S2.1、S2.2、S2.3，直到损失收敛，得到训练好的行人重识别模型θ。

S3、应用行人重识别模型θ解决行人匹配问题。本技术使用行人图像判别特征之间的欧氏距离作为相似度，匹配过程如下：

S3.1、使用行人重识别模型θ对给定查询行人图像(queryimage)和数据库(galleryset)的图像输出每张图对应的判别特征。判别特征是行人重识别模型θ骨干网络输出的高维特征；

S3.2、计算查询行人图像与数据库的每张行人图像之间的相似度(匹配程度)，两张行人图片相似度是两张行人图片判别特征之间的欧氏距离；

S3.3、与查询行人图像相似度最高的行人图像即为匹配结果。

特别的，在步骤S3中，可以使用目标域中的测试集对训练好的行人重识别模型θ进行性能评估。

如图2所示，在本申请的另一个实施例中，提供了一种基于自动数据增强的域泛化行人重识别系统，该系统包括数据增强策略搜索模块、模型训练模块和行人匹配模块；

所述数据增强策略搜索模块，用于定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略

所述模型训练模块，用于在源域训练集上应用

所述行人匹配模块，用于应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。

在此需要说明的是，上述实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，该系统是应用于上述实施例的基于自动数据增强的域泛化行人重识别方法。

如图3所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现基于自动数据增强的域泛化行人重识别方法，具体为：

定义数据增强策略，并构建数据增强策略算法以得到最终输出的数据增强策略

在源域训练集上应用

应用训练好的行人重识别模型，以行人图像判别特征间的欧氏距离作为相似度进行行人匹配。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。