基于异构层次化注意机制的跨模态行人再识别方法及系统

摘要

本公开提出了基于异构层次化注意机制的跨模态行人再识别方法及系统，包括：提取行人图像特征及文本描述特征，并分别作为行人图像通道和文本描述通道的初始全局特征；建立异构层次化的注意模型，该模型利用双向跨模态细粒度匹配注意机制以及上下文指导的局部特征聚合注意机制，同时对行人图片特征和文本描述特征进行增强；利用两阶段训练方式对异构层次化的注意模型进行训练，其中，利用行人类别监督信息在第一阶段进行初步训练，并在此基础上利用跨模态样本匹配行人类别监督信息进行第二阶段的训练，利用训练好的模型进行行人再识别。本公开能够提高行人再识别的准确率。