双端可共享网络的多模态行人重识别方法

摘要

针对多模态行人重识别中存在较大的类内差异和模态差异的问题,提出了一种使用双端共享网络的多模态行人重识别方法。通过裁剪和填充对不同模态的图片进行数据处理;将Resnet50的后4个卷积层中嵌入非局部注意力块,使用改进的Resnet50作为骨干网络分别对不同模态的图片进行特征提取,再将不同的特征输入共享网络;最后使用基于类内距离和模态差异的聚类损失对模型进行训练。实验结果表明,使用非局部注意力块和聚类损失的模型准确率有所提升,且模型更具有鲁棒性。