基于像素对齐和特征对齐的跨模态行人重识别

摘要

为了减少可见光-红外跨模态行人重识别中较大的跨模态差异,提出一种联合像素对齐和特征对齐的跨模态行人重识别方法。首先,从像素级角度出发,利用对齐生成对抗网络(alignment generative adversarial network,AlignGAN),将可见光图像转换为红外图像,减少可见光和红外图像之间的跨模态差距。其次,从特征级角度出发,通过交换可见光和红外图像的模态特定特征来生成跨模态配对图像,同时进行全局集合级对齐和细粒度实例级对齐。最后,运用基于非局部块的深度为50层的残差网络(50-layer residual nets,ResNet-50)捕获图像的长距离依赖关系。在SYSU-MM01数据集上进行了大量试验,我们的方法得到41.8%的识别准确率,在相比较的方法中准确率最高。可见,本方法可以有效地减少跨模态行人重识别中较大的跨模态差异。本研究结果可为跨模态行人重识别的研究提供参考。