基于多粒度注意力的可见光–红外行人重识别模态特异性算法

摘要

可见光–红外行人重识别(Visible-infrared Person Re-identification, VI Re-ID)旨在根据裁剪后的查询行人样本,检索另一模态的画廊集中相同身份的行人样本。现有基于特征融合的方法主要采用双流特征提取模型来解决此任务,但由于两种模态的数据来源存在差异,不同模态特征提取分支存在特征粒度不一致的问题。为了解决这一问题,本文提出一种多粒度空间注意力模块,并进一步提出模态特异性双注意力模块,使用分散的细粒度注意力提取包含更多细节信息的可见光样本注意力描述符,使用集中的粗粒度注意力提取包含更多模糊信息的红外样本注意力描述符。实验证明融入多粒度方法的注意力模块有效的提高了双流特征提取模型在SYSU-MM01和RegDB数据集上的精度。