基于多粒度信息融合的无监督行人重识别方法

摘要

现有的无监督行人重识别算法通过残差网络仅能提取粗略的全局特征,但是随着数据集中行人、姿态数目和背景复杂性的激增,这些特征表明行人不同姿态的能力不足,使得模型出现欠拟合,进而导致识别精度下降。基于对上述问题的分析,从空间域和通道域两方面考虑,设计了一种全新的多粒度信息融合的残差块(multi-granularity information fusion residual block,MgIFR block),替换残差网络中常规的残差模块,并以此提出了一种基于多粒度信息融合的无监督行人重识别方法。MgIFR模块在空间域上借鉴自注意力机制的思想,通过卷积提取粗粒度的全局特征;结合这些全局特征和图像中特定像素处编码的query,得到具有像素级上下文信息的细粒度全局特征,将具有粗粒度和细粒度的两种全局特征相结合,得到行人姿态的显著性特征;在通道域上,利用通道注意力机制,对输入的残差特征和跨层特征进行通道加权融合,最终得到具有多粒度信息融合的特征,以此来提高模型应对不同行人姿态的能力。实验结果表明,在现有公开数据集中,特别是行人数目姿态多和背景更加复杂的数据集上,相较于基线模型,Rank-1最高提升了9个百分点,mAP最高提升了10.7个百分点。提出的MgIFR模块具有更好的行人姿态的区分能力,有效解决了行人的不同姿态导致误判的问题,提高了行人重识别的准确率。