基于多粒度特征生成对抗网络的跨分辨率行人重识别

摘要

现有基于生成对抗网络(GAN)的超分辨率(SR)重建方法用于跨分辨率行人重识别(ReID)时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率(LR)行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线(CMC)在其首选识别率(rank‑1)上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。