对齐特征表示的跨模态人脸识别

摘要

跨模态人脸识别一直是人脸识别领域的研究热点,在安防、刑侦等现实场景中具有极高的应用价值和发展潜力.现有的跨模态人脸识别算法通常在图像空间或潜在空间建立不同模态人脸的联系,却忽略了二者的内在关联性,容易导致跨模态信息的丢失.为解决这一问题,本文提出基于对齐特征表示的跨模态人脸识别算法(Cross-Domain Representa-tion Alignment,CDRA).CDRA算法在人脸图像空间和潜在空间、模态内和模态间探索不同模态人脸数据间的关联性:首先,为减少信息损失,CDRA算法通过对单一模态内人脸的重建,学习到包含判别信息的模态内潜在特征表示;然后,在图像空间,CDRA算法通过从不同模态的潜在特征表示中,跨模态地重建图像,以间接对齐不同模态的潜在特征表示,在潜在空间,CDRA算法通过对齐不同模态数据的潜在高斯分布直接对齐不同模态的潜在特征表示,促使特征表示学习到不同模态人脸在不同空间维度多个层次的跨模态信息.实验结果表明CDRA算法在Multi-Pie数据集上的人脸识别准确率的平均值为97.2％,在CASIA NIR-VIS 2.0数据集上的人脸识别准确率为99.4％ ±0.2％,同时实现了跨模态人脸数据的高效互生成.CDRA算法能够在图像空间和潜在子空间学习到更具判别能力的跨模态关联信息,有效地提高了跨模态人脸识别准确率.