基于深度学习的低精跨模态人脸识别

摘要

跨模态人脸识别是人脸识别领域的一个重要方向,在安防、刑侦等实际场景有及其重要的应用。目前的跨模态人脸识别方法主要集中解决单个的跨模态问题,如近红外到可见光跨模态人脸识别、远红外到可见光跨模态人脸识别,素描图像到可见光人脸识别等问题。针对现实应用场景下更为复杂的情形,低精跨模态人脸识别问题由此提出。在此问题上,基于身份保持的循环生成对抗网络与基于三元组损失的模态不变特征表示相结合的方法,能够有效解决该问题。身份保持的循环生成对抗网络能够在有效进行跨模态的数据生成的情况下良好的保持其身份特征,基于三元组损失的模态不变特征表示的方法,能够有效提取到模态不变特征。实验结果表明,上述方法在CASIA NIR-VIS2.0数据集达到低精跨模态人脸识别问题目前的最好结果。且基于三元组的模态不变特征提取方法在近红外到可见光的跨模态人脸识别问题上,达到了Rank-1准确率99.63±0.11%的结果。可以看出,该方法能够有效地提升跨模态人脸识别方法在低精度下的不足。