基于多模态融合的人脸反欺骗技术

摘要

在先前的人脸反欺骗方法中大多使用手工提取的特征或者仅使用单一模态上的人脸特征,并且很少注意到多通道色度的差异,因此得到的人脸反欺骗模型的鲁棒性较差以至于无法有效地区分真假面孔.鉴于此,卷积神经网络(CNN)被用作特征提取器来代替手工特征的提取,并且一种有效的多输入CNN模型被提出,以融合多种模态上的人脸特征以实现更具有鲁棒性的人脸反欺骗.通过对人脸图像上的2个不同颜色特征(即HSV和YCbCr)以及时间特征进行联合建模,探索了人脸反欺骗的最佳鲁棒表示.在REPLAY_ATTACK和CASIA-FASD 2个基准数据集上进行的大量实验表明,该方法可实现最先进的性能.且在REPLAY_ATTACK上获得0.23％的错误率(ERR)与0.49％的半错误率(HTER)和在CASIA-FASD数据库上获得1.76％的错误率与3.05％的半错误率.