基于透视失真特性的人脸图像鉴伪方法、存储、处理设备

摘要

本发明涉及人脸图像识别、计算机视觉与图像取证领域，提出一种基于透视失真特性的人脸图像鉴伪方法、存储、处理设备，该方法包括：S1：识别2D图像中的人脸的关键点以及轮廓；S2：获取对应3D模型中的关键点；S3：基于2D图像与所述3D模型中的关键点的对应关系计算相机参数；S4：基于所述2D图像中的轮廓对所述相机参数进行优化；S5：多次采样二维人脸关键点获取相机内参数估计点云；S6：计算所述相机内参数估计点云与相机标称内参数的不一致性，进行人脸图像真伪的判断。本发明可以有效的实现对2D图像进行鉴伪，且具有较高的准确性。

说明书

技术领域

本发明涉及人脸图像识别、计算机视觉与图像取证领域，特别涉及一种基于透视失真特性的人脸图像鉴伪方法、存储、处理设备。

背景技术

在智能化的时代，数字图像扮演着非常重要的角色。人脸识别作为一种从人脸图像中自动识别人的身份的技术，在智能安防、身份认证、互联网金融等领域有着广泛的应用。然而针对人脸识别系统的欺骗手段也层出不穷，其中使用人脸相片进行欺骗会导致识别系统在当事人不在场的情况下错误地将相片识别为当事人。这使得人脸识别系统的安全性受到了很大的质疑。除人脸识别系统的欺骗外，人脸图像本身的真实性也是一个广受关注的问题：在图像编辑软件，如Adobe Photoshop，变得越来越易用的今天，图像内容的篡改严重危害着新闻出版业、法庭取证、保险业等十分依赖图像可信性的行业。其中针对人脸图像的篡改，如图像翻拍、人脸拼接，有着更大的危险性。这也是数字图像取证领域中的一个重要课题。人脸识别系统的相片欺骗检测也称活体检测，本质上是一种图像翻拍检测，也属于图像取证的范畴。

目前，公开的人脸活体检测技术主要利用特征设计+分类的机器学习框架，主要利用纹理特性、运动特性等特征，可参考文献：Wen,Di,H.Han,and A.K.Jain."Face SpoofDetection With Image Distortion Analysis."Information Forensics&Security IEEETransactions on 10.4(2015):746-761.以及文献：Tirunagari,Santosh,et al."Detection of Face Spoofing Using Visual Dynamics."Information Forensics&Security IEEE Transactions on 10.4(2015):762-777.在图像取证领域，针对人脸图像、视频的篡改检测技术包括利用光照不一致性、人体脉搏信号等，可参考文献：B.Peng,W.Wang,J.Dong,and T.Tan,"Optimized 3D Lighting Environment Estimation forImage Forgery Detection,"IEEE Transactions on Information Forensics andSecurity,vol.12,pp.479-494,2017.以及文献：B.Peng,W.Wang,J.Dong,and T.Tan,"Detection of computer generated faces in videos based on pulse signal,"in2015IEEE China Summit and International Conference on Signal and InformationProcessing(ChinaSIP),2015,pp.841-845.

本发明提出一种基于透视失真特性的人脸图像鉴伪方法，以有效地进行人脸图像鉴伪，应用于人脸活体检测和人脸图像篡改检测等领域。

发明内容

为了解决现有技术中的上述问题，即为了解决通过相机拍摄人脸图像的透视失真特性进行人脸图像鉴伪的问题，本发明的一方面，提出一种基于透视失真特性的人脸图像鉴伪方法，包括以下步骤：

步骤S1：识别二维人脸图像中的关键点以及轮廓；

步骤S2：基于所述人脸图像对应的三维人脸模型，获取所述三维人脸模型中的关键点；

步骤S3：基于所述二维人脸图像中的关键点与所述三维人脸模型中的关键点的对应关系，计算相机参数；

步骤S4：基于所述二维人脸图像中的轮廓对步骤S3中所得到的所述相机参数进行优化；

步骤S5：对所述二维人脸图像中的关键点进行随机采样，并重复步骤S3、S4，直至达到预设循环条件；依据各次循环中步骤S4中获取的所述相机参数得到相机内参数估计点云；

步骤S6：计算所述相机内参数估计点云与相机标称内参数的不一致性，并基于所述不一致性进行人脸图像真伪的判断；所述相机标称内参数为所述二维人脸图像的拍摄相机的参数。

优选地，步骤S3中所述相机参数，其计算方法包括：

步骤S31，基于所述二维人脸图像中的关键点与所述三维人脸模型中的关键点，采用黄金准则法计算相机投影矩阵；

步骤S32，基于步骤S31所计算的相机投影矩阵，通过添加像素单元为正方形的约束求解9自由度的相机参数；所述9自由度的相机参数包括3自由度的相机内参数和6自由度的相机外参数。

优选地，步骤S4中对所述相机参数进行优化为：通过优化函数E_totle(θ)进行所述相机参数的优化；

E_totle(θ)＝E_cont(θ)+λE_land(θ)

其中，θ为9自由度的相机参数，E_cont为所述三维人脸模型中轮廓的二维投影与所述二维人脸图像中的轮廓的误差平方和，E_land为所述三维人脸模型中关键点的二维投影与所述二维人脸图像中的关键点的误差平方和，λ为权重系数。

优选地，所述优化函数E_totle(θ)采用迭代最近点算法进行求解，在迭代最近点算法的每一步迭代中，采用Levenberg-Marquardt算法进行非线性最小二乘问题的优化。

优选地，步骤S5中对所述二维人脸图像中的关键点进行随机采样服从高斯分布，以初始位置为中心，以步骤S4中优化后的关键点平均误差为标准差；

其中，E_land为所述三维人脸模型中关键点的二维投影与所述二维人脸图像中的关键点的误差平方和。

优选地，步骤S6中所述相机内参数估计点云与相机标称内参数的不一致性的计算方法为：

通过所述相机内参数估计点云与相机标称内参数之间的马氏距离D来表示所述不一致性，

其中为相机内参数估计点云，θⁱⁿ为相机标称内参数，μ、Σ分别为的均值和协方差矩阵。

优选地，所述基于所述不一致性进行人脸图像真伪的判断，其方法为：

当D>D_t时，判定图像为欺骗性图像，反之为正常图像；

其中，D_t为预设的判定阈值。

优选地，

其中θ代表约束后的9自由度相机参数，v,V分别为二维人脸图像中的关键点和三维人脸模型中关键点，N_l为关键点个数。

优选地，

其中θ代表约束后的9自由度相机参数，N_c为轮廓的数目，c,C分别表示二维人脸图像中的轮廓点和对应的三维人脸模型中的轮廓点。

优选地，步骤S5中所述预设循环条件为预设的循环次数。

本发明的另一方面，提出了一种存储设备，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于透视失真特性的人脸图像鉴伪方法。

本发明的第三方面，提出了一种处理设备，包括

处理器，适于执行各条程序；以及

存储设备，适于存储多条程序；

所述程序适于由处理器加载并执行以实现上述的基于透视失真特性的人脸图像鉴伪方法。

本发明利用二维人脸图像所呈现透视失真特性与标称相机内参数下应该呈现的透视失真特性的不一致性来检测人脸图像欺骗，可以有效的实现对二维人脸图像进行鉴伪，且具有较高的准确性，在人脸活体检测和人脸图像篡改检测等领域具有较大的应用空间。

附图说明

图1是本发明基于透视失真特性的人脸图像鉴伪方法的流程示意图；

图2是本发明实施例中翻拍的待测二维人脸图像示例；

图3是本发明实施例中2D图像中人脸的关键点和轮廓的示意图；

图4是本发明实施例中人脸的3D模型及3D模型中关键点的示意图；

图5是本发明实施例中最终结果的相机内参数估计点云及相机标称内参数的点的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的出发点是人脸图像在不同的相机拍摄参数下会呈现出不同的透视失真特性，比如当相机离人脸较近并使用短焦距时，人脸图像呈现出较大的透视失真，如鼻子显得很大；而当相机远离人脸并使用长焦距时，人脸图像更接近正交投影，透视失真较小。本发明利用待检测图像(即二维人脸图像)所呈现透视失真特性与标称相机内参数下应该呈现的透视失真特性的不一致性来检测人脸图像欺骗。本发明中用来表征透视失真特性的图像观测为人脸关键点以及轮廓(由于自我遮挡产生的轮廓)，并利用这些二维人脸图像的图像观测与三维人脸模型信息进行相机内参数的估计，最终通过判断估计相机内参与标称相机内参的不一致性进行人脸图像鉴伪。

本发明的基于透视失真特性的人脸图像鉴伪方法，如图1所示，包括以下步骤：

步骤S1：识别二维人脸图像中的关键点以及轮廓；

步骤S2：基于所述人脸图像对应的三维人脸模型，获取所述三维人脸模型中的关键点；

步骤S3：基于所述二维人脸图像中的关键点与所述三维人脸模型中的关键点的对应关系，计算相机参数；

步骤S4：基于所述二维人脸图像中的轮廓对步骤S3中所得到的所述相机参数进行优化；

步骤S5：对所述二维人脸图像中的关键点进行随机采样，并重复步骤S3、S4，直至达到预设循环条件；依据各次循环中步骤S4中获取的所述相机参数得到相机内参数估计点云；

步骤S6：计算所述相机内参数估计点云与相机标称内参数的不一致性，并基于所述不一致性进行人脸图像真伪的判断；所述相机标称内参数为所述二维人脸图像的拍摄相机的参数。

图像翻拍、图像拼接是两种常见的图像伪造方法。能够用于攻击人脸识别系统的目标人脸图片在系统相机下二次成像，相当于图像翻拍，这会造成图像观测到的透视失真特性与标称相机的透视失真特性不相符。图像篡改中的人脸拼接也会造成拼接人脸的透视失真特性与宿主图片相机(标称相机)的不符。以下仅以人脸图片翻拍为例对本发明技术方案进行详细说明。

图2展示了一张人脸图片的翻拍照片，其在人眼观察下无法发觉异常。该图片的原始照片由iPhone 5S后置摄像头拍摄，然后展示在屏幕上并由一台NIKON D750进行翻拍获得图2照片。

为了更清晰地对本发明技术方案进行描述，下面顺次对各步骤进行详细展开性描述。

本发明实施例的一种基于透视失真特性的人脸图像鉴伪方法，包括步骤S1-S5，具体描述如下：

步骤S1：识别二维人脸图像中的关键点以及轮廓。

本实施例中用于鉴伪的二维人脸图像(为便于描述下文可以简称为2D图像)中，所识别出的人脸关键点和轮廓的示例如图3所示。

本实施例中定义的人脸关键点共24个，包括19个内部关键点(包括眉毛、眼角、鼻子、嘴角等)、以及5个外部关键点(包括耳朵、下巴等)。当由于姿态变化导致关键点被遮挡时，仅使用可见关键点进行计算。关键点的定位可使用自动检测算法，如SDM(SupervisedDescent Method)，在定位不准确的情况下可人工辅助进行调整。

本实施例中定义的轮廓为由于遮挡造成的边界，由轮廓点构成，如人脸、耳朵、鼻子等的轮廓。可采用基于训练的方法进行人脸轮廓自动检测，或采用人工标注的方式。

步骤S2：基于所述人脸图像对应的三维人脸模型，获取所述三维人脸模型中的关键点。

三维人脸模型(为便于描述下文可以简称为3D模型)的获取可使用高精度人脸扫描仪。图4展示了采集到的相应人脸的3D模型以及24个3D模型中的人脸关键点的位置。对于人脸活体检测应用可在注册时同时采集二维人脸图片及三维人脸模型进行储存；对于篡改取证应用需要在调查可疑图片时采用某些手段(可能需要当事人配合)获取三维模型，对于警方或法庭取证比较适用。在此基础上，三维人脸关键点的获取可以通过自动检测的方式或由人工标注辅助。

步骤S3：基于所述二维人脸图像中的关键点与所述三维人脸模型中的关键点的对应关系，计算相机参数。

本实施例中，步骤S3可以包括以下两个步骤：

步骤S31，基于所述二维人脸图像中的关键点与所述三维人脸模型中的关键点，采用黄金准则法计算相机投影矩阵；

步骤S32，基于步骤S31所计算的相机投影矩阵，通过添加像素单元为正方形的约束求解9自由度的相机参数；所述9自由度的相机参数包括3自由度的相机内参数和6自由度的相机外参数。

相机参数的具体计算方法如下：

首先使用相机标定中经典的“黄金准则法”(Gold Standard Method)基于2D图像与3D模型中关键点间的对应关系估计相机投影矩阵P，该估计中包括优化代数误差的直接线性变换(DLT)步骤与优化几何投影误差的非线性迭代优化(可以采用Levenberg-Marquardt算法)步骤。之后将所得投影矩阵P进行QR分解并得到相机的内参矩阵K、旋转矩阵R和平移向量t，如公式(1)所示：

P＝K[R|t](1)

其中，内参矩阵K包含5自由度，叫做内参数。分别是相机焦距在x、y方向上的像素单位表示f_x、f_y，像素单元的扭斜系数s以及相机光心位置c_x、c_y。内参矩阵K的矩阵表示如式(2)所示：

R、t分别由3自由度的转角和3自由度的平移决定，合称为外参数。但是只采用黄金准则法所得到的内参数并没有如公式(3)所示的像素单元为正方形的约束。

但是现在的相机基本上都满足这个条件，所以在黄金准则法估计得到相机内外参数后，进一步添加该正方形像素单元的约束进行优化，以得到更准确的相机参数。优化的目标函数为正则化的关键点几何投影误差平方和，如公式(4)所示：

其中，代表11自由度的相机参数，v、V分别为2D图像中关键点和与2D图像中关键点对应的3D模型中关键点，N_l为关键点个数，代表3D模型中关键点的2D投影与2D图像中关键点的误差，w_s、w_f为两个正则项系数。为了在添加约束条件的过程中，不使投影误差变得过大，需要从小到大逐步增加w_s、w_f的权重，进行多轮优化。每轮优化采用Levenberg-Marquardt进行迭代求解。当约束条件将要基本满足时，最终添加硬性的约束，即此时内参数仅有3个自由度，如矩阵表达式(5)所示：

最终优化后的所述三维人脸模型中关键点的二维投影与所述二维人脸图像中的关键点的误差平方和(为便于描述，可以简称关键点投影误差平方和)如公式(6)所示：

其中θ代表约束后的9自由度相机参数。

步骤S4：基于所述二维人脸图像中的轮廓对步骤S3中所得到的所述相机参数进行优化。

人脸关键点位置的定义是从语义角度出发的，如眼角、鼻尖等，但是其准确位置往往有较大的不确定性，例如偏几个像素的位置同样可以认为是鼻尖。因此步骤S3中仅仅依靠不准确的关键点进行估计是不够的。因此，需要在步骤S3计算的基础上进一步使用图像中的轮廓中的轮廓点对相机参数进行参数调优。优化目标是轮廓点投影误差平方和E_cont(θ)与关键点投影误差平方和E_land(θ)的加权和，总体目标函数形式如公式(7)所示：

E_totle(θ)＝E_cont(θ)+λE_land(θ)(7)

其中，θ为9自由度的相机参数，E_land(θ)如式(6)所示为关键点的投影误差平方和，E_cont(θ)为所述三维人脸模型中轮廓的二维投影与所述二维人脸图像中的轮廓的误差平方和(即轮廓点投影误差平方和)，λ为衡量两部分误差平方和的权重系数。

E_cont(θ)的通过公式(8)计算：

其中N_c为所有轮廓的数目，c,C分别表示2D图像中的轮廓点和对应的3D模型中的轮廓点。

由于3D模型的人脸轮廓随人脸姿态的变化性，目标函数(7)采用迭代最近点算法(Iterative Closest Point，ICP)进行求解。相机参数θ的初始化由步骤S3基于关键点的估计结果提供。在ICP的每一步迭代中，采用Levenberg-Marquardt算法进行非线性最小二乘问题的优化，具体包括：

首先，找到当前迭代步骤中的相机参数下的3D模型中轮廓点。为简便起见，忽略被遮挡的情况，本实施例中定义3D模型中轮廓点为法向量垂直于该点与光心连线的那些点，如公式(9)所示：

其中，代表所有3D轮廓点的集合，υ代表所有3D模型点(即3D模型上所有的点)的集合，n_i为点X_i处的三维法向量，∈代表一极小量。

其次，在找到3D轮廓点之后，为(2D观测轮廓点)中的每一个点找到(按照式(9)所找到的所有3D轮廓点的2D投影)中离它最近的点作为其对应点，并排除最近距离大于设定阈值的无效轮廓点。这样就根据最近点原则找到了2D图像中轮廓点与当前象机参数下3D模型中隐藏轮廓点之间的对应关系，然后代入目标函数式(7)进行参数优化，同样使用Levenberg-Marquardt算法进行非线性最小二乘问题的优化，从而进行参数求解。如此进行多轮迭代，每轮更新3D模型的轮廓点、更新此处的对应关系、参数求解交替进行，直至最后收敛为止，即得到最终的相机参数估计。

步骤S5：对所述二维人脸图像中的关键点进行随机采样，并重复步骤S3、S4，直至达到预设循环条件；依据各次循环中步骤S4中获取的所述相机参数得到相机内参数估计点云。

由于人脸关键点位置的不确定性，以采样的方式对相机参数进行多次估计，最终得到相机内参数估计的不确定度范围，即相机内参数估计点云(相机内参数估计点的集合)。对2D图像中关键点的采样服从高斯分布，以步骤S1中初始的关键点位置为中心，以初始关键点位置的情况下步骤S3的得到的平均误差为标准差。每次对所有关键点进行一次随机采样之后，重复步骤S3，S4进行参数估计，最终得到3自由度相机内参数(c_x,c_y,f)的估计点云。步骤S5可以按照预设的循环条件进行循环次数的确定，循环条件可以为预设的循环次数，还可以为设定的其他收敛条件。如图5所示，为按照预设循环次数进行的200次采样估计得到的内参数位置分布的点云，点云的范围代表了内参估计的不确定性范围。从图5可见，估计点云(三棱锥中的各点)与标称值(锥形顶点)之间的距离较大。

步骤S6：计算所述相机内参数估计点云与相机标称内参数的不一致性，并基于所述不一致性进行人脸图像真伪的判断；所述相机标称内参数为所述二维人脸图像的拍摄相机的参数。

人脸图像欺骗判定的方式为度量相机内参数估计点云与相机标称内参数之间的不一致性。其中相机标称内参数在人脸活体检测应用中可通过对人脸识别系统的相机进行标定获得，在篡改取证应用中可以通过提取EXIF头信息或其他方式获得。相机内参数估计点云与相机标称内参数的点之间的距离度量D采用马氏距离，如公式(10)所示：

其中为相机内参数估计点云，θⁱⁿ为相机标称内参数，μ、Σ分别为的均值和协方差矩阵。

基于所述不一致性进行人脸图像真伪的判断，其方法为：

当D>D_t时，判定图像为欺骗性图像，反之为正常图像。

其中，D_t为预设的判定阈值。

判定阈值D_t通过在数据集上实验获得，本实施例中通过实验数据确定的阈值为D_t＝3。

图5所示结果中计算得到D＝20.4>D_t，所以本实施例方法可以正确地检测此翻拍图像。

本发明实施例的一种存储设备，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于透视失真特性的人脸图像鉴伪方法。

本发明实施例的一种处理设备，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于透视失真特性的人脸图像鉴伪方法。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。