基于弯曲不变量相关特征的三维人脸识别方法及系统

摘要

本发明公开了一种基于弯曲不变量相关特征的三维人脸识别方法及系统。该方法包括：自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；计算所述预处理后的三维人脸的弯曲不变量；编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；基于主成分，运用K最近邻分类方法对三维人脸进行识别。本发明相比现有的3D人脸识别具有更好的有效性和高效性，在处理人脸表情和姿态变化上效果尤其好。

说明书

技术领域

本发明涉及图像处理和模式识别领域，尤其涉及一种基于弯曲不变量相关特征的三维人脸识别方法及系统。 

背景技术

近年来，信息和通信技术已经融入到我们生活的各个部门和所有部分，打开了一个史无前例的世界，这里人们同嵌入在敏感的响应用户存在的电子设备的进行交互。的确，以提供用户需要的智能建筑为特征的计算机辅助的安保系统正成为国内研究的趋势，需要更多复杂的服务。视觉是人类获取外界信息的最直接、最普遍的方式。视觉的最终目的是要对场景作出对观察者有意义的解释和描述，然后基于这些解释和描述并根据周围环境和观察者的意愿制定出行为规划。 

这种情况为探索物体的识别和理解和基于观察行为的实用化应用提供了机会。一个主要例子是使用人脸代替侵入式生物特征的潜力，它不仅可以规则地进入到控制环境中，而且可以根据待识别用户的偏好和需要提供服务。生物特征识别指使用不同的生理特征(如指纹、人脸、视网膜、虹膜)和行为特征如(步态、签名)特征，作为生物辨识来自动识别个人。因为生物辨识不易错位、仿造和共享，它们比传统的标识和基于知识的识别方法具有更高的可靠性。生物识别的另一个典型目标是用户方便(如无需用户辨别号的服务 接入)，更安全(如仿冒接入困难)。所有这些原因使非侵入式生物特征更适于环绕智能环境的应用，这点对基于人脸的生物辨识尤其准确，它是用在可视化交互的人脸识别中最具普遍性的方法，并且允许一种与传感器无任何物理接触的非侵入方式。 

发明内容

鉴于上述问题，本发明的目的在于提供一种基于弯曲不变量相关特征的三维人脸识别方法及系统。 

一方面，本发明公开了基于弯曲不变量相关特征的三维人脸识别方法，包括如下步骤：图像预处理步骤，自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算步骤，计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取步骤，编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维步骤，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分；分类识别步骤，基于所述主成分，运用K最近邻分类方法对三维人脸进行识别。 

上述三维人脸识别方法，优选图像预处理步骤中，所述的人脸区域提取包括：计算有效点矩阵的列和并从点云中估计一个垂直投影曲线；定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据；通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据；删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域。 

上述三维人脸识别方法，优选图像预处理步骤中，所述三维人脸匹配包括：点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配；人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响；通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。 

上述三维人脸识别方法，优选所述三维人脸弯曲不变量的计算步骤中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。 

上述三维人脸识别方法，优选所述三维人脸弯曲不变量相关特征提取步骤中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。 

另一方面，本发明还公开了一种基于弯曲不变量相关特征的三维人脸识别系统，包括：图像预处理模块，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算模块，用于计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取模块，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块，用于对所述弯曲不变量的相关特征进行签名 并采用谱回归进行降维，获得主成分；分类识别模块，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。 

上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现人脸区域提取的子模块，包括：用于计算有效点矩阵的列和并从点云中估计一个垂直投影曲线的单元；用于定义投影曲线的左右拐点的两个侧阈值来删除对象肩膀上超过此阈值的数据的单元；用于通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据单元；用于删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域的单元。 

上述三维人脸识别系统，优选所述图像预处理模块中，包括用于实现三维人脸匹配的子模块，包括：用于点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴，旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴，鼻尖在参考坐标系上的位置作为参考坐标系的原点，通过旋转和平移将所有三维人脸数据进行粗匹配的单元；用于人脸信号用最近邻内插在球面等角网格上采样，通过计算所有训练人脸图像上每个网格点值构建平均人脸模型AFM，所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响的单元；用于通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息的单元。 

上述三维人脸识别系统，优选所述弯曲不变量的计算模块中，所述三维人脸弯曲不变量通过快速行进法计算三维人脸表面点的测地距离，再通过等距映射获得低维欧式空间R^m的距离作为三维表面点的弯曲不变量。 

上述三维人脸识别系统，优选所述所述弯曲不变量相关特征提取模块中，所述三维人脸弯曲不变量相关特征通过运用3D LBP编码三维人脸表面相邻节点的弯曲不变量局部特征获得。 

相对于现有技术而言，本发明对比现在通常使用的3D人脸识别技术具有更好的有效性和高效性。在处理人脸表情和姿态变化上效果尤其好。具体而言，具有如下特点： 

准确性：3D系统对比2D系统准确性的显著增加用来判定引入的3D系统，或单独使用或结合其它模式使用。 

有效性：3D捕获每一个对象创造了更大的数据文件，要求较大的内存和大的计算代价，需要将原始的3D数据转换为有效的元数据。 

规整性：传感器产生的每个样本由一个3D散列点云描述。由于在不同的区域如头发、遮挡、噪声和水平边界的突起物如鼻和较低的下巴，在获得的捕捉中存在丢失的。本发明旨在建立一个具有固定节点和面片数的规则的和密集的网格来描述一个人脸形状。而且，不同网格需要有对应节点并且与平均模型同向。 

大的姿态和表情变化：中性人脸的识别性能显著改进，而大姿态和表情变化是准确率显著下降。 

自动化：实用系统必须使功能全自动，因此不能接受用户干预如在3D人脸扫描中手工定位关键点。 

附图说明

图1是本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的结构示意图； 

图2是三维人脸数据预处理过程示意图； 

图3是预处理前后的三维人脸数据：(a)原始的三维人脸数据；(b)预处理后的三维人脸数据)示意图； 

图4是3D LBP原理框图； 

图5为本发明基于弯曲不变量相关特征的三维人脸识别方法实施例的步骤流程图。 

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

参照图1，图1为本发明基于弯曲不变量相关特征的三维人脸识别系统实施例的结构示意图，包括： 

图像预处理模块110，用于自动提取三维人脸区域，包括人脸区域提取和三维人脸匹配的操作，获取预处理后的三维人脸；弯曲不变量的计算模块111，用于计算所述预处理后的三维人脸的弯曲不变量；弯曲不变量相关特征提取模块112，用于编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；特征降维模块113，用于对所述弯曲不变量的相关特征进行签名并采用谱回 归进行降维，获得主成分；分类识别模块114，用于基于主成分，运用K最近邻分类系统对三维人脸进行识别。 

如图1所示，首先，探索了一种自动的3D人脸区域提取方法。然后处理它使得最小化大姿态变化的影响并且有效地改进整个3D人脸识别系统的性能。为了克服大的表情变化，所提出算法的一个核心思想就是运用人脸表面的一种描述，叫做弯曲不变量(BI)，它对由表情和姿态变化引起的等距形变不变。为了编码相邻网格节点，3D LBP用于获得几何相关不变量，它对于描述孤立点的人脸结构具有更多的潜力并且对于特征化信号的局部相关细节更有效。然后通过对特征签名后的图像进行谱回归得到特征降维后的主成分节省了大量的计算时间。最后运用K最近邻分类方法对人脸进行识别。我们的系统对比现在通常使用的3D人脸识别系统具有更好的有效性和高效性。在处理人脸表情和姿态变化上效果尤其好。 

下面对具体的实施过程分块进行描述； 

图像预处理模块 

实际应用中获取的三维人脸数据以三维散列点云方式存储，一些示例如图2a，3a。预处理过程主要包括两方面内容，人脸区域提取和3D人脸匹配。接下来将描述这些任务的细节。 

人脸提取的主要目的是从3D点云中删除不相关的信息，如肩膀或头发的数据和由激光扫描仪造成的钉状物。一个人脸扫描的输出形成一个3D点云，点的X和Y坐标形成统一的欧式网格和Z坐标值提供对应的深度信息，不同的图像具有相同的分辨率X*Y。人脸提取的第一步，我们计算有效点矩阵的列和并从点云中估计一个垂直投影曲线。然后，通过定义投影曲线的左右拐点的两个侧阈值来 删除对象肩膀上超过此阈值的数据如图2b。我们通过阈值化深度值直方图进一步删除对应于对象胸部的数据点，去除了对应前脸信息后面的大深度值数据如图2c。最后，删除保留在区域中但与主要人脸区域不连接的异常点并且仅将最大的区域视为人脸区域如图2d。上述自动人脸提取算法在数据库中的大部分人脸点云上有效地工作，仅在很少的异常情况下失败。 

从3D扫描中提取主要人脸区域后，一个关键的预处理步骤是3D匹配实现姿态对齐。我们运用一个多阶段自动匹配方法，存在人脸表情变化时可以提供鲁棒准确的对齐结果。每一步用前一步的输出作为输入。早期的步骤对局部最小值提供更大容忍度而后面的步骤提供更准确的匹配。首先，我们计算点云协方差矩阵的正交特征矢量，v₁，v₂，v₃，作为点云的三个主轴。我们旋转点云使v₁，v₂，v₃分别平行于参考坐标系的Y，X和Z轴。鼻尖在参考坐标系上的位置作为参考坐标系的原点。通过旋转和平移将所有三维人脸数据进行粗匹配。人脸信号用最近邻内插在球面等角网格上采样。通过计算所有训练人脸图像上每个网格点值构建平均人脸模型(AFM)。所有人脸信息通过ICP进一步与AFM对齐避免嘴和颌的影响。最后，通过最小化Z-buffer距离的全局最优技术进行精细对齐，它有效地重采样数据三角形上点独立性，并删除所有的人脸不相关信息。三维人脸数据预处理的结果如图3b所示。 

弯曲不变量的计算模块 

我们的3D人脸识别系统的核心是一种对等距形变不变的人脸表面描述子，叫做弯曲不变量。人脸表面经历的形变不是任意的，经验观察显示面部表情可用等距(或长度保持)变换模型化。因为，我们为等距表面引入一种有效的特征用于签名，推导作为弯曲不变 量，它是在一个减小的点集上由等距映射形成的人脸表面的多边形近似并且在全部点集上进行内插。 

给定一个人脸表面M(x，y，z)∈R³，弯曲不变量I_M(x，y，z)∈R³是等距映射算法的一个输出。一个等距测地线通过映射ψ：M→M′形成， 

$\forall (x,y,z)\in M^3,d_M(x,y,z)=d_{M^{\prime }}(\psi \left(x\right),\psi \left(y\right),\psi \left(z\right))$

对一个给定人脸表面构建不变量特征的关键一步是一个计算表面测地距离的有效算法即d_M(x，y，z)。计算测地距离可以有效地反映人脸形状信息并且克服3D人脸图像中一些尚未解决的问题，如大的表情和姿态变化，数据噪声等。一种数值一致连续算法用于计算一个表面点和规则三角化域中其余n个表面点间的距离，具有O(n)计算复杂度，叫做三角化域中快速行进法(FMTD)。距离计算后，我们通过在连续表面有限点集上采样并且根据表面结构离散化这种机制获得测地距离的一个近似。 

这种机制对于任意顺序点的等距表面形变是不变的。我们想要获得一个测地不变量，一方面他对等距表面是唯一的，另一方面允许用等距刚性表面匹配来计算这个不变量。 

基于以上讨论，等价于找到两种机制空间的一个映射， 它可以最小化内嵌误差。 

ε＝f(|d_M-d|)；d＝‖x_i-x_j‖₂

d是嵌入在基于等距映射的低维欧式空间R^m的距离。M维描述获得是对应于表面点p_i的一个点集x_i∈R^m(i＝1，…，n)。R^m中的内嵌是通过双中心化矩阵Δ形成： (这里 I是n×n单位矩阵，U是由一个人脸全部数据组成的矩阵。前m个特征矢量e_i对应于B的m个最大特征值，用作内嵌坐标系。 

$x_i^j=e_i^j;i=1,...n,j=1,...,m$

这里 表示矢量x_i的第j-th个坐标。特征矢量用一个标准的特征分解方法计算。因为只有m个特征矢量需要(通常m＝3)，所以计算有效。 

通过等距映射，将3D人脸样本从高维观测空间通过线性或非线性映射投影到一个低维特征空间，从而找出隐藏在高维观测数据中有意义的低维结构并且构建了高维数据流形空间与低维表示空间之间的相互映射这种方法有许多优点，包括压缩数据，降低存储量；消除不必要的噪声；用于识别有效数据特征便于提取；把数据投影到一个低维空间，有利于实现高维数据可视化。 

弯曲不变量相关特征提取模块 

局部二值模式(LBP)描述子首先应用于纹理描述并成功用于2D人脸识别。受到原始LBP的启发，我们引入3D LBP描述子来获得人脸表面的局部相关特征。在3D LBP中不仅包含原始的LBP，而且将弯曲不变量差也编码进二值模式中。 

原始的LBP描述子首先将图像中的每个节点弯曲不变量的值减去它的邻域节点值。然后差值转换为二进制单元：根据正负符号分配0或1。第三步二进制单元顺时针排列，我们可以获得节点局部二值模式的二进制单元集。二值模式进一步转化为十进制数。两个参数(P，R)用于控制邻域数P的选择和它们的局部半径R，可以是(8，2)，(16，2)，(24，3)等。 

从前面的讨论中，我们可以看到LBP描述子通常可以编码它们邻域节点的相关性，即本专利中的相关特征。所以LBP可以视为一种局部相关特征。人脸表面的结构信息应该存在于表面点的相关特征中。根据前面分析的LBP的相关属性，我们将LBP描述子运用到编码3D人脸表面的结构信息中。但是LBP描述子只能编码弯曲不变量差的符号不适于描述3D人脸，因为人脸表面相同点的弯曲不变量差在不同人脸上有区别。例如A和B是两个不同的人，他们鼻尖点LBP是相同的，因为所有围绕鼻尖点的弯曲不变量值都低于鼻尖。如果不同的人的两个相同位置的人脸区域有相同的弯曲不变量变化趋势，LBP将不适于区分它们。然而，虽然两个鼻尖点弯曲不变量差的符号和他们的领域相同，但是差的精确值是不同的。这一点对3D人脸识别尤其关键。我们进一步将弯曲不变量差的精确值编码为二值模型。根据统计分析，在R＝2时多于94％的点间弯曲不变量差值小于7，所以我们增加三个单元来编码节点和它邻域的每个弯曲不变量差。三个二值单元({i₂i₃i₄})对应弯曲不变量差的绝对值DD：0～7。所有DD≥7的情况设为7。弯曲不变量差的符号记为0、1作为头二值单元i₁这与原始LBP相同。最终我们获得一个四个二值单元{i₁i₂i₃i₄}来描述的两点间DD。 

四个二值单元被划分为四层如图4所示。每层的二值单元顺时针排列。最终，我们在每个节点得到四个十进制数作为其描述：P₁，P₂，P₃，P₄，记为3D LBP。匹配时，3D LBP首先分别根据P₁，P₂，P₃，P₄变换为四幅图：3DLBPMap1(等于原始LBP图)，3DLBPMap2，3DLBPMap3，3DLBPMap4。然后四幅图局部区域的直方图串联作为匹配的相关特征局部统计值。 

此法不仅增强类似于边缘以及峰、谷、脊轮廓等底层图像特征，这相当于增强了被认为是面部关键部件的鼻子、眼睛、嘴巴等信息，同时也增强了诸如酒窝、黑痣、伤疤等局部特征，从而使得在保留总体人脸信息的同时增强局部相关特性成为可能。当人脸的姿态、表情、位置发生变化时，其所引起的局部特征的变化要小于全局特征的变化，从而使用局部相关特征可以得到更加鲁棒的人脸表示。 

特征降维模块 

我们运用三维谱回归进行特征降维处理。每个3D人脸的弯曲不变量相关特征描述为一维矢量。提出结合图嵌入理论的三维谱回归降维方法处理三维人脸数据不仅保持了人脸数据流形的局部近邻结构，增加了全局的判别信息，而且很好的继承了局部特征保持能力，增加了特征的可分性，也在一定程度上克服了人脸表情，姿态等变化。 

假设我们有m张三维人脸图像。 为它们的矢量描述。降维旨在找到 可用矢量z_i描述x_i的本质内在可分性特征。为了有效反映不同样本间3D人脸弯曲不变量相关信息间的关系，我们引入基于Laplacianface的图嵌入框架。局部保留投影 (LPP)建造一个图模型作为反映数据空间内在结构的局部流形结构并且找到反映这个几何结构的一个投影。 

接下来介绍算法细节。首先，我们构建一个邻接图。给定一个m个顶点的图G，描述人脸数据。W是一个m×m的稀疏对称矩阵，W_ij是边相邻顶点i和j间权重，它可以测量顶点对间的相似性。我们设定