基于贝叶斯多元分布特征提取的三维人脸识别方法

摘要

基于贝叶斯多元分布特征提取的三维人脸识别方法，包括三维数据预处理，特征提取和识别分类。本发明的优点是：克服现有技术存在的计算量大的缺点，本发明用三维人脸深度图进行识别，可减少计算量，提高识别效率；并解决单样本识别问题中训练样本不足的问题，用分块方法增加训练样本；在此基础上提出一种基于贝叶斯分析的特征提取方法，使获得的特征具有最小的类内距离和最大的类间距离，即具有最佳的可分离性；并用基于马氏距离的分类方法，获得最优的识别分类。经实验数据证明，本发明的方法具有较好的三维人脸识别结果。

说明书

技术领域

本发明属于生物特征识别技术领域，具体涉及一种新的基于贝叶斯多元分布特征提取的三维人脸识别方法。

背景技术

过去的几十年中，在科学和工业界上人脸识别获得了巨大的关注。其中二维人脸识别技术已被广泛地研究。但是在照明条件、姿势和表示方式的约束条件下，二维人脸识别仍然是一个挑战。在这方面，脸部的三维形状数据可看作是不随光照、视图的变化而变化,且化妆等附属物对图像影响很大而对三维数据影响不明显。因而,三维人脸识别被认为具有光照不变、姿态不变的特性，其比二维人脸的识别更加有利。

根据特征形式,三维人脸识别算法大致可以分为基于空域直接匹配和基于特征匹配两大类。其中基于空域直接匹配的方法不提取特征,直接进行曲面相似度匹配。经典的算法有迭代最近点法和Hausdorff距离法等。然而每个三维人脸模型可能包含成千上万的点，因此空域直接匹配的方法具有较高的计算成本。

在基于特征匹配算法中，特征是从一个对象中提取的、在一定条件下保持稳定不变的属性,其本质可以看作对一个对象的信息进行压缩或其他变换处理。在三维人脸识别中，常用的特征有梯度、曲率和深度信息等。因此基于这些特征，一些经典的二维人脸识别方法可以在此应用，例如线性判别分析(LDA),主成分分析(PCA)及其拓展等。

三维人脸识别的主要难点之一是三维人脸样本的收集较为困难。许多现有的人脸识别技术高度依赖于训练数据集的大小和信息。在单个训练样本的条件 下，由于高维空间中训练样本的缺少，上述方法的识别效果并不理想。因此针对单样本识别问题，主要的挑战是三维人脸的特征提取。为了克服现有技术存在的缺点和训练样本的不足，本发明提出了一种基于贝叶斯多元分布特征提取的三维人脸识别方法，具较好的识别效果。

发明内容

本发明的目的在于克服现有技术存在的缺点和训练样本的不足，提出一种基于贝叶斯多元分布特征提取的三维人脸识别方法，使在单样本训练条件下具有较好的识别效果。

在以下的描述中，结合附图对本发明内容作进一步详细解释。

基于贝叶斯多元分布特征提取的三维人脸识别方法，包括三维数据预处理，特征提取和识别分类三部分。

步骤1，三维数据预处理：展示了三维人脸数据预处理的过程。具体步骤如下。

步骤11：有效数据采集。三维数据的缺陷包含数据缺失、峰值以及冗余数据,如衣服,脖子,耳朵和头发等。因此在这一步中,需要从三维数据中删除冗余数据，排除噪声数据，并使用线性插值算法将缺失的数据空隙填满。本发明搜索每个缺少深度值的左边界和右边界值并使用线性插值算法计算这些缺少的值。

步骤12：数据规范化。以鼻子的最高点为参照点对齐所有的三维数据。

步骤13：数据映射。将三维数据的深度信息映射到同一个参照面上，得到深度图。

步骤2，特征提取：基于贝叶斯的多元分布对分块的深度图进行特征提取，使获得的特征具有最小的类内距离和最大的类间距离，即具有最佳的可分离性。 具体步骤如下。

步骤21：在单样本训练条件下，为了解决训练样本不足的问题，将训练样本和待识别样本的深度图进行分块，增加了训练样本信息，得到数据集合{x_ir}。其中，x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量。在本发明中，根据经验将深度图分成8×8块。

步骤22：初始化每个训练样本的映射矩阵和特征向量计算公式为 其中i＝1,2,…,n，n表示训练样本数量；t表示每个训练样本的分块数量；x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量；表示将m维训练样本x_ir降维为m_i维向量的映射矩阵。为m×m_i的单位矩阵。m_i取经验值50。

步骤23：分别根据以下公式(6)和(7)来更新特征向量和映射矩阵

为了得到最有分辨效果的特征向量μ_i，具体目标方程如下：

${\mu }_i=\arg \underset{{\mu }_i}{\min }\underset{r=1}{\overset{t}{\Sigma }}\left(\frac{1}{2}{(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)}^T{\Sigma }_i^{-1}(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)\right)+\underset{j\ne i}{\overset{n}{\underset{j=1}{\Sigma }}}\left|\right|{\mu }_i-{\mu }_j\left|\right|{\Sigma }_i^{\prime -1},---\left(1\right)$

其中，n表示训练样本数量；t表示每个训练样本的分块数量；x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量；表示将m维训练样本x_ir降维为m_i维向量的映射矩阵，则表示样本降维之后的特征向量。通过W_i的值计算获得的特征具有最小的类内距离和最大的类间距离，其中参数∑_i表示训练样本每个分块之间的m_i×m_i维聚合度矩阵，其值越小，则计算获得的特征在同一个样本不同分块间更聚集；参数∑′_i表示不同训练样本之间的聚合度矩阵，其值越大，则计算获得的特征在不同样本之间越分散。在本发明中，对∑_i和∑′_i本别取经验值0.5×I，2×I，其中I是单位矩阵。

公式(1)等式右边第一项来自多元高斯分布的指数部分，公式如下：

$p\left(W_i^T{x}_{\mathrm{ir}}\right|{\mu }_i,{\Sigma }_i)=\frac{1}{{\left(2\pi \right)}^{m_i/2}}\frac{1}{{\left|{\Sigma }_i\right|}^{1/2}}\exp \{-\frac{1}{2}{(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)}^T{\Sigma }_i^{-1}(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)\},---\left(2\right)$

$p\left(W_i^T{x}_i\right|{\mu }_i,{\Sigma }_i)=\underset{r=1}{\overset{t}{\Pi }}p\left(W_i^T{x}_{\mathrm{ir}}\right|{\mu }_i,{\Sigma }_i).---\left(3\right)$

公式变量含义同公式(1)。本发明认为同一个样本的各个分块的特征数据间应服从高斯分布，并且每个样本相互独立，可得到似然函数即公式(3)。该分布约束了样本的类内距离，即保持样本每个分块之间较小的类内距离。

公式(1)等式右边第二项来自指数分布的指数部分，公式如下：

$p\left({\mu }_i\right|{\mu }_j,{\Sigma }_i^{\prime })\infty \exp (-||{\mu }_i-{\mu }_j|\left|{\Sigma }_i^{\prime -1}\right),(i=1,...,n,j\ne i)---\left(4\right)$

$p\left({\mu }_i\right|{\Sigma }_i^{\prime })=p\left({\mu }_i\right|{\mu }_1,...,{\mu }_j,...{\mu }_n,j\ne i,{\Sigma }_i^{\prime })=\underset{j\ne i}{\overset{n}{\underset{j=1}{\Pi }}}p\left({\mu }_i\right|{\mu }_j,{\Sigma }_i^{\prime }).---\left(5\right)$

公式变量含义同公式(1)。本发明认为不同样本的特征向量μ_i和μ_j(j≠i)应服从指数分布，并且每个样本相互独立，可得到先验函数即公式(5)。该分布约束了样本的类间距离，即保持不同样本之间较大的类间距离。

则通过贝叶斯定理，即特征向量μ_i的条件概率正比于似然函数(3)与先验函数(5)的乘积：$p\left({\mu }_i\right|W_i^T{x}_i,{\Sigma }_i,{\Sigma }_i^{\prime })\propto p\left(W_i^T{x}_i\right|{\mu }_i,{\Sigma }_i)p\left({\mu }_i\right|{\Sigma }_i^{\prime }).$则通过上述多元分布，为了求得特征向量μ_i的最大后验估计，即可简化为目标公式(1)。

为求解公式(1)，本发明通过对其求偏导进行迭代逼近，可计算获得特征向量μ_i和映射矩阵W_i：

${\mu }_i=2A_i{\Sigma }_i^{\prime -1}\underset{j\ne i}{\overset{n}{\underset{j=1}{\Sigma }}}{\mu }_j+A_i{\Sigma }_i^{-1}\underset{r=1}{\overset{t}{\Sigma }}{W}_i^T{x}_{\mathrm{ir}},---\left(6\right)$

$\left(\underset{r=1}{\overset{t}{\Sigma }}{x}_{\mathrm{ir}}^T\right)W_i=t{\mu }_i^T,---\left(7\right)$

其中参数$A_i={(2(n-1){\Sigma }_i^{\prime -1}+t{\Sigma }_i^{-1})}^{-1}$并且，${\Sigma }_i^{\prime -1}\ne -\frac{t{\Sigma }_i^{-1}}{2(n-1)},$公式变量含义同公式(1)。

步骤24：重复步骤三直到达到最大迭代次数或者收敛。获得最优的特征向量和映射矩阵，即${\mu }_i={\mu }_i^q,W_i=W_i^q,i=\mathrm{1,2},...,n.$

步骤3，识别分类：根据上述获得的特征向量和映射矩阵，在训练样本中需寻找与待识别样本最相似的匹配样本。

本发明提出一种基于马氏距离的分类方法，寻找最优分类标签：

identity(c)＝argmin_i d(X_i,X_T)，   (8)

$d(X_i,X_T)\stackrel{\Delta }{=}d({\mu }_i,{\mu }_T)={({\mu }_i-{\mu }_T)}^T{\Sigma }^{\prime -1}({\mu }_i-{\mu }_T),---\left(9\right)$

其中，c是计算得到的最佳分类标签；d(X_i,X_T)是第_i个训练样本X_i与待识别样本X_T之间距离函数，表示两个样本的相似程度；其距离定义为各个样本所提取的特征向量μ_i与待识别样本所提取的特征向量μ_T之间的马氏距离，由不同样本之间的聚合度矩阵来调控。其中待识别样本所提取的特征μ_T由公式 计算获得，x_Tr表示待识别样本原始数据第r个分块的深度特征向量，W_i表示由上个步骤计算获得的第i个训练样本的映射矩阵。

根据公式(9)可计算出待识别人脸与训练库中每个人的马氏距离，即相似度。再由公式(8)确定待识别人脸的所属个人标签，即其识别结果。

本发明的优点是：克服现有技术存在的计算量大的缺点，本发明用三维人 脸深度图进行识别，可减少计算量，提高识别效率；并解决单样本识别问题中训练样本不足的问题，用分块方法增加训练样本；在此基础上提出一种基于贝叶斯分析的特征提取方法，使获得的特征具有最小的类内距离和最大的类间距离，即具有最佳的可分离性；并用基于马氏距离的分类方法，获得最优的识别分类。经实验数据证明，本发明的方法具有较好的三维人脸识别结果。

附图说明

图1为本发明中三维人脸识别整体过程示意图。

图2为本发明中三维人脸数据预处理过程示意图。

具体实施方式

本发明的目的在于克服现有技术存在的缺点和训练样本的不足，提出一种基于贝叶斯多元分布特征提取的三维人脸识别方法，使在单样本训练条件下具有较好的识别效果。

在以下的描述中，结合附图和具体实施方法对本发明作进一步详细解释。

参照图1所示，基于贝叶斯多元分布特征提取的三维人脸识别方法包括三维数据预处理，特征提取和识别分类三部分。

步骤1，三维数据预处理：如图2所示，展示了三维人脸数据预处理的过程。具体步骤如下。

步骤11：有效数据采集。三维数据的缺陷包含数据缺失、峰值以及冗余数据,如衣服,脖子,耳朵和头发等。因此在这一步中,需要从三维数据中删除冗余数据，排除噪声数据，并使用线性插值算法将缺失的数据空隙填满。本发明搜索每个缺少深度值的左边界和右边界值并使用线性插值算法计算这些缺少的值。

步骤12：数据规范化。以鼻子的最高点为参照点对齐所有的三维数据。

步骤13：数据映射。将三维数据的深度信息映射到同一个参照面上，得到深度图。

步骤2，特征提取：基于贝叶斯的多元分布对分块的深度图进行特征提取，使获得的特征具有最小的类内距离和最大的类间距离，即具有最佳的可分离性。具体步骤如下。

步骤21：在单样本训练条件下，为了解决训练样本不足的问题，将训练样本和待识别样本的深度图进行分块，增加了训练样本信息，得到数据集合{x_ir}。其中，x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量。在本发明中，根据经验将深度图分成8×8块。

步骤22：初始化每个训练样本的映射矩阵和特征向量计算公式为 其中i＝1,2,…,n，n表示训练样本数量；t表示每个训练样本的分块数量；x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量；表示将m维训练样本x_ir降维为m_i维向量的映射矩阵。为m×m_i的单位矩阵。m_i取经验值50。

步骤23：分别根据以下公式(15)和(16)来更新特征向量和映射矩阵

为了得到最有分辨效果的特征向量μ_i，具体目标方程如下：

${\mu }_i=\arg \underset{{\mu }_i}{\min }\underset{r=1}{\overset{t}{\Sigma }}\left(\frac{1}{2}{(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)}^T{\Sigma }_i^{-1}(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)\right)+\underset{j\ne i}{\overset{n}{\underset{j=1}{\Sigma }}}\left|\right|{\mu }_i-{\mu }_j\left|\right|{\Sigma }_i^{\prime -1},---\left(10\right)$

其中，n表示训练样本数量；t表示每个训练样本的分块数量；x_ir∈R^m表示第i个训练样本的第r个分块的深度特征向量；表示将m维训练样本x_ir降维为m_i维向量的映射矩阵，则表示样本降维之后的特征向量。通过W_i的值计算获得的特征具有最小的类内距离和最大的类间距离，其中参数∑_i表示训练样本每个分块之间的m_i×m_i维聚合度矩阵，其值越小，则计算获得的特征在同一 个样本不同分块间更聚集；参数∑_i′表示不同训练样本之间的聚合度矩阵，其值越大，则计算获得的特征在不同样本之间越分散。在本发明中，对∑_i和∑_i′本别取经验值0.5×I，2×I，其中I是单位矩阵。

公式(10)等式右边第一项来自多元高斯分布的指数部分，公式如下：

$p\left(W_i^T{x}_{\mathrm{ir}}\right|{\mu }_i,{\Sigma }_i)=\frac{1}{{\left(2\pi \right)}^{m_i/2}}\frac{1}{{\left|{\Sigma }_i\right|}^{1/2}}\exp \{-\frac{1}{2}{(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)}^T{\Sigma }_i^{-1}(W_i^T{x}_{\mathrm{ir}}-{\mu }_i)\},---\left(11\right)$

$p\left(W_i^T{x}_i\right|{\mu }_i,{\Sigma }_i)=\underset{r=1}{\overset{t}{\Pi }}p\left(W_i^T{x}_{\mathrm{ir}}\right|{\mu }_i,{\Sigma }_i).---\left(12\right)$

公式变量含义同公式(10)。本发明认为同一个样本的各个分块的特征数据间应服从高斯分布，并且每个样本相互独立，可得到似然函数即公式(12)。该分布约束了样本的类内距离，即保持样本每个分块之间较小的类内距离。

公式(10)等式右边第二项来自指数分布的指数部分，公式如下：

$p\left({\mu }_i\right|{\mu }_j,{\Sigma }_i^{\prime })\infty \exp (-||{\mu }_i-{\mu }_j|\left|{\Sigma }_i^{\prime -1}\right),(i=1,...,n,j\ne i)---\left(13\right)$

$p\left({\mu }_i\right|{\Sigma }_i^{\prime })=p\left({\mu }_i\right|{\mu }_1,...,{\mu }_j,...{\mu }_n,j\ne i,{\Sigma }_i^{\prime })=\underset{j\ne i}{\overset{n}{\underset{j=1}{\Pi }}}p\left({\mu }_i\right|{\mu }_j,{\Sigma }_i^{\prime }).---\left(14\right)$

公式变量含义同公式(10)。本发明认为不同样本μ_i和μ_j(j≠i)的特征向量应服从指数分布，并且每个样本相互独立，可得到先验函数即公式(14)。该分布约束了样本的类间距离，即保持不同样本之间较大的类间距离。

则通过贝叶斯定理，特征向量μ_i的条件概率正比于似然函数(12)与先验函数(14)的乘积：$p\left({\mu }_i\right|W_i^T{x}_i,{\Sigma }_i,{\Sigma }_i^{\prime })\propto p\left(W_i^T{x}_i\right|{\mu }_i,{\Sigma }_i)p\left({\mu }_i\right|{\Sigma }_i^{\prime }).$则通过上述多元分布，为了求得特征向量μ_i的最大后验估计，即可简化为目标公式(10)。

为求解公式(10)，本发明通过对其求偏导进行迭代逼近，可计算获得特征向 量μ_i和映射矩阵W_i：

${\mu }_i=2A_i{\Sigma }_i^{\prime -1}\underset{j\ne i}{\overset{n}{\underset{j=1}{\Sigma }}}{\mu }_j+A_i{\Sigma }_i^{-1}\underset{r=1}{\overset{t}{\Sigma }}{W}_i^T{x}_{\mathrm{ir}},---\left(15\right)$

$\left(\underset{r=1}{\overset{t}{\Sigma }}{x}_{\mathrm{ir}}^T\right)W_i=t{\mu }_i^T,---\left(16\right)$

其中参数$A_i={(2(n-1){\Sigma }_i^{\prime -1}+t{\Sigma }_i^{-1})}^{-1}$并且，${\Sigma }_i^{\prime -1}\ne -\frac{t{\Sigma }_i^{-1}}{2(n-1)},$公式变量含义同公式(10)。

步骤24：重复步骤三直到达到最大迭代次数或者收敛。获得最优的特征向量和映射矩阵，即${\mu }_i={\mu }_i^q,W_i=W_i^q,i=\mathrm{1,2},...,n.$

步骤3，识别分类：根据上述获得的特征向量和映射矩阵，在训练样本中需寻找与待识别样本最相似的匹配样本。

本发明提出一种基于马氏距离的分类方法，寻找最优分类标签：

identity(c)＝argmin_i d(X_i,X_T)，   (17)

$d(X_i,X_T)\stackrel{\Delta }{=}d({\mu }_i,{\mu }_T)={({\mu }_i-{\mu }_T)}^T{\Sigma }^{\prime -1}({\mu }_i-{\mu }_T),---\left(18\right)$

其中，c是计算得到的最佳分类标签；d(X_i,X_T)是第_i个训练样本X_i与待识别样本X_T之间距离函数，表示两个样本的相似程度；其距离定义为各个样本所提取的特征向量μ_i与待识别样本所提取的特征向量μ_T之间的马氏距离，由不同样本之间的聚合度矩阵∑_i′来调控。其中待识别样本所提取的特征μ_T由公式 计算获得，x_Tr表示待识别样本原始数据第r个分块的深度特征向量，W_i表示由上个步骤计算获得的第i个训练样本的映射矩阵。

根据公式(18)可计算出待识别人脸与训练库中每个人的马氏距离，即相似 度。再由公式(17)确定待识别人脸的所属个人标签，即其识别结果。

表一.不同方法的识别率对比

如表一所示，在CASIA HFB数据库上测试本发明的方法，可以明显看到，本发明在处理基于单样本训练的三维人脸识别问题比其他识别方法具有更高的识别率。

本发明提供了一种基于贝叶斯多元分布特征提取的三维人脸识别方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式。应当指出，对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。