基于掌纹和人脸特征提取的身份识别方法

摘要

本发明公开了一种基于掌纹和人脸特征提取的身份识别方法，其特征在于，包括：对掌纹图像的测试样本和不同类别的训练样本进行特征提取，分别得到特征矩阵Y′和Yi，计算测试样本和各个类别的训练样本的特征矩阵之间的距离其中i为掌纹图像训练样本类别编号；对所述掌纹图像对应的人脸图像的测试样本和不同类别的训练样本进行特征提取，分别得到特征矩阵H′和Hi，计算测试样本和各个类别的训练样本的特征矩阵之间的距离将所述和进行归一化处理，并对掌纹特征和对应人脸的特征进行融合来判断身份。本发明融合了手掌的纹理信息和人的脸部的结构信息，可提高识别率。

说明书

技术领域

本发明涉及生物特征识别技术领域，特别涉及一种基于掌纹和人 脸特征提取的身份识别方法。

背景技术

信息技术的飞速发展推动了社会的进步，随之现代社会对信息技 术又提出了更新和更高的要求。整个社会信息化和网络化，而信息化 和网络化的高速发展，又对各种信息和系统的安全性提出了更高的要 求。身份识别是强化信息和系统安全性的基本方法之一。

人的生物特征具有唯一性，不会被盗，丢失或遗忘，也很难伪造 或模仿，所以生物特征识别技术能有效地克服传统身份识别方法在系 统和信息安全方面的缺陷。除了能实现身份验证之外，该技术还能实 现身份的辨识，即从多个人中辨认出某人。这个特点使得生物识别技 术的应用范围得到了极大的扩展。

掌纹识别技术是近年来新兴的一种身份识别方法，和其他的同类 技术相比，掌纹识别具有很多特点：①跟指纹一样，手掌上布满了乳 突纹，但手掌区域却比手指区域大得多，因而它含有比指纹更为丰富 的可区分信息。②手掌上有几条大的主线和很多的褶皱线，这是掌纹 所独有的线特征，具有很强的区分能力和抗噪能力，并且可以在低分 辨率低质量的掌纹图像中提取出来。③与虹膜以及视网膜相比，掌纹 图像采集设备的价格低廉，并且更为方便，更容易被用户接受。④当 使用高分辨率的采集设备时，手掌上的各种特征，如手掌的几何特征， 手掌上的乳突纹，主线和褶皱线等特征可以融合在一起，形成一个高 精度的识别系统。

人脸识别技术是通过计算机分析人脸图像，从中提取出有效的识 别信息，用来“辨认”身份的一门技术，人脸识别在可用性方面具有 独到的技术优势，主要体现在①非接触式采集，没有侵犯性，容易被 接受。②具有强大的方便性，快捷性以及强大的事后追踪能力。③图 像采集设备成本低。④更符合人类的识别习惯，可交互性强。

同时，上述两种识别方法又存在着各自的缺陷，在掌纹识别的过 程中，存在着人的手掌的平移，旋转，平坦程度等不可控性因素，这 样会使掌纹识别的正确率大幅下降。而人脸识别过程中，不同的光照 条件，视角，距离变化等因素会极大地影响人脸图像的采集效果，从 而降低识别性能。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何融合手掌的纹理信息和人的脸 部的结构信息，提高识别率，以克服以往利用生物特征单一，能够利 用的生物信息较少，并且由于受到各种外界因素的影响，例如光照等， 而造成识别率低，误识率偏高等不足。

(二)技术方案

一种基于掌纹和人脸特征提取的身份识别方法，包括以下步骤：

S1：对掌纹图像的测试样本和不同类别的训练样本进行特征提 取，分别得到特征矩阵Y′和Y_i，计算测试样本和各个类别的训练样 本的特征矩阵之间的距离其中i为掌纹图像训练样 本类别编号；

S2：对所述掌纹图像对应的人脸图像的测试样本和不同类别的训 练样本进行特征提取，分别得到特征矩阵H′和H_i，计算测试样本和 各个类别的训练样本的特征矩阵之间的距离其中i 为人脸图像训练样本类别编号；

S3：将所述和按如下公式进行归一化处理：

$f_i^{\mathrm{Palm}}=\frac{d_i^{\mathrm{Palm}}-\min \left(d_i^{\mathrm{Palm}}\right)}{\max \left(d_i^{\mathrm{Palm}}\right)-\min \left(d_i^{\mathrm{Palm}}\right)},$$f_i^{\mathrm{Face}}=\frac{d_i^{\mathrm{Face}}-\min \left(d_i^{\mathrm{Face}}\right)}{\max \left(d_i^{\mathrm{Face}}\right)-\min \left(d_i^{\mathrm{Face}}\right)}.$

S4：将归一化处理后的距离和按下述公式对掌纹特征 和对应人脸的特征进行融合：

$f_i=\frac{f_i^{\mathrm{Palm}}+f_i^{\mathrm{Face}}}{2},$

得到融合后的距离f_i，取f_i为最小值的第i类训练样本作为测试样本 的身份类别。

其中，所述步骤S1具体包括：

S101：提取掌纹图像测试样本和训练样本的ROI图像f_ROI(x，y)；

S102：利用Gabor滤波器对测试样本和训练样本的掌纹ROI图 像进行二维滤波，得到二维滤波后的掌纹ROI图像f_Gabor(x，y)，x，y 为图像中的像素坐标；

S103：对滤波后的掌纹ROI图像采用2DPCA进行子空间特征投 影，分别得到测试样本和训练样本掌纹图像的特征矩阵Y′和Y_i，并 计算

其中，所述步骤S101具体包括：

采用如下公式对测试样本和训练样本的掌纹图像进行平滑滤波 处理：

$f(x,y)=\frac{1}{9}\underset{m,n=-1}{\overset{1}{\Sigma }}I(x+m,y+n)$

I(x+m，y+n)为测试样本或训练样本的掌纹图像，f(x，y)为平滑滤波后 的测试样本或训练样本的图像，x，y为图像中的像素坐标，增量m， n为-1，0或1；

对所述f(x，y)进行二值化处理，计算公式如下：

$b(x,y)=\left(\begin{array}{cc}I(x,y)& \mathrm{if}(f(x,y)\le t)\\ 255& \mathrm{if}\left(f(x,y>t)\right)\end{array}\right)$

b(x，y)为二值化处理后的掌纹图像，t为二值化处理时的阈值；

对二值化处理后的掌纹图像用轮廓提取算法提取轮廓，得到掌纹 图像的边缘坐标：

计算边缘坐标到掌纹图像中手腕中点的距离，并求取极小值，根 据极小值计算食指和中指的交点以及无名指和小拇指之间的交点K1 和K2，以K1和K2的连线为Y轴，过其中点的垂线作为X轴，建 立参考坐标系，以该坐标系原点为中心，分割出固定尺寸的掌纹中心 块，作为测试样本和训练样本的掌纹图像的ROI。

其中，分割出的固定尺寸的掌纹中心块为128×128像素的掌纹中 心块。

其中，所述步骤S102中滤波方式具体为：

使用Gabor小波g(x，y)对提取的掌纹ROI图像进行卷积， f_Gabor(x，y)＝g(x，y)*f_ROI(x，y)。

其中，所述步骤S103具体包括：

对Gabor滤波后的每类训练样本ROI图像，计算平均掌纹样本 ROI图像：

$\overline{f_{\mathrm{Gabori}}}(x,y)=\frac{1}{N}\underset{j=1}{\overset{N_i}{\Sigma }}{f}_{\mathrm{Gaborij}}(x,y)$

其中，N为训练样本个数，N_i为第i类训练样本个数，f_Gaborij(x，y)为第 i类中第j个训练样本的ROI图像；

将每类中的各个样本按如下公式进行规范化： 其中B_ij为f_Gaborij(x，y)规范化后的掌纹训练 样本ROI图像；

计算规范化后掌纹训练样本ROI图像的协方差矩阵G：

$G=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{B}_i^T{B}_i$

其中，B_i为训练样本中第i个规范化后的掌纹训练样本ROI图像；

根据最优特征向量准则函数J(h)＝h^TGh，得到G的特征向量，以 G的前d个最大特征值对应的单位正交特征向量构成一个特征子空 间；

将掌纹训练样本f_Gabor(x，y)按类别向所述特征子空间做投影，得到 每类训练样本的特征矩阵Y_i，将掌纹测试样本向所述特征子空间做投 影，得到特征矩阵Y′，并计算

其中，所述步骤S2具体包括：

S201：使用2DGabor熵变换对人脸图像测试样本和训练样本进 行光照预处理；

S202：对光照预处理后的人脸图像的测试样本和训练样本进行 LBP特征提取，分别生成测试样本和训练样本的LBP特征直方图矩 阵和

S203：使用PCA对人脸图像的LBP特征直方图矩阵和进 行子空间的特征提取，分别得到测试样本和训练样本人脸图像的特征 矩阵H′和H_i，并计算

其中，所述步骤S201中2DGabor熵变换如下：

$\mathrm{GDI}(x,y)=1-e^{-\frac{Q^{\prime }(x,y)}{E\left(Q^{\prime }(x,y)\right)}},$$Q^{\prime }(x,y)=\frac{Q(x,y)-Q_{\min }}{Q_{\max }-Q_{\min }},$$Q(x,y)=\frac{L(x,y)}{G(x,y)*L(x,y)},$

其中，L(x，y)为测试样本或训练样本的人脸图像，G(x，y)为2DGabor 函数，Q_max和Q_min分别为测试样本或训练样本人脸图像Q(x，y)的最大 值和最小值，E(Q′(x，y))为人脸图像中每个像素的平方和。

其中，所述步骤S202具体包括：

按类别对人脸图像训练样本进行LBP特征提取，并按以下公式 (1)统计人脸图像训练样本经LBP计算后的特征直方图，

$H_{\mathrm{ij}}\left(k\right)=\underset{x,y}{\Sigma }I\{{\mathrm{GDI}}_{\mathrm{LBPij}}(x,y)=k\},k=\mathrm{0,1},...,B-1---\left(1\right)$

其中，B为2ⁿ，n为LBP算子的采样点个数，i为训练样本类别，j 表示第i类中的第j个训练样本，I的取值为0或1；

利用公式(1)统计人脸图像测试样本经LBP计算后的特征直方 图，此时i，j的值都取1，得到GDI的LBP直方图H；

将GDI的LBP直方图作为向量H_ij和H，并把所有H_ij合并为一 矩阵H合并为一矩阵则和都为B×N矩阵，其中N为人 脸图像测试样本或训练样本总数。

其中，所述步骤S203具体包括：

计算所述和的协方差矩阵∑_H和∑_Hi；

分别从所述协方差矩阵∑_H和∑_Hi中选择前k个最大本征特征值 对应的特征向量构成变换矩阵A和A_i，通过线性变换和 得到人脸图像测试样本的特征矩阵H′和每类训练样本的 特征矩阵H_i，并计算

(三)有益效果

本发明使用数字图像处理技术，有效提取人的手掌的纹理信息和 人的脸部的结构信息，将两种生物信息有机结合，进行人的身份识别， 获得了更高的识别率，同时在识别时也具有更高的鲁棒性。

附图说明

图1是根据本发明的实施例的基于掌纹和人脸特征提取的身份识 别方法流程图；

图2是根据本发明的实施例的基于掌纹和人脸特征提取的身份识 别方法中测试样本和训练样本的掌纹原始图像；

图3是根据本发明的实施例的基于掌纹和人脸特征提取的身份识 别方法在ROI过程中的掌纹图像，其中，(a)为二值化后的掌纹图像， (b)为掌纹图像边缘，(c)(d)为建立坐标系时的掌纹图像；

图4是根据本发明的实施例的基于掌纹和人脸特征提取的身份识 别方法提取的ROI图像；

图5是根据本发明的实施例的基于掌纹和人脸特征提取的身份识 别方法中人脸图像LBP提取过程图。

具体实施方式

本发明提出的基于掌纹和人脸特征提取的身份识别方法，结合附 图和实施例说明如下。

如图1所示，步骤S1，对掌纹图像的测试样本和不同类别的训练 样本进行特征提取，分别得到特征矩阵Y′和Y_i，计算测试样本和不 同类别的训练样本的特征矩阵之间的距离其中i为 掌纹图像训练样本类别编号。具体步骤为：

第一步，提取掌纹图像测试样本和训练样本的ROI图像f_ROI(x，y)， 原始的掌纹图像如图2所示。提取时首先按如下公式对测试样本和训 练样本的掌纹图像进行平滑滤波处理：

$f(x,y)=\frac{1}{9}\underset{m,n=-1}{\overset{1}{\Sigma }}I(x+m,y+n)$

I(x+m，y+n)为测试样本或训练样本的掌纹图像，f(x，y)为平滑滤波后 的测试样本或训练样本的图像，x，y为图像中的像素坐标，增量m， n的值为-1，0或1。对所述f(x，y)进行二值化处理，计算公式如下：

$b(x,y)=\left(\begin{array}{cc}I(x,y)& \mathrm{if}(f(x,y)\le t)\\ 255& \mathrm{if}(f(x,y)>t)\end{array}\right)$

b(x，y)为二值化处理后的图像，t为二值化处理时的阈值，二值化处理 后的掌纹图像如图3(a)所示。对二值化处理后的掌纹图像用轮廓 提取算法提取轮廓(边缘轮廓如图3(b)所示)，得到掌纹图像的边 缘坐标：计算边缘坐标到图像中手腕中点的距离，并求取极小值，根 据极小值计算出食指和中指的交点以及无名指和小拇指之间的交点 K1和K2，以K1和K2的连线为Y轴，过其中点的垂线作为X轴， 建立参考坐标系(如图3(c)、3(d)所示)。以该坐标系原点为中 心，分割出固定尺寸的掌纹中心块，作为测试样本和训练样本的掌纹 图像的ROI。其中，分割固定尺寸的掌纹中心块优选为128×128像素 的掌纹中心块，如图4所示。

第二步，利用Gabor小波g(x，y)对提取的测试样本和训练样本的 掌纹ROI图像卷积的方式进行二维滤波：f_Gabor(x，y)＝g(x，y)* f_ROI(x，y)，f_Gabor(x，y)为滤波后的掌纹ROI图像。其中，g(x，y)具体为：

$g_{a,\theta }(x,y)=\frac{1}{2\mathrm{\pi \gamma }{\sigma }^2}\exp \left\{\frac{a^2}{2{\sigma }^2}\right[{(x\cos \theta +y\sin \theta )}^2+{\gamma }^2{(-x\sin \theta +y\cos \theta )}^2\left]\right\}$

$\times \exp \left[\mathrm{ja}{w}_0(x\cos \theta +y\sin \theta )\right]$

其中，为高斯包络的宽高比，通常取值为0.5～1.0，本实施 例中γ＝1，即σ_x＝σ_y＝σ，a为Gabor小波的尺度参数，θ为小波的方向 (逆时针的旋转角度)。对于本实施例用的Gabor小波，取a＝2^-w， w＝0，1，……，W-1，v＝0，1，……，V-1，其中M＝4，V＝4。W和V 分别为Gabor小波的尺度个数和方向个数。图5显示的是M＝4，V＝4 的二维Gabor小波的实部和虚部，空域内4个尺度和4个方向的Gabor 小波实部(w₀＝π/2，σ＝2)。卷积后可得到不同尺度不同方向的掌纹特 征图像。

第三步，对滤波后的掌纹ROI图像采用二维主元分析 (two-dimensional principal component analysis，2DPCA)进行子空间 特征投影，分别得到测试样本和训练样本掌纹图像的特征矩阵Y′和 Y_i。由于经过Gabor滤波的GaborROI都是128×128大小的高维数据， 因此，在采用2DPCA进行子空间特征投影时先对GaborROI进行2 倍的降采样到64×64。设f_Gaborijl(x，y)为Gabor滤波后的掌纹样本中第i 类第j个样本的第l尺度和方向的ROI，计算第i类训练样本的第l 尺度和方向的类内平均掌纹样本ROI图像：

$\overline{f_{\mathrm{Gaboril}}}(x,y)=\frac{1}{N}\underset{j=1}{\overset{N_i}{\Sigma }}{f}_{\mathrm{Gaborijl}}(x,y)$

其中，N为训练样本个数，N_i为第i类训练样本个数，l＝1，…， 16，4个尺度和4个方向。将每类中的各个样本按如下公式进行规范 化：其中B_ijl为f_Gaborijl(x，y)规范化后的掌纹 训练样本ROI图像。计算规范化后掌纹训练样本ROI图像的协方差 矩阵G：

$G=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{B}_{\mathrm{il}}^T{B}_{\mathrm{il}}$

其中，B_il为训练样本中第i个类别的第l尺度和方向的规范化后 的掌纹训练样本ROI。根据最优特征向量准则函数J(h)＝h^TGh，得到 G的特征向量，G为掌纹ROI矩阵的高，为128×128大小的矩阵。 接下来进行2DPCA，对G进行降维。以G的前d个(优选为20个) 最大特征值对应的单位正交特征向量构成一个特征子空间，其中，h 为n维单位列向量。将掌纹训练样本f_Gabor(x，y)按类别向所述特征子空 间做投影，得到每类训练样本在l尺度和方向上的特征矩阵Y_il，将掌 纹测试样本向所述特征子空间做投影，得到特征矩阵Y′_l，并计算l 尺度和方向上的测试样本和各个类别的训练样本的特征矩阵之间的 距离求所有尺度和方向上的的平均值得到测 试样本和各个类别的训练样本的特征矩阵之间的距离

步骤S2，对上述掌纹图像对应的人脸图像的测试样本和不同类 别的训练样本进行特征提取，分别得到特征矩阵H′和H_i，计算测试 样本和不同类别的训练样本的特征矩阵之间的距离其中i为人脸图像训练样本类别编号。具体步骤为：

第一步，为了减少光照的影响，使用2DGabor熵变换对人脸图 像测试样本和训练样本进行光照预处理，2DGabor熵变换公式如下：

$\mathrm{GDI}(x,y)=1-e^{-\frac{Q^{\prime }(x,y)}{E\left(Q^{\prime }(x,y)\right)}},$$Q^{\prime }(x,y)=\frac{Q(x,y)-Q_{\min }}{Q_{\max }-Q_{\min }},$$Q(x,y)=\frac{L(x,y)}{G(x,y)*L(x,y)}.$

其中，L(x，y)为测试样本或训练样本的人脸图像，在计算Q(x，y)公式 中的“*”为卷积操作，Q_max和Q_min分别为测试样本或训练样本人脸 图像Q(x，y)的最大值和最小值。G(x，y)为2DGabor函数：

$G(x,y)=e^{-\frac{j2\pi }{\lambda }{x}_r}{e}^{-\frac{1}{2}(\frac{x_r^2}{{\delta }_x^2}+\frac{y_r^2}{{\delta }_y^2})}$

其中，x_r＝(x-x₀)cos(θ)+(y-y₀)sin(θ)，y_r＝-(x-x₀)sin(θ)+(y-y₀)cos(θ)， 本实施例中取λ＝2，θ＝0，δ_x＝1，δ_y＝7，为使2DGabor函数在x₀，y₀位置时幅值为顶峰，取x₀＝0，y₀＝0。

第二步，按类别对人脸图像训练样本进行局部二值模式(Local Binary Pattern，LBP)特征提取，并统计人脸图像训练样本经LBP计 算后的特征直方图。本实施例中LBP算子定义为在3×3的窗口，以 窗口中心像素点为阈值，将相邻的8个像素的灰度值与其进行比较， 若周围像素值大于中心点的值，则该像素位置被标记1，否则为0。 这样，3×3邻域内的8个点可产生一个8-bit的无符号数，再按其位 置赋以不同权重求和得一个整数，即得到该窗口的LBP值。在3×3 的邻域内进行8个点的采样，则得到2⁸种二进制模式，计算单一像素 的LBP特征值的过程如图5所示。对人脸2DGabor熵图像GDI进行 LBP特征提取，得到GDI中每一个像素的LBP特征值。然后统计LBP 特征直方图，公式如下：

$H_{\mathrm{ij}}\left(k\right)=\underset{x,y}{\Sigma }I\{{\mathrm{GDI}}_{\mathrm{LBPij}}(x,y)=k\},k=\mathrm{0,1},...,B-1---\left(1\right)$

其中，B为256，i为训练样本类别，j表示第i类中的第j个训练样 本，当GDI_LBPij(x，y)＝k时，I的取值为1，否则为0。

利用公式(1)统计人脸图像测试样本经LBP计算后的特征直方 图，此时i，j的值都取1，得到GDI的LBP直方图H；

将GDI的LBP直方图作为向量H_ij和H，并把所有H_ij合并为一 矩阵H合并为一矩阵则和都为B×N矩阵，其中N为人 脸图像测试样本或训练样本总数。

第三步，使用主元分析(Principal component analysis，PCA)对 人脸图像的LBP特征直方图矩阵和进行子空间的特征提取，分 别得到测试样本和训练样本人脸图像的特征矩阵H′和H_i：首先计算 所述和的协方差矩阵∑_H和∑_Hi；然后分别从所述协方差矩阵 ∑_H和∑_Hi中选择前k(优选k＝18)个最大本征特征值对应的特征 向量构成变换矩阵A和A_i，通过线性变换和得到人 脸图像测试样本的特征矩阵H′和每类训练样本的特征矩阵H_i，并计 算

步骤S3，将所述和按如下公式进行归一化处理：

$f_i^{\mathrm{Palm}}=\frac{d_i^{\mathrm{Palm}}-\min \left(d_i^{\mathrm{Palm}}\right)}{\max \left(d_i^{\mathrm{Palm}}\right)-\min \left(d_i^{\mathrm{Palm}}\right)},$$f_i^{\mathrm{Face}}=\frac{d_i^{\mathrm{Face}}-\min \left(d_i^{\mathrm{Face}}\right)}{\max \left(d_i^{\mathrm{Face}}\right)-\min \left(d_i^{\mathrm{Face}}\right)}$

其中，max()，min()为最大最小值函数。

步骤S4，将归一化处理后的距离和按下述公式对掌 纹特征和对应人脸的特征进行融合：

$f_i=\frac{f_i^{\mathrm{Palm}}+f_i^{\mathrm{Face}}}{2},$

得到融合后的距离f_i，取f_i为最小值的第f类训练样本作为测试样本 的身份类别。

为验证本发明方法的实用性，选用国际公认的香港理工大学的掌 纹库和国际公认的人脸库Feret人脸库，每个库中分别选择320人的 10张掌纹图像和人脸图像，其中6张作为训练样本，其余4张图像 作为测试样本，320人都相应做好标记，一个人的掌纹对应一个人的 人脸。经过测试本发明方法，识别率在99％以上。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关 技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下， 还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明 的范畴，本发明的专利保护范围应由权利要求限定。