基于人脸几何尺寸归一化的人脸图像识别方法

摘要

本发明涉及基于人脸几何尺寸归一化的人脸图像识别方法，属于图像处理技术领域。本方法包括：在输入的人脸图像上确定左右眼球坐标，并根据坐标将图像旋转到水平位置得到人脸图像2，再确定出人脸图像2的左右眼球和下颌点坐标，规定人脸图像的归一化几何尺寸数值，对人脸图像2进行放大或缩小处理，得到满足标准距离的人脸图像3；根据人脸图像3的左右眼球和下颌点坐标位置，对人脸图像3进行裁减得到标准的归一化人脸图像。对训练集、已知的和待识别的人脸图像形成几何尺寸归一化的人脸图像，并提取人脸特征，在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行人脸识别。本发明改善了人脸视觉效果，识别率有较大的提升。

说明书

技术领域

本发明属于图像处理技术领域，特别涉及提高人脸识别率的方法。

背景技术

人脸识别涉及到很多学科，包括图像处理、计算机视觉、模式识别等，也和生理学和生物学对人脑结构的研究成果紧密相关。公认的人脸识别难点是：

(1)年龄引起的人脸变化；

(2)姿态引起的人脸多样性；

(3)表情引起的人脸塑性变形；

(4)眼镜、化装等因素引起的人脸模式的多重性；

(5)光照引起的人脸图像的差异性。

在一般的人脸识别算法中没有对人脸图像做标准几何尺寸的归一化处理，而几何尺寸归一化处理不仅仅会影响人脸识别的识别率，还会影响人脸数据库中的人脸视觉效果。现有的人脸几何尺寸归一化方法主要以两眼之间的距离为基准，但是，人脸两眼之间的距离是不稳定的，特别是在水平转动的人脸图像中，这种不稳定性就更加突出。

发明内容

为了提高人脸识别的识别率，本发明提出了基于人脸几何尺寸归一化的人脸图像识别方法，该方法以颌下线上任何一点到两眼连线的垂直距离为基准对人脸图像做尺寸归一化，在此基础上提取人脸特征，可在一定程度上提高人脸识别的识别率和改善人脸数据库中的人脸图像的视觉效果。

本发明提出一种基于人脸几何尺寸归一化的人脸图像识别方法，包括对人脸几何尺寸归一化和人脸识别两部分，其特征在于，所述的对人脸几何尺寸归一化包括以下步骤：

1)在输入的人脸图像上确定出左眼球上的一点A的坐标位置(x₁，y₁)、右眼球上的一点B的坐标位置(x₂，y₂)，通过A、B两点做直线L₁，并确定下颌点C₀坐标(x₀，y₀)；

2)计算直线L₁和水平线的夹角α；

直线L1和水平线的夹角α由(1)式求得，其中(x₁，y₁)，(x₂，y₂)分别对应左右眼球坐标：

$>>\alpha >=>arctan>>(>>>>y>2>>->>y>1>>>>>x>2>>->>x>1>>>>)>>>s>$

3)对该人脸图像进行旋转角度为-α的旋转处理，得到人脸图像2；

旋转表达式如下：

$>\left(\begin{array}{}>>>>x>\prime >>>>>>>y>\prime >>>>>>=\left(\begin{array}{}>>>cos>\alpha >>>sin>\alpha >>>>>->sin>\alpha >>>cos>\alpha >>>>\left(\begin{array}{}>>>x>>>>>y>>>>>>s>\end{array}\right)\end{array}\right)\end{array}\right)$

式中，x、y为输入人脸图像的坐标，x′、y′为人脸图像2的坐标；

4)在人脸图像2上确定出左眼球上的一点C的坐标位置(x₃，y₃)、右眼球上的一点D的坐标位置(x₄，y₄)，通过C、D两点做直线L₂，并确定出人脸图像2的下颌点E的坐标位置(x₅，y₅)；

5)规定几何尺寸归一化的人脸图像的几何尺寸的数值，其中宽度的尺寸为W，高度的尺寸为H；规定颌下线上的任何一点到两眼连线的垂直距离的标准值为H₀，到图像下边框的垂直距离的标准值为H₁，两眼连线到图像上边框的垂直距离的标准值为H₂；

6)求出E点到直线L2的垂直距离h_y，并计算图像放缩系数K＝h_y/H₀；

其中，E点到直线L2的垂直距离h_y为

$>>>h>y>>=>>y>5>>->>>>x>3>>+>>x>4>>>2>>>s>$

7)对人脸图像2按照放缩系数K进行放大或缩小处理，得到满足标准距离H₀的人脸图像3；

8)在人脸图像3上确定出左眼球上的一点M的坐标位置(X₆，y₆)、右眼球上的一点N的坐标位置(X₇，y₇)，以及下颌点P的纵坐标y₈位置；

9)对人脸图像3进行裁减得到标准的归一化人脸图像，裁去人脸图像3中x坐标小于(x₆+x₇)/2-W/2、大于(x₆+x₇)/2+W/2的部分，以及y坐标小于(y₇-H₂)、大于(y₈+H₁)的部分。如果裁减后图像的宽度小于W或者高度小于H，则采用插值的方法，将宽度补到W或者高度补到H；

所述的人脸识别包括以下步骤：

10)对训练集的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对归一化的人脸图像提取人脸特征；

11)对已知的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对归一化的人脸图像提取人脸特征，并建立包含已知人脸的特征和已知人脸的压缩图像以及已知人的个人身份档案的数据库；

12)对待识别的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对归一化的人脸图像提取人脸特征；

13)在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行人脸识别。

上述人脸识别部分中的步骤10)-13)可采用已有成熟技术实现。

本发明的特点及效果

本发明的特点是选取了活动人脸中精度高的稳定的关键特征点作为基准来实现人脸几何尺寸的归一化，达到了最好的人脸图像归一化效果，并且改善了人脸数据库中的人脸视觉效果。基于人脸几何尺寸归一化的人脸图像识别方法的识别率较普通的人脸图像识别算法有了较大的提升。

附图说明

图1为输入的原人脸图像。

图2为本发明将眼球候选区域被分成9个子图像区域示意图。

图3为原人脸图像的两眼、下颌的定位以及直线L₁和水平线的夹角α的示意图。

图4为将原人脸图像经过旋转得到的人脸图像2，以及两眼、下颌在其中的位置示意图。

图5为本发明实施例的人脸图像的几何尺寸的定义及标准示意图。

图6为人脸图像2经过缩放得到的人脸图像3，以及两眼、下颌在其中的位置示意图。

图7为本发明最终得到的归一化的人脸图像。

图8为从归一化的人脸图像中提取出裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种部件的示意图。

具体实施方式

本发明提出的基于人脸几何尺寸归一化的人脸图像识别方法实施例结合各附图详细说明，该方法包括以下步骤：

1)在输入的人脸图像(如图1所示)上确定出左眼球上的一点A的坐标位置(x₁，y₁)、右眼球上的一点B的坐标位置(x₂，y₂)，并通过A、B两点做直线L₁，并确定下颌点C₀坐标(X₀，y₀)。

该步骤中左右眼球上的点A、B的坐标位置可采用两种方法实现，一种方法是用鼠标直接在人脸图像上确定左右眼球上的点A、B的坐标位置，另一种方法是采用积分投影和特征空间分析相结合的算法自动地确定人脸图像上左右眼球上的点A、B的坐标位置。本实施方法采用第二种方法，该方法包括以下步骤：

①检测人脸区域：

人脸区域检测，即确定图像中人脸区域的上下和左右边缘位置。本实施例对输入图像应用sobel算子来检测图像边缘，通过对边缘图像在水平和垂直方向上的积分投影进行分析来确定人脸区域的位置。边缘图在水平方向和垂直方向上的积分投影的计算如公式(1)，(2)所示。

$>>H>>(>y>)>>=>>\Sigma >>x>=>0>>M>>E>>(>x>,>y>)>>->->->>(>1>)>>>s>$

$>>V>>(>x>)>>=>>\Sigma >>y>=>0>>N>>E>>(>x>,>y>)>>->->->>(>2>)>>>s>$

如果点(x，y)是检测到的边缘点，E(x，y)＝1；否则E(x，y)＝0。

人脸区域的左右边缘x_l，x_r由下式确定：

$>>>x>l>>=>>>arg>min>>x>>V>>(>x>)>>>>V>>(>>x>0>>)>>/>3>->->->>(>3>)>>>s>$

$>>>x>r>>=>>>arg>max>>x>>V>>(>x>)>>>>V>>(>>x>0>>)>>/>3>->->->>(>4>)>>>s>$

式中，x₀是边缘图垂直积分投影最大值对应的x坐标，即使得垂直积分投影值大于垂直积分投影最大值1/3(经验值)的最小的和最大的x值作为人脸区域的左右边缘。人脸区域的上下边缘y_t，y_b由公式(5)，(6)确定：

$>>>y>t>>=>>(>>arg>>min>y>>>H>>(>y>)>>>>>(>>x>r>>->>x>l>>)>>/>10>)>>+>>(>>x>r>>->>x>l>>)>>/>3>->->->>(>5>)>>>s>$

y_b＝y_t+(x_r-x_l)×0.8                         (6)

公式(5)中又加上了人脸区域宽度的1/3(经验值)是为了尽量减少头发对定位结果的影响；该步骤虽然只能粗略的确定图像中的人脸区域，但它保证了两个眼睛都包含在其中。

②确定眼球位置候选点：

眼球位置的候选点是通过分析眼睛区域图像的灰度和梯度分布来确定的。选择梯度投影直方图中上方积分投影之和和下方积分投影之和相差最大的点作为眼球纵坐标的起始候选点y_O，如公式(7)所示：

$>>>y>O>>=>>arg>>max>y>>>>(>>\Sigma >>i>=>1>>15>>H>>(>y>+>i>)>>->>\Sigma >>i>=>1>>15>>H>>(>y>->i>)>>)>>->->->>(>7>)>>>s>$

确定y_O之后，本实施例选择y_O上方30个像素(经验值)区域内的所有点作为眼球位置的起始候选点。对于每个候选点，考察以该点为中心的30×30图像区域的灰度分布。本实施例把该图像区域分成如图2所示的9个子图像区域，并计算每个子图像区域的灰度积分，如公式(8)所示。

这里I(x，y)代表点(x，y)处的灰度值。由于眼球部分的灰度值一般要比其周边区域的灰度值小，所以如果某个子图像区域的灰度积分S_i，i＝1，2，3，4，6，7，8，9小于中央子图像，即区域5的灰度积分S₅，就去掉这个候选点。剩余的候选点作为最终眼球位置的候选点。

由于眼球反光，很多人脸图像都会在眼球内部留下小的亮点，这会导致一些好的候选点被错误的去除。所以在计算灰度积分投影之前，要对人脸图像作去除小亮点的处理。对于人脸图像中的每个点，把它的灰度值替换为以它为中心3×3邻域内9个点的最小灰度值。

③眼球位置的确定：

对于检测到的候选点，本发明用特征空间分析的方法(PCA)来确定最终眼球的位置。选用另外9组不同姿态人脸图像中的眼睛区域图像作为训练集(眼睛区域可通过手工定位确定)，分别训练了左眼和右眼的18个特征空间。对于每个眼球位置的候选点C_i，把它对应的子图像分别投影到这18组特征空间，得到投影向量P_i，i＝1，2…18，定义每个投影向量的匹配误差为：

$>>E>>(>>C>i>>)>>=>>\Sigma >>k>=>1>>D>>>>>P>k>>2>>>\lambda >k>>>->->->>(>9>)>>>s>$

这里p_k是投影向量第k维的值，λ_k是对应第k个特征向量的特征值，D是保留的特征向量的维数。每个特征点对应图像区域的匹配误差定义为它在18组特征空间投影向量匹配误差的最小值。对于所有的候选点，选择匹配误差最小的候选点作为第一个眼球的位置。为了避免两个眼球都定位在同一个眼睛上，选择和第一个眼球位置距离大于给定值的候选点中匹配误差最小的点作为另外一个眼球位置。这两个位置确定后，选择x坐标较小的为左眼球A(x₁，y₁)，x坐标较大的为右眼球B(x₂，y₂)

④确定下颌点C₀坐标(x₀，y₀)：可采用2种方法实现，第1种采用鼠标直接在人脸图像上确定出，第2种采用积分投影和人脸器官(部件)比例相结合的方法。

本实施例采用积分投影和人脸器官(部件)比例相结合的方法，即根据人脸区域的横向积分投影图、眼球的位置和人脸上各器官的比例关系确定下颌点。该方法法包括两个步骤：其一是检测出可能对应于器官的候选谷点(即横向积分投影曲线的谷值点)，其二是确定各个器官对应的是哪些候选谷点。

先对横向积分投影曲线进行均值滤波，然后求其二阶导数。二阶导数的极值点对应了投影曲线的峰、谷值点，其极大值点对应了投影曲线的谷点。检测二阶导数的峰，作为人脸器官纵坐标的候选位置。对得到的候选位置，采用循环的策略，找出与人脸器官比例关系最匹配的情况，作为最终的结果。这样就得到了各器官的纵坐标，其中包括下颌点C₀纵坐标y₀。C₀横坐标x₀由A、B的中点来确定，即x₀＝(x₁+x₂)/2。如图3所示，A、B、C₀三点分别为确定的左、右眼睛的坐标点及下颌点，图中，直线L₁为A、B的连线，L₀为水平线，直线L₁和水平线L₀的夹角α。

2)计算直线L₁和水平线L₀的夹角α。

直线L1和水平线L₀的夹角α由(10)式求得，其中A(x₁，y₁)，B(x₂，y₂)分别对应左右眼球坐标：

$>>\alpha >=>arctan>>(>>>>y>2>>->>y>1>>>>>x>2>>->>x>1>>>>)>>->->->>(>10>)>>>s>$

3)对该人脸图像进行旋转角度为-α的旋转处理，得到人脸图像2，如图4所示，在图4中，C、D分别为左眼球点和右眼球点，直线L₂为通过C、D两点的连线，E为下颌点，L₃为水平颌下线，h_y为E点到直线L2的垂直距离。

设输入的人脸图像的宽度和高度依次为SrcWidth、SrcHeight，经旋转得到的人脸图像2的宽度和高度分别是w、h。

由于在实际的图像旋转中，存在着坐标原点的平移，因此需要对坐标进行偏移校正。设水平和竖直方向上的偏移量分别是dx、dy。则根据α的不同，有如下关系：

当α＞0时：

    w＝INT(SrcWidth×cosα+SrcHeight×sinα)；

    h＝INT(SrcWidth×sinα+SrcHeight×cosα)；    (10.1)

    dx＝0；

    dy＝SrcWidth×sinα；

当α＜0时：

    w＝INT(SrcWidth×cosα-SrcHeight×sinα)；

    h＝INT(-SrcWidth×sinα+SrcHeight×cosα)；   (10.2)

    dx＝-SrcHeight×sinα；

    dy＝0；

对人脸图像2中的每一点(i，j)，设(i，j)在原图像中的对应点为(io，jo)。当

$>>\begin{array}{}>>>io>=>INT>>(>>(>i>->dx>)>>\times >cos>\alpha >->>(>j>->dy>)>>\times >sin>\alpha >)>>>>>>jo>=>INT>>(>>(>i>->dx>)>>\times >sin>\alpha >+>>(>j>->dy>)>>\times >cos>\alpha >)>>>>>>->->->>(>11>)>>>s>\end{array}$

则Image2[j][i]＝OriginalImage[jo][io]；否则，(io，jo)位于图像2的空白部分，可以将其赋值为：Image2[j][i]＝0。

4)在人脸图像2上确定出左眼球上的一点C的坐标位置(x₃，y₃)、右眼球上的一点D的坐标位置(x₄，y₄)，通过C、D两点做直线L₂，并确定出人脸图像2的下颌点E的坐标位置(x₅，y₅)；

该步骤中左右眼球上的点C、D的坐标位置可采用3种方法实现，第一种方法是用鼠标直接在人脸图像上确定出左右眼球上的点C、D的坐标位置，第二种方法是采用上述确定A、B的坐标的相同方法确定人脸图像上左右眼球上的点C、D的坐标位置，第三种方法是通过A、B的坐标和α，计算出C、D点的坐标。本实施例采用第三种方法：

      x₃＝INT(x₁×cosα+y₁×sinα+dx+0.5)；

      y₃＝INT(-x₁×sinα+y₁×cosα+dy+0.5)；    (12)

      x₄＝INT(x₂×cosα+y₂×sinα+dx+0.5)；

      y₄＝INT(-x₂×sinα+y₂×cosα+dy+0.5)；

该步骤中人脸图像2的下颌点E的坐标位置(x₅，y₅)可采用3种方法实现，第一种方法是用鼠标直接在人脸图像上确定出下颌点E点的坐标位置，第二种方法是采用上述确定下颌点C₀的相同方法确定人脸图像上下颌点E点的坐标位置，第三种方法是通过C₀的坐标和α，计算出E点的坐标(x₅，y₅)。本实施例采用第三种方法：

      x₅＝INT(x₀×cosα+y₀×sinα+dx+0.5)；    (13)

      y₅＝INT(-x₀×sinα+y₀×cosα+dy+0.5)；

5)规定几何尺寸归一化的人脸图像的几何尺寸的数值，如图5所示，图5中1为图像上边框，2为两眼所确定的直线L₂，3为颌下线L₃，4为图像下边框，5为图像右边框，6为图像左边框。

本实施例中规定图像的宽度(5、6之间的距离)为W＝360像素，高度(1、4之间的距离)为H＝480像素。规定颌下线上的任何一点到两眼连线的垂直距离(2、3之间的距离)的标准值为H₀＝200像素，到图像下边框的垂直距离(3、4之间的距离)的标准值为H₁＝28像素，两眼连线到图像上边框的垂直距离(1、2之间的距离)的标准值为H₂＝252像素。

6)求出E点到直线L2的垂直距离h_y为

$>>>h>y>>=>>y>5>>->>>>x>3>>+>>x>4>>>2>>->->->>(>14>)>>>s>$

并计算图像放缩系数K＝h_y/H₀。

7)对人脸图像2按照放缩系数K进行放大或缩小处理，得到满足标准距离H₀的人脸图像3，如图6所示，图6为图4经过缩小处理后的图，图中，M、N为左眼球点、右眼球点的坐标点，L₄为领下水平线，P为下颌点。

人脸图像3的宽(w₃)、高(h₃)依次为：

$>>\begin{array}{}>>>>w>3>>=>INT>>(>K>\times >w>)>>>>>>>h>3>>=>INT>>(>K>\times >h>)>>>>>>->->->>(>15>)>>>s>\end{array}$

8)在人脸图像3上确定出左眼球上的一点M的坐标位置(x₆，y₆)、右眼球上的一点N的坐标位置(x₇，y₇)，以及下颌点P的纵坐标位置。

则两眼M、N的中点MidPoint的坐标满足下式：

$>>\begin{array}{}>>>MidPoint>.>x>=>>>>x>6>>+>>x>7>>>2>>=>INT>>(>K>\times >>>>x>3>>+>>x>4>>>2>>)>>>>>>MidPoint>.>y>=>>>>y>6>>+>>y>7>>>2>>=>INT>>(>K>\times >>>>y>3>>+>>y>4>>>2>>)>>>>>>->->->>(>16>)>>>s>\end{array}$

P点的纵坐标y₈满足：

      y₈＝MidPoint.y+H₀                   (17)

9)对人脸图像3进行裁减得到标准的归一化人脸图像。

根据标准归一化图像的尺寸，裁去人脸图像3中x坐标小于(x₆+x₇)/2-W/2、大于(x₆+x₇)/2+W/2的部分，以及y坐标小于(y₇-H₂)、大于(y₈+H₁)的部分。

具体实现时，定义裁剪矩形CropRect，其左右边界、上下边界的坐标分别定义为CropRect.left、CropRect.right、CropRect.top、CropRect.bottom。具体的裁剪尺寸为：

按该裁剪尺寸对人脸图像3进行裁剪。如果裁减后图像的宽度小于W或者高度小于H，则采用插值的方法，将宽度补到W或者高度补到H，从而得到标准尺寸的归一化人脸图像，如图7所示。

10)对训练集的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对每一张归一化的人脸图像提取出每一个人的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，对从训练集人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛+眉毛)、特征眼睛、特征鼻子、特征嘴巴，图8给出了这5种部件的例示。本实施例的特征提取以及识别算法采用专利号01136577.3的专利：基于部件主分量分析的多模式人脸识别方法。

11)对已知的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对从已知的归一化人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值并建立包括已知人脸裸脸、眼睛+眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值和已知人脸的压缩图像及已知人的个人身份档案的数据库。本步骤的特征提取以及识别算法也采用专利号01136577.3的专利：基于部件主分量分析的多模式人脸识别方法。

12)对待识别的每一个人的人脸图像采用步骤1)～步骤9)形成几何尺寸归一化的人脸图像，对从待识别归一化人脸中提取出来的裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的投影特征值分析方法，提取待识别人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的投影特征值。本步骤的特征提取以及识别算法也采用专利号01136577.3的专利：基于部件主分量分析的多模式人脸识别方法。

13)采用全局人脸识别和局部人脸识别的方法进行人脸识别。人脸识别的过程为：以待识别人脸的特征与数据库中存储人脸的特征进行比对，计算相似度，再按与待识别人脸相似度的大小对数据库中的人脸进行从大到小的排序，并按照这一顺序显示出被查找出的人的照片、个人的身份档案和与待识别人的相似度，从而查找出待识别者的身份或与待识别者在面貌上相似人的身份。计算待识别人脸与已知人脸相似度采用(19)式。

$>>R>=>>1>->>>|>|>A>->B>|>|>>>|>|>A>|>|>+>|>|>B>|>|>>>>->->->>(>19>)>>>s>$

(19)式中A为待识别人脸的特征投影值串、B为数据库中已知人脸的归特征投影值串。

本实施例采用全局人脸识别方法时，对已知人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的特征投影值按5∶6∶4∶3∶2的比例进行加权，同时对待识别人脸的裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的特征投影值按5∶6∶4∶3∶2的比例进行加权，然后按(19)式计算相似度。

采用局部人脸识别方法时，用人机交互的方法选择裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的任意组合，其组合数为5!＝120种，即共有120种人脸识别模式。裸脸、眼睛+眉毛、眼睛、鼻子、嘴巴的特征投影值仍按5∶6∶4∶3∶2的比例进行加权。本步骤也采用专利号01136577.3的专利：基于部件主分量分析的多模式人脸识别方法。