基于辐射模板的旋转人脸检测方法

摘要

一种基于辐射模板的旋转人脸检测方法，至少包括：取被检测图像的相应区域的中心点作为辐射模板的中心点，并初始化该辐射模板；计算辐射模板覆盖区域中的每一点，获取该区域直方图；根据人脸直方图特征对该区域直方图进行特征匹配；获取用于控制该人脸旋转的方向数据。本发明根据旋转人脸的特征不变性，采用了一种新的辐射模板对人脸进行检测，根据在极坐标系下人脸特征相对于旋转中心体现的不依赖角度变换的特征，能够判断从0度到360度任意旋转的人脸；同时，本发明可对平面内多角度人脸进行检测，可提高在各种检测环境如镜头摇摆、被测者不配合等情况下的识别率，同时提高了在图片与视频检索系统中的应用范围。

说明书

技术领域

本发明涉及一种基于辐射模板的旋转人脸检测方法，特别涉及一种在具有各种背景图像中，且被旋转过的人脸图像识别的方法，属于模式识别与人工智能技术领域。

背景技术

作为生物识别工程的重要组成部分，人脸检测在身份鉴定、人物跟踪等生物安全领域具有很大优势。其具有花费低、无接触、直观、方便等优点。其次，人脸检测还可应用于各种多媒体领域，如视频会议、基于对象的数据编码、基于内容的视频搜索、三维人脸合成等。并且，人脸检测作为目标检测领域中的一个典型问题，涵盖了多方面学科的知识，并对一般物体的检测问题具有重要的指导意义。

目前的人脸检测方法可分为基于特征与基于统计两方面。在这两种方法的框架之下，发展了许多方法。Yuille等人运用变形模板方法建立了一个描述人脸特征(如双眼)的弹性模型。Yow等人利用了几何、空间、灰度等特征对人脸进行了判断。

特征脸与支持向量机方法都属于统计学习的范畴。其基本思想是：从给定的正例和反例集合中归纳产生出接受最大范围正例并排斥最大范围反例的一般规则。其中，特征脸方法应用的比较广泛。该方法利用卡胡内-劳埃夫变换(Karhunen-Loeve Transform，简称KL变换)产生的一组特征向量的加权线性组合来表示人脸。这一组特征向量就被称为“特征脸”。支持向量机(Support Vector Machine，一种基于统计学习的分类方法，简称SVM)是一种二次规划方法，对两类区分比较有效。神经网络也是一种基于样本统计学习的方法。美国麻省理工学院(Massachusettes Instituteof Technology，简称MIT)的研究者将人脸样本集和非人脸样本集的子类之间的距离作为识别特征向量，利用多层感知器(Multiple LevelProcessing，一种人工神经网络的结构，简称MLP)网络作为分类器实现了人脸检测。美国卡内基梅隆大学(Carnegie Mellon University，简称CMU)的Rowley等人直接以图像作为神经网络分类器，通过前馈神经网络对检测结果优化。

人脸的肤色在彩色空间中的分布相对来说比较集中，因此利用这个特性也可以对包含人脸的彩色图像进行肤色提取。Hsu等人在YcbCr(一种彩色系统，将彩色空间用三种坐标Y，Cb，Cr表示)彩色空间内建立了根据光照和背景变化的补偿模型，并利用肤色模板确定了人脸区域。

近一段时期Viola等人利用AdaBoost(一种分层学习算法，其发明人根据该方法特征创造此名词)算法进行了人脸检测，取得了很好的效果。AdaBoost是一种基于统计的学习算法，能够在学习过程中不断根据正例反例中各个事先定义好的特征所起的效果调整该特征的权值，最终按照特征的性能由好到坏给出判断准则。

根据对国内外人脸检测技术的研究可以发现：大部分方法都是对正面标准人脸进行检测，一旦人脸在平面内旋转，上述的就有可能失去效果。一些方法虽然对人脸旋转进行了检测，但主要集中在两个研究方法上。第一是利用统计学习的方法，如神经网络等，对不同角度的输入样本进行大量的学习，从而能够将多角度人脸的情况包含到判别准则中。这类方法首先需要大量的学习样本，并且检测效果受到这些样本的影响很大，一旦测试集与学习集环境不同，就需要重新学习。第二种方法是根据各个角度分别进行特征检测，即：利用正面标准人脸的特征判别准则，将人脸特征分别旋转若干个角度对候选区域进行检测。这种方法需要对候选区域用每个角度都来判断一遍，因此决定了角度范围不能太多，之间的距离也很大，从而导致漏选。

由上述可知，大部分人脸检测方法都仅对正面人脸姿态有效，但对人脸在平面内旋转较大角度却没有相应的处理方法。因此，如果能够对平面内多角度人脸进行检测对可以提高系统在各种检测环境如镜头摇摆、被测者不配合等情况下的识别率，同时可以提高在图片与视频检索系统中的应用范围，并可应用于其他旋转物体的检测。

发明内容

本发明的主要目的在于提供一种基于辐射模板的旋转人脸检测方法，根据旋转人脸的特征不变性，采用一种新的辐射模板对人脸进行检测，根据在极坐标系下人脸特征相对于旋转中心体现的不依赖角度变换的特征，能够判断从0度到360度任意旋转的人脸。

本发明的另一目的在于提供一种基于辐射模板的旋转人脸检测方法，可对平面内多角度人脸进行检测，可提高在各种检测环境如镜头摇摆、被测者不配合等情况下的识别率，同时可以提高在图片与视频检索系统中的应用范围。

本发明的目的是这样实现的：

一种基于辐射模板的旋转人脸检测方法，至少包括：

步骤1：取被检测图像的相应区域的中心点作为辐射模板的中心点，并初始化该辐射模板；

步骤2：计算辐射模板覆盖区域中的每一点，获取该区域直方图；

步骤3：根据人脸直方图特征对该区域直方图进行特征匹配；

步骤4：获取用于控制该人脸旋转的方向数据。

上述初始化辐射模板的具体操作包括：将该辐射模板的等分为一个以上的扇形，并设定：sum_k＝0；α_k＝0；β_k＝0；

其中：

k为辐射模板的扇形序号值；

α_k与β_k分别为两个标志量，表示第k个扇形是否为波峰或波谷；

sum_k为第k个扇形中的象素总数。

上述辐射模板直方图计算包括：

步骤21：取辐射模板覆盖区域中一扇形中的一点，如果该点满足公式： >则：sum_k＝sum_k+1；

步骤22：如果辐射模板覆盖区域中的每一点都已计算，则结束；否则执行步骤21；

其中：R为辐射模板的半径；

x，y分别为被计算点的笛卡儿坐标中的横向与纵向坐标值；

i，j分别是辐射模板圆心点的笛卡儿坐标中的横向与纵向坐标值；

k为被计算点所在的扇形序号值。

所述的特征匹配具体包括：

步骤31：如果sum_k＞sum_k+S-1modS，

          并且sum_k＞sum_k+1modS，

          并且sum_k＜Pthreshold

          并且sum_k＜TThreshold；

              α_k＝1，β_k＝1；

步骤32：如果如下公式成立，

$>{{}_{}}_{}^{}$>并且 $>{{}_{}}_{}^{}$>并且|k-k′|＜Wthreshold，α_k＝1并且α_k′＝1，则被计算的区域为一人脸候选区域；

其中：

k为辐射模板的扇形序号值，k＝0，1，…，S；

k′为辐射模板中除扇形序号k以外的扇形序号值，k′＝0，1，…，S；

S为辐射模板的扇形总数；

α_k和α_k′分别为表示第k和k’个扇形是否为波峰的标志变量；

β_k为表示第k个扇形是否为波谷的标志变量；

PThreshold为扇形区域的波峰最大阈值；

Ttthreshold为扇形区域的波谷最大阈值；

Wthreshold为两个波峰之间的最大间隔扇形数，且0＜Wthreshold＜S。

所述的两个波峰之间的最大间隔扇形数(即：Wthreshold)的取值为5。

上述的步骤4具体包括：

步骤41：根据如下公式计算三个波峰之间的距离最小值，得到代表双眼的波峰扇形，

|m-n|＝min|k-k′|，且α_{k，k′，m，n}＝1；

其中，m和n分别为代表双眼扇形的编码值；

k为辐射模板的扇形序号值，k′为辐射模板中除扇形序号k以外的扇形序号值，k′＝0，1，…，S；

α_{k，k′，m，n}为表示相应扇形是否为波峰的标志变量；

步骤42：对于编号值为t的扇形，如果m＜t＜n，且β_t＝1，则该扇形为人脸旋转的方向标志；

其中：m和n分别为代表双眼扇形的编码值；β_t为表示第t个扇形是否为波谷的标志变量。

上述被检测图像的相应区域为经过边缘提取的人脸候选区域，该边缘提取的步骤如下：

步骤01：从图像中提取人脸所在的皮肤区域；其主要内容为：事先对大量人脸图片进行统计，得到人脸肤色区域的像素分布概率，即每一种彩色像素值对应一个是否属于人脸肤色点的概率；提取时根据这些概率判断实际采集的图像中各个点的像素值是否属于肤色点。

步骤02：利用边缘算子进行方向性边缘提取，得到皮肤区域内的边缘图。其主要内容是：利用图像处理学中的边缘算子对肤色区域内的轮廓线边缘进行提取，从而得到黑白二值化的边缘图像，显示的像素点均为边缘点。提取时采用水平、垂直、两个对角线方向进行边缘提取，从而得到四个具有方向性的边缘图像。

本发明还进一步包括根据获得的人脸旋转方向，将该旋转人脸区域转正到竖直。本发明中辐射模板的半径根据被测区域确定，用以适应人脸区域大小的差异。

本发明根据旋转人脸的特征不变性，采用了一种新的辐射模板对人脸进行检测，根据在极坐标系下人脸特征相对于旋转中心体现的不依赖角度变换的特征，能够判断从0度到360度任意旋转的人脸；同时，本发明可对平面内多角度人脸进行检测，可提高在各种检测环境如镜头摇摆、被测者不配合等情况下的识别率，同时提高了在图片与视频检索系统中的应用范围。

附图说明

图1为本发明辐射模板示意图；

图2为本发明另一辐射模板示意图；

图3为本发明辐射模板与直方图对应示意图；

图4为本发明一实施例人脸辐射模板检测示意图；

图5为本发明另一实施例人脸辐射模板检测示意图；

图6为本发明带有肤色及人脸边缘预处理的辐射模板检测原理流程示意图。

具体实施方式

以下结合附图和具体的实施例对本发明作进一步的详细说明：

本发明所述的旋转人脸识别方法基于辐射模板，对一个围绕其中心在平面内旋转的物体来说，如果我们在其旋转中心轴上观察该物体，可以发现：无论它在圆周内旋转多少角度，相对于它的中心，其形状都保持不变；辐射模板就是用来提取出物体这一旋转不变性的。

参见图1和图2，其为本发明的辐射模板示意图，该模板为一个圆形，并且被分为若干辐射状扇形区域。为了对不同人脸大小情况进行处理，在辐射模板的基础上又划分了不同大小的若干同心圆，每一层同心圆表示一个模板，这样圆形模板就有了不同的大小范围，可以对不同大小人脸进行检测。

图3为基于辐射模板的旋转人脸识别原理示意图。首先整个辐射模板被划分为16个等面积扇形区域，按照逆时针从最上面开始标号为0至15。然后考虑人脸区域的边缘特征，对正面人脸来说，如果按照垂直方向提取出其水平边缘，结果将主要提取出双眉、双眼、嘴唇及鼻的下侧边缘特征。

统计每一个扇形区域内的人脸边缘点个数作为纵坐标，16个扇形区域作为横坐标，则可以得到一个人脸区域边缘点的直方图。并且从图中可以看出，直方图明显呈现出三个波峰、三个波谷(将第0号与15号扇形连接)的情况。之所以会出现这种信号，是由于人脸的双眼区域与嘴部呈现一种三角关系，即左右眼和嘴部边缘比较集中，但左右眼之间、左眼与嘴、右眼与嘴之间均没有明显边缘相连，因此体现在圆形模板的扇形区域中，就表现为这三个区域所落在的扇形内数值较大，而三个区域之间的扇形区域数值较少。

值得注意的是：如果不采取具有水平方向性的边缘检测而采用全方位边缘检测，则会得到竖直方向的鼻子两侧和脸庞两侧边缘线，这样就会有边缘落在原来数值为零的扇形区域里，导致双眼和嘴的直方图分界不明显，无法出现三个波峰和波谷的特征。因此，边缘检测必须具有方向性。

采用圆形模板与扇形区域划分，能够在人脸边缘旋转后扇形区域直方图仍能够呈现三个波峰和波谷的特征，并且相对于正面人脸，直方图在横轴方向循环平移了若干单位。因此，对直方图归一化，就可以判断所检测区域是否满足面部的三角关系。

因此，采用扇形辐射模板对进行了方向性边缘提取的图像进行检测，就可以得到包含人脸器官三角关系特征的候选区域。即满足这种在辐射模板直方图中呈现三个波峰、三个波谷的特征，同时又满足一定阈值范围的边缘区域，就为人脸候选区域。

找到人脸候选区域后，因为它有可能是旋转的，还要找到它的旋转角度。这一特征也可以通过人脸边缘图在辐射模板上的直方图来得到。

如图4所示。根据上面的分析，三个波谷代表双眼之间和左右眼与嘴(包括鼻子)间的间隔。注意到正常人的双眼之间间隔明显小于他的左眼或右眼到其嘴部的间隔，即双眼距离较近，每只眼睛距离嘴的距离较远。体现在辐射模板直方图上就是有两个波峰之间的距离明显小于它们到第三个波峰的距离。因此根据这一点，就可以判定出这两个波峰代表的扇形区域是双眼的主要部分，另一个波峰代表的扇形区域是嘴和鼻子的主要部分。

在图4的直方图中，代表嘴和鼻子的波峰的左边的波峰就是左眼，其右边的波峰就是右眼。在左右眼之间的波谷代表双眼之间的扇形，其方向垂直于双眼和嘴的边缘直线，竖直向上由圆心指向头发的方向。这样，通过直方图就可以区分出人脸上的三个主要器官，并判断出整个区域的旋转方向。

参见图4、图5，人脸分别逆时针旋转了45度和顺时针旋转了45度。从该图中可以看出，在扇形区域的直方图表示中，相对于正面，另外两个直方图分别向右、向左滑动了4个单位(循环滑动，第0与15号扇形相接)，但仍保持三个波峰、三个波谷的特征，表示了双眼和嘴的边缘在脸上的三角特征。

因此，采用扇形辐射模板对进行了方向性边缘提取的图像进行检测，就可以得到包含人脸器官三角关系特征的候选区域。即满足这种在辐射模板直方图中呈现三个波峰、三个波谷的特征，同时又满足一定阈值范围的边缘区域，就为人脸候选区域。

找到人脸候选区域后，因为它可能是旋转的，还要找到它的旋转角度。这一特征也可以通过人脸边缘图在辐射模板上的直方图来得到。根据上面的分析，三个波谷代表双眼之间和左右眼与嘴(包括鼻子)间的间隔。正常人的双眼之间间隔明显小于他的左眼或右眼到其嘴部的间隔，即双眼距离较近。每只眼睛距离嘴的距离较远。体现在辐射模板直方图上就是：有两个波峰之间的距离明显小于它们到第三个波峰的距离。因此根据这一点，就可以判定出这两个波峰代表的扇形区域是双眼的主要部分，另一个波峰代表的扇形区域是嘴和鼻子的主要部分。

如果辐射模板的标号按照图1所示，则在直方图中，代表嘴和鼻子的波峰左边的波峰就是左眼，其右边的波峰就是右眼。在左、右眼之间的波谷代表双眼之间的扇形，其方向垂直于双眼和嘴的边缘直线，竖直向上由圆心指向头发的方向。如图3所示。这样，通过直方图我们就可以区分出人脸上的三个主要器官，并判断出整个区域的旋转方向。

参见图6，在实际应用中为了提高针对人脸检测的效果，还可以附加一些辅助步骤。下面给出一套应用辐射模板的搜索匹配算法进行旋转人脸检测的系统，它的主要原理是：首先，通过肤色模型提取出人脸所在的皮肤区域从而减少搜索时间；然后，利用边缘算子进行方向性边缘提取，得到皮肤区域内的边缘图；再在边缘图像上应用辐射模板进行人脸候选区域的搜索并得到其旋转方向；最后将旋转人脸区域转正到竖直，并利用一个竖直人脸检测器进行最终判断从而得到人脸检测结果。

如图6所示，旋转人脸检测的步骤包括，肤色检测、边缘检测、辐射模板特征搜索以及竖直人脸检测。

其中肤色检测、边缘检测实际上是对图像进行预处理的过程。在采用辐射模板进行检测之前，为了节省计算时间，首先采用肤色模型对彩色输入照片进行预处理，得到肤色候选区域后再对该区域进行边缘检测。进行肤色检测的时候，根据大量统计学习得到的结果进行检测，对目标图象中每一个像素点进行阈值判断，大于肤色概率的认为是肤色点，否则认为不是肤色点。然后进行具有方向性的边缘检测，得到皮肤边缘内的边缘图。之所以采取具有方向性的边缘检测，是为了避免双眼和嘴的其他边缘被检测到，这样必然会影响识别结果。边缘检测可以按照垂直方向提取水平边缘，同理可以提取垂直边缘、对角线边缘，具体提取哪几个边缘信息，可视具体情况而定。

肤色检测、边缘检测之后就进行辐射模板特征搜索，特征搜索时采用的辐射模板的级数可视边缘提取的结果而定。特征搜索过程可分为：

第一步，搜索至人脸边缘图中某一区域A时，设其中心坐标为(i，j)。

第二步，初始化辐射模板；将其分成不同级大小，接着针对每一级模板进行搜索，设其半径为R，sum_k＝0是第k个扇形中的象素总数，α_k＝0与β_k＝0是两个标志量，分别表示第k个扇形是否为波峰或波谷。这里k＝0，1，…，15。

第三步，计算辐射模板直方图；对区域中的每一点(x，y)如果它落在模板圆形区域内，即 >则：

令sum_k＝sum_k+1，当且仅当(x，y)属于扇形k而且该点是经过边缘提取后得到的轮廓线边缘点，这里k可以为0，1，…，15。

第四步，特征匹配；

1.对k＝0，1，…，15：

α_k＝1，当且仅当sum_k＞sum_k+15mod16，sum_k＞sum_k+1mod16，and sum_k＜PThreshold

β_k＝1，当且金当sum_k＜sum_k+15mod16，sum_k＜sum_k+1mod16，and sum_k＜TThreshold

2.如果满足下列条件，区域A为一人脸候选区域；

$>{{}_{}}_{}^{}$> $>{{}_{}}_{}^{}$>

|k-k′|＜WThreshold，α_k＝landα_k′＝1.

PThreshold＝扇形区域的波峰最大阈值；

TTthreshold＝扇形区域的波谷最大阈值；

WThreshold＝两个波峰之间的最大间隔扇形数。

PThreshold和TThreshold都与辐射模板的大小有关，

在本实施例中，Wthreshold的取值为5。

第五步，得到旋转方向；

1.对三个波峰，计算它们之间距离最小值，从而得到代表双眼的两个波峰扇形m和n，即|m-n|＝min|k-k′|，α_{k，k′，m，n}＝1

2.扇形t为人脸旋转方向标志(即双眼之间的扇形)如果满足m＜t＜n且β_t＝1

当辐射模板找到某一个人脸候选区域并判断出其旋转角度后，就可以按照这一角度反向将该区域转回到竖直正面人脸状态，在灰度图像中对这一区域进行精确检测。

本实施例中竖直正面人脸检测方法是横纹方法。此方法首先利用模糊化对图像进行处理，提取出图像的横向边缘纹理，并将其按照像素的深度进行重心归一化，这样人脸上各个器官在图像上灰度较深，就会聚集成重心点。然后利用人脸器官特征模板进行匹配，满足人脸结构关系，即有代表双眼、鼻子和嘴的重心点，则认为是人脸。转成正面人脸区域后，利用横纹方法进行精确检测，从而提高了整个系统的结果正确率。

由辐射模板的原理可以看出：这种方法不单可以应用到人脸检测，还可以应用在其他旋转物体的检测上；例如：可以建立对平面内旋转飞机图像的检测模型，以及在卫星图像中，地面目标中的物体如飞机、车辆、舰船、建筑物等均可能在图像中以不同角度旋转出现，因此采用辐射模板均可以进行检测。

最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。