一种基于图像分块加权的卷积神经网络的人脸识别方法

摘要

本发明公开了一种基于图像分块加权的卷积神经网络的人脸识别方法，方法包括：构建样本数据库，对样本图片进行边缘检测，并截取出人脸轮廓图片；对人脸轮廓图片的五个部位进行定位，并根据定位进行分割得到局部图片，计算所有局部图片的灰度方差均值；将属于同一样本图片的人脸轮廓图片和六个局部图片一起并行投入到卷积神经网络中训练；将待识别人脸图片分割后一并投入到训练好的卷积神经网络中即可得到识别结果。本发明的有益效果是：本发明的人脸识别方法既考虑局部的特征，又考虑全局的特征，可以使系统有更好的识别效果，与传统的人脸识别方法相比，本发明采用图像分块加权的卷积神经网络的方法，能够提高人脸识别的识别率。

说明书

技术领域

本发明涉及人脸识别技术领域，特别涉及一种基于图像分块加权的卷积神经网络的人脸识别方法。

背景技术

随着计算机技术和互联网技术的发展，人脸识别也成为了近几年来计算机视觉领域的热门研究对象，作为一种既方便快捷又安全可靠的身份认证手段，在监控、寻人、安防方面都有广阔的应用前景。卷积神经网络是在传统神经网络的基础上发展起来，是一种高效的识别方法，近几年来获得极大发展并逐步应用到各个领域，卷积神经网络能够从输入图像中提取细节结构信息，同时又能使得这些结构信息具有深度旋转等空间不变性，非常适合用于图像中的检测识别问题。

现在主流的方法就是利用卷积神经网络对样本图片进行训练，然后用生成的模型对人脸图片进行分类识别。但是绝大多数时候训练是基于整幅图像的，而且通常很多人会使用均匀分块，但是均匀分块会因为角度、姿态的关系无法分割成人脸的相同区域，这样并不能有效的提取图像的局部信息，所以识别率也会受到限制。本发明提供了一种并行卷积神经网络，通过将人脸图像分块分别输入相同卷积神经网络进行训练，最后将输出加权融合进行分类识别。

发明内容

本发明的目的在于提供一种泛化能力强、识别准确率高的基于图像分块加权的卷积神经网络的人脸识别方法。

为了实现上述发明目的，本发明提供了一种基于图像分块加权的卷积神经网络的人脸识别方法，所述人脸识别方法具体包括以下步骤：

步骤S1：构建样本数据库，对样本数据库中的样本图片进行灰度化；

步骤S2：利用Canny算子做边缘检测，并截取出人脸轮廓图片；

步骤S3：采用ASM方法对人脸轮廓图片的五个部位进行定位，五个部位包括左眼中心、右眼中心、鼻尖、左嘴角和右嘴角；

步骤S4：根据步骤S3的定位，对人脸轮廓图片进行分块，连接左眼中心和右眼中心做一条分割线a，过鼻尖做平行于分割线a的分割线b，过鼻尖做垂直于分割线b的分割线c，分割线a、分割线b和分割线c三条分割线将人脸轮廓图片分为六个局部图片，分别为左上人脸图片、左中人脸图片、左下人脸图片、右上人脸图片、右中人脸图片和右下人脸图片；

步骤S5：计算出样本数据库中所有局部图片的灰度，再计算出位于同一位置的所有局部图片的灰度方差并求均值，即为灰度方差均值；具体的，以左上人脸图片为例，先计算出所有左上人脸图片的灰度，再计算出每一左上人脸图片的灰度方差并求均值，即得到左上人脸平均灰度方差D1，同理分别计算出左中人脸平均灰度方差D2、左下人脸平均灰度方差D3、右上人脸平均灰度方差D4、右中人脸平均灰度方差D5和右下人脸平均灰度方差D6；

步骤S6：将属于同一样本图片的人脸轮廓图片和六个局部图片一起并行投入到卷积神经网络中训练，并将提取的特征向量结合步骤S5得到的平均灰度方差进行加权融合，然后通过softmax层进行分类，得到训练好的卷积神经网络；

步骤S7：获取待识别图片，并对待识别图片进行灰度化，依次采用步骤S2、步骤S3和步骤S4的方法进行处理得到待识别人脸轮廓图片和六个局部图片；

步骤S8：将待识别人脸轮廓图片和六个局部图片一并投入到训练好的卷积神经网络中即可得到识别结果。

其中，所述步骤S1中，样本图片灰度化的过程参见图2，具体为：读取图片每个像素点的红绿蓝色彩信息(亮度值)，通过下面公式(1)计算得到灰度值，并重新赋值给每个像素点得到灰度图片；

gray＝0.39*R+0.50*G+0.11*B(1)

其中gray为灰度值，R、G、B分别代表在红色、绿色、蓝色三个通道上的亮度值，亮度值通常划分为0～255共256个等级，0最暗、255最亮。

样本数据库中所有样本图片位于同一位置的小块图片的灰度方差，对应的每一小块图片的灰度方差，并计算出样本数据库中所有的左上人脸图片的灰度；

所述步骤S3中采用ASM方法对人脸轮廓图片的五个部位进行定位，具体步骤如下：

步骤301、构建形状模型：在样本数据库中随机搜集300-500个(优选为400个)样本图片组成训练集，手动标记训练集中所有样本图片的五个脸部特征点(包括左眼中心、右眼中心、鼻尖、左嘴角和右嘴角)，将训练集中所有脸部特征点的坐标串成特征向量，对形状进行归一化和对齐(对齐采用Procrustes方法)，对对齐后的形状特征做PCA处理；

步骤302、为每个脸部特征点构建局部特征；目的是在每次迭代搜索过程中每个特征点可以寻找新的位置；局部特征一般采用沿着边缘的法线方向提取的梯度特征，对光照变化有一定的鲁棒性；

步骤303、计算左眼中心和右眼中心的位置坐标，依据上述位置坐标对训练集中的样本图片做适应性的尺度和旋转变化，对齐人脸；

步骤304、匹配每个局部特征点(优选地采用马氏距离)，计算ASM模型中的局部特征与当前特征点的局部特征之间的马氏距离，选取马氏距离最小的那个局部特征的中心作为当前特征点的新位置；得到仿射变换的参数，迭代直到收敛，得到五个脸部特征点的最终位置。

所述步骤S6中，所述的卷积神经网络框架具体为：

从输入到输出按顺序依次为：卷积层conv1，最大池化层pool1，卷积层conv2，最大池化层pool2，卷积层conv3，最大池化层pool3，卷积层conv4，全连接层fc作为输出；

其中所述加权融合的加权方式为：

左上人脸分配权值为w1＝D1/(D1+D2+D3+D4+D5+D6)；

左中人脸分配权值为w2＝D2/(D1+D2+D3+D4+D5+D6)；

左下人脸分配权值为w3＝D3/(D1+D2+D3+D4+D5+D6)；

右上人脸分配权值为w4＝D4/(D1+D2+D3+D4+D5+D6)；

右中人脸分配权值为w5＝D5/(D1+D2+D3+D4+D5+D6)；

右下人脸分配权值为w6＝D6/(D1+D2+D3+D4+D5+D6)；

假设左上人脸的输出为x1，左中人脸的输出为x2，左下人脸的输出为x3，右上人脸的输出为x4，右中人脸的输出为x5，右下人脸的输出为x6，整张人脸的输出为x，则最终加权融合输出为：

y＝(w1*x1+w2*x2+w3*x3+w4*x4+w5*x5+w6*x6)/2+x/2，

将y输入到softmax层进行分类。

本发明的有益效果是：本发明的人脸识别方法既考虑局部的特征，又考虑全局的特征，可以使系统有更好的识别效果，与传统的人脸识别方法相比，本发明采用图像分块加权的卷积神经网络的方法，能够提高人脸识别的识别率；其中，本发明以人脸为标准进行非均匀分块，通过计算每一块的方差来分配权值，方差越大，分配权值越大，因为方差越大意味着像素值差异大，所以特征就比较明显，而且构建的卷积神经网络具有一定深度，同时采用分块加权输出进行softmax分类，将大大提高识别准确度。

附图说明

图1为本发明实施例人脸识别方法的流程图。

图2为本发明实施例中样本图片灰度化的流程图。

图3为本发明实施例中步骤S3中人脸图片分块的示意图。

图4为本发明实施例中步骤S6中构建的卷积神经网络框架示意图。

具体实施方式

以下采用实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

实施例1

本发明实施例提供了一种基于图像分块加权的卷积神经网络的人脸识别方法，所述人脸识别方法具体包括以下步骤：

步骤S1：构建样本数据库，对样本数据库中的样本图片进行灰度化；其中，数据库可以基于已公开的人脸数据库如FERET人脸库、cifar-10人脸库或CMUPIE人脸库建立，对人脸库中的图片进行灰度化处理；或，样本数据库也可以由基于人脸识别的门禁系统或其他人脸识别系统的高清摄像头采集的图片，并对采集的所有图片灰度化处理即为样本图片；

步骤S2：利用Canny算子做边缘检测，并截取出人脸轮廓图片；

步骤S3：采用ASM方法对人脸轮廓图片的五个部位进行定位，五个部位包括左眼中心、右眼中心、鼻尖、左嘴角和右嘴角；

步骤S4：根据步骤S3的定位，对人脸轮廓图片进行分块，连接左眼中心和右眼中心做一条分割线a，过鼻尖做平行于分割线a的分割线b，过鼻尖做垂直于分割线b的分割线c，分割线a、分割线b和分割线c三条分割线将人脸轮廓图片分为六个局部图片，分别为左上人脸图片、左中人脸图片、左下人脸图片、右上人脸图片、右中人脸图片和右下人脸图片；

步骤S5：计算出样本数据库中所有局部图片的灰度，再计算出位于同一位置的所有局部图片的灰度方差并求均值，即为灰度方差均值；具体的，以左上人脸图片为例，先计算出所有左上人脸图片的灰度，再计算出每一左上人脸图片的灰度方差并求均值，即得到左上人脸平均灰度方差D1，同理分别计算出左中人脸平均灰度方差D2、左下人脸平均灰度方差D3、右上人脸平均灰度方差D4、右中人脸平均灰度方差D5和右下人脸平均灰度方差D6；

步骤S6：将属于同一样本图片的人脸轮廓图片和六个局部图片一起并行投入到卷积神经网络中训练，并将提取的特征向量结合步骤S5得到的平均灰度方差进行加权融合，然后通过softmax层进行分类，得到训练好的卷积神经网络；

步骤S7：获取待识别图片，并对待识别图片进行灰度化，依次采用步骤S2、步骤S3和步骤S4的方法进行处理得到待识别人脸轮廓图片和六个局部图片；其中，待识别图片由样本数据库随机筛选得出；或，待识别图片由基于人脸识别的门禁系统或其他人脸识别系统的高清摄像头实时采集的图片经过灰度化处理后得到的；

步骤S8：将待识别人脸轮廓图片和六个局部图片一并投入到训练好的卷积神经网络中即可得到识别结果。

其中，所述步骤S1中，样本图片灰度化的过程参见图2，具体为：读取图片每个像素点的红绿蓝色彩信息(亮度值)，通过下面公式(1)计算得到灰度值，并重新赋值给每个像素点得到灰度图片；

gray＝0.39*R+0.50*G+0.11*B(1)

其中gray为灰度值，R、G、B分别代表在红色、绿色、蓝色三个通道上的亮度值，亮度值通常划分为0～255共256个等级，0最暗、255最亮。

样本数据库中所有样本图片位于同一位置的小块图片的灰度方差，对应的每一小块图片的灰度方差，并计算出样本数据库中所有的左上人脸图片的灰度；

所述步骤S3中采用ASM方法对人脸轮廓图片的五个部位进行定位，具体步骤如下：

步骤301、构建形状模型：在样本数据库中随机搜集300-500个(优选为400个)样本图片组成训练集，手动标记训练集中所有样本图片的五个脸部特征点(包括左眼中心、右眼中心、鼻尖、左嘴角和右嘴角)，将训练集中所有脸部特征点的坐标串成特征向量，对形状进行归一化和对齐(对齐采用Procrustes方法)，对对齐后的形状特征做PCA处理；

步骤302、为每个脸部特征点构建局部特征；目的是在每次迭代搜索过程中每个特征点可以寻找新的位置；局部特征一般采用沿着边缘的法线方向提取的梯度特征，对光照变化有一定的鲁棒性；

步骤303、计算左眼中心和右眼中心的位置坐标，依据上述位置坐标对训练集中的样本图片做适应性的尺度和旋转变化，对齐人脸；

步骤304、匹配每个局部特征点(优选地采用马氏距离)，计算ASM模型中的局部特征与当前特征点的局部特征之间的马氏距离，选取马氏距离最小的那个局部特征的中心作为当前特征点的新位置；得到仿射变换的参数，迭代直到收敛，得到五个脸部特征点的最终位置。

所述步骤S6中，所述的卷积神经网络框架具体为：

从输入到输出按顺序依次为：卷积层conv1，最大池化层pool1，卷积层conv2，最大池化层pool2，卷积层conv3，最大池化层pool3，卷积层conv4，全连接层fc作为输出；

其中所述加权融合的加权方式为：

左上人脸分配权值为w1＝D1/(D1+D2+D3+D4+D5+D6)；

左中人脸分配权值为w2＝D2/(D1+D2+D3+D4+D5+D6)；

左下人脸分配权值为w3＝D3/(D1+D2+D3+D4+D5+D6)；

右上人脸分配权值为w4＝D4/(D1+D2+D3+D4+D5+D6)；

右中人脸分配权值为w5＝D5/(D1+D2+D3+D4+D5+D6)；

右下人脸分配权值为w6＝D6/(D1+D2+D3+D4+D5+D6)；

假设左上人脸的输出为x1，左中人脸的输出为x2，左下人脸的输出为x3，右上人脸的输出为x4，右中人脸的输出为x5，右下人脸的输出为x6，整张人脸的输出为x，则最终加权融合输出为：

y＝(w1*x1+w2*x2+w3*x3+w4*x4+w5*x5+w6*x6)/2+x/2，

将y输入到softmax层进行分类。

使用cifar-10样本库进行实验，其中50000张图片作为样本进行训练，另外10000张图片进行测试。不使用分块的卷积神经网络的识别准确率为83.1％，使用均匀分块卷积神经网络的识别准确率为87.6％，使用本发明的非均匀分块并行卷积神经网络的识别准确率为91.8％，可见本发明的人脸识别方法能够明显提高识别的准确率。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。