法律状态公告日
法律状态信息
法律状态
2023-07-21
未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2015103307088 申请日:20150612 授权公告日:20181228
专利权的终止
2018-12-28
授权
授权
2015-10-14
实质审查的生效 IPC(主分类):G06K9/00 申请日:20150612
实质审查的生效
2015-09-16
公开
公开
技术领域
本发明涉及一种基于双目视觉测量技术的快速人脸识别方法,属于人脸识别技术领域。
背景技术
近几十年来生物特征识别得到了快速发展。生物特征作为人的一种内在属性,具有很强 的自身稳定性和个体差异性,现有的生物识别技术包括:指纹识别、虹膜识别、视网膜识 别、步态识别、静脉识别和人脸识别等;其中,人脸识别由于其具有直接、友好、方便的特 点,易于被用户接受,因而得到了广泛的应用,尤其是在刑侦、安全验证系统和人机交互等 方面,涉及了计算机视觉、模式识别、人工智能、数字图像处理、神经网络、心理学、生理 学、数学等诸多研究领域。
现有技术中,专利号为201210250450.7的专利公开了一种基于双目摄像头的智能电视 人脸识别方法,主要包括以下步骤:左摄像头和右摄像头同时获取图像,分别检测人脸和人 眼,比较计算出的两个图像的差异,如果大于阈值,则判定为照片欺骗,结束识别,否则, 完成识别。该方法主要利用双目技术解决了照片欺骗的问题,但是其识别速度慢,识别准确 率也较低;专利号为201210250450.7的专利公开了“一种基于双目被动立体视觉的快速三维 人脸识别方法”,其运用搭建好的双目摄像机,进行人脸检测和采集,定位眼睛和鼻尖,构 建基准三角形,进而进行三维人脸重建,在完成三维人脸表情归一化后,运用三维人脸识别 算法进行识别,但是由于三维人脸重建和三维人脸识别的计算量较大,因而该方法的识别速 度也较慢;申请号为201410281328.5的专利申请公开了“一种基于双目立体视觉的人脸图像 识别方法”,其利用双目视觉在人脸图像中标出人脸区域,是一种人脸检测方法,但是其并 未涉及人脸识别;申请号为201310024137.6的专利申请公开了一种“基于双目立体视觉的四 目摄像机正面人脸重建方法”,其利用两个双目摄像机从正面拍摄人脸图像,将两个摄像机 拍摄的人脸图像进行融合,增强了人脸识别对姿态的鲁棒性,该方法也仅是一种人脸重建的 方法,并未涉及人脸识别;另外,张顺岚《莫建文.基于双目视觉的三维人脸识别算法》[J]. 电视技术,2014,38(9).基于双目视觉对三维人脸识别算法进行了改进,利用主动形状模型 (ASM)定位人脸图像中的特征点,结合摄像机模型参数得到其三维坐标,构建特征点距 离矩阵,最后用BP神经网络进行识别;该方法利用人脸特征点的三维坐标训练神经网络进 行识别,但是其识别速度慢,识别准确率也较低;周佳立、张树有、杨国平.《基于双目被 动立体视觉的三维人脸重构与识别》[J].自动化学报,2009,35(2).利用上下两平行光轴摄像机 建立的双目视觉系统采集人脸图像,通过人脸检测和初步视差估计,重建人脸三维点云信 息,再利用神经网络进行多层次人脸曲面重建,再进行人脸归一化和识别。该方法中由于三 维人脸重建和三维人脸识别的计算量较大,因而识别速度也较慢。
发明内容
本发明的目的在于,提供一种基于双目视觉测量技术的快速人脸识别方法,它可以有效 解决现有技术中存在的问题,尤其是人脸识别速度慢、准确率低的问题。
为解决上述技术问题,本发明采用如下的技术方案:一种基于双目视觉测量技术的快速 人脸识别方法,包括以下步骤:先从双目图像中提取人脸的有效特征,划分出人脸的有效区 域;再利用双目视觉测量技术,对提取到的人脸区域进行大小测量;根据计算出的人脸区域 大小,将人脸数据库拆分成多个人脸子数据库;最后,在识别阶段,将实际计算出的人脸区 域与人脸子数据库进行对比识别。
上述的基于双目视觉测量技术的快速人脸识别方法,具体包括以下步骤:
(1)采集双目人脸图像,划分出人脸区域;
(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;
(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1;
(4)对校正后的人脸图像进行垂直投影,定位人脸的左右边界;
(5)对校正后的人脸图像进行水平投影,定位嘴巴的位置,获得嘴巴的纵坐标y′2;
(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域;
(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;
(8)计算视差d;
(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;
(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;
(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。
采用上述方法步骤,从而可以准确、快速的识别出人脸。
优选的,步骤(1)具体包括:采用双目摄像机采集人脸图像,并用基于haar-like特征的 Adaboost机器学习算法进行人脸检测,从而可以准确而快速的划分出人脸区域。
优选的,步骤(2)具体包括:将人脸区域变换到灰度空间,采用基于haar-like特征的 Adaboost机器学习算法进行人眼区域检测;再将检测出的人眼区域分别向X轴和Y轴投 影,则在左目图像中定位出左右眼睛瞳孔的中心坐标(x11,y11)、(x12,y12),在右目图像中定位 出左右眼睛瞳孔的中心坐标(x21,y21)、(x22,y22);该方法中先利用Adaboost机器学习算法进行 粗定位,再利用投影实现更精确的定位,因为瞳孔的像素值最低,所以分别取投影最小值处 的坐标即为眼睛的坐标。
更优选的,本发明中采用以下公式将人眼区域向X轴和Y轴投影以定位出人眼坐标:
将人眼区域向X轴投影时:
HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)
其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标;
将人眼区域向Y轴投影时:
HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)
其中,α=0.6,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混 合投影函数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y 为投影纵坐标,定位出眼睛区域后再用以上算法即可得到准确的眼睛位置。
前述的基于双目视觉测量技术的快速人脸识别方法中,步骤(3)中,假设倾斜人脸图 像中瞳孔间连线与水平方向的夹角为θ,则旋转校正后的眼睛瞳孔的中心坐标(x′,y′)为:
x′=xcosθ+ysinθ-acosθ-bsinθ+a
y′=-xsinθ+ycosθ+asinθ-bcosθ+b
其中,
上述方法中,步骤(4)中,对校正后的人脸图像进行垂直投影,并通过投影值定位出 人脸图像的左右边界x1和x2,公式如下:
HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)
其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标,从而可以简单而快速的定位出人脸图像的左右边界。
优选的,步骤(5)具体包括:取人脸图像左眼横坐标和右眼横坐标之间的区域,对该 区域部分的图像进行肤色检测;对肤色检测后的图像取反,并进行水平投影;投影最高点的 位置即为嘴巴纵坐标y′2,公式如下:
HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)
其中,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混合投影函 数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y为投影纵 坐标,从而可以准确而快速的获得嘴巴的纵坐标。
进一步优选的,步骤(7)中,对提取出的人脸矩形区域进行肤色检测的公式如下:
其中,θ取值(105,150)为肤色像素值;R、G、B为RGB图像色彩空间的三个分 量;Y、Cb、Cr是YCbCr图像色彩空间的三个分量;肤色像素在焦平面所占的面积s为 s=n*p(μm)*p(μm),其中,n为肤色像素的数目,p(μm)*p(μm)为像素大小。肤色分割 将得到的人脸矩形区域中人脸部分和非人脸部分区分开,得到人脸部分的像素多少,从而可 以将人脸矩形区域中的人脸部分和非人脸部分有效的区分开来,便于进一步进行识别处理。
前述的基于双目视觉测量技术的快速人脸识别方法中,步骤(8)中,通过以下公式计 算视差d:
其中,x11为左目图像中的左眼横坐标,x12为左目图像中的右眼横坐标,x21为右目图像 中的左眼横坐标,x22为右目图像中的右眼横坐标,从而无需立体匹配,用简单的方法就能 得到视差,减少了大量的计算步骤。
本发明的步骤(9)中所述的利用小孔成像模型和三角测量原理,计算实际的人脸面积 s′具体包括:根据摄像机的线性模型则在双目视觉中有:假设统计出 的人脸像素可以再组合成矩形s,则根据计算出实际的人脸面积s′;其中,B 为双目摄像机基线距离,cm;d为平均视差,f为焦距,mm;s为人脸像素组合成的矩形 的面积。
与现有技术相比,本发明通过先从双目图像中划分出人脸的有效区域,提取人脸的有效 特征;再利用双目视觉测量技术,对提取到的人脸区域进行大小测量;根据计算出的人脸区 域大小,将人脸数据库拆分成多个人脸子数据库;最后,在识别阶段,将实际计算出的人脸 区域与人脸子数据库进行对比识别,从而减少了识别比对的次数,大大提升了人脸识别的速 度;此外本发明中利用人脸的实际大小与人脸子数据库进行对比识别,必然也会减小识别的 误差,从而有效提高了人脸识别的准确率;此外本发明的人脸识别方法还具有较好的通用 性。
实验例:
将本发明的人脸识别方法进行应用试验,采用加拿大PointGrey公司生产的Bumblebee2 双目摄像机,基线距离12cm,像素尺寸4.65μm*4.65μm,应用摄像机对91个人采集了双目 人脸图像。通过对比双目人脸数据库中志愿者人脸的实际测量值和计算值,得出此双目摄像 机的测量误差库e=0.98cm2,最小子库分类距离范围大于2倍的误差大小。因为当测量的值在 分类边界的误差范围内时,要进入相邻的两个库进行查找,比如,当分库距离(即以多大的 粒度来拆分人脸数据库)为3cm2时,60-63cm2和63-66cm2库相邻两个库,当测量值(人脸 区域)在(63-e,63+e)范围内时,要进入这两个库进行人脸识别。下表为不同距离的分类 结果对识别率和识别速度的影响:
表1不同的分库距离对识别率和识别速度的影响
由表1可知:采用本发明的人脸识别技术,其识别率和识别速度相对于现有技术(不将 人脸数据库拆分成多个人脸子数据库的人脸识别方法)均有提高,尤其是当分库距离为 4cm2时,识别率提高最多,同时识别速度的提高值也较客观;当分库距离为2cm2时,识别 速度提高最多,同时识别率的提高值也较客观。
本发明的难度在于人脸矩形区域的提取,通过采用本发明的提取方法后,从而可以提取 得到准确而有效的人脸区域,既而提高了人脸测量的准确性和人脸数据库分类的准确性,最 终提高了人脸识别的准确性。
附图说明
图1是本发明的一种实施例的工作流程图;
图2是将人脸数据库拆分成多个人脸子数据库的示意图。
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
本发明的实施例1:一种基于双目视觉测量技术的快速人脸识别方法,如图1、图2所 示,具体包括以下步骤:
(1)采用双目摄像机采集人脸图像,并用基于haar-like特征的Adaboost机器学习算法进行 人脸检测,划分出人脸区域;
(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;具体包括:将人脸区域 变换到灰度空间,采用基于haar-like特征的Adaboost机器学习算法进行人眼区域检测;再将 检测出的人眼区域分别向X轴和Y轴投影,则在左目图像中定位出左右眼睛瞳孔的中心坐标 (x11,y11)、(x12,y12),在右目图像中定位出左右眼睛瞳孔的中心坐标(x21,y21)、(x22,y22);
其中,采用以下公式将人眼区域向X轴和Y轴投影以定位出人眼坐标:
将人眼区域向X轴投影时:
HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)
其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标;
将人眼区域向Y轴投影时:
HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)
其中,α=0.6,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混 合投影函数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y 为投影纵坐标;
(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1;其中,假设倾斜人脸图像中瞳孔间连线与水平方向的夹角为θ,则旋转 校正后的眼睛瞳孔的中心坐标(x′,y′)为:
x′=xcosθ+ysinθ-acosθ-bsinθ+a
y′=-xsinθ+ycosθ+asinθ-bcosθ+b
其中,
(4)对校正后的人脸图像进行垂直投影,并通过投影值定位出人脸图像的左右边界x1和 x2,公式如下:
HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)
其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标。
(5)取人脸图像左眼横坐标和右眼横坐标之间的区域,对该区域部分的图像进行肤色检 测;对肤色检测后的图像取反,并进行水平投影;投影最高点的位置即为嘴巴纵坐标y′2, 公式如下:
HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)
其中,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混合投影函 数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y为投影纵 坐标。
(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域;
(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;其中,通过以 下公式进行肤色检测:
其中,θ取值(105,150)为肤色像素值;R、G、B为RGB图像色彩空间的三个分 量;Y、Cb、Cr是YCbCr图像色彩空间的三个分量;肤色像素在焦平面所占的面积s为 s=n*p(μm)*p(μm),其中,n为肤色像素的数目,p(μm)*p(μm)为像素大小。
(8)通过以下公式计算视差d:
其中,x11为左目图像中的左眼横坐标,x12为左目图像中的右眼横坐标,x21为右目图像 中的左眼横坐标,x22为右目图像中的右眼横坐标。
(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;具体包括:根据摄像 机的线性模型则在双目视觉中有:假设统计出的人脸像素可以再组合 成矩形s,则根据计算出实际的人脸面积s′;其中,B为双目摄像机基线距 离,cm;d为平均视差,f为焦距,mm;s为人脸像素组合成的矩形的面积。
(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;
(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。
实施例2:一种基于双目视觉测量技术的快速人脸识别方法,如图1、图2所示,包括 以下步骤:
(1)采集双目人脸图像,划分出人脸区域;
(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;
(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1;
(4)对校正后的人脸图像进行垂直投影,定位人脸的左右边界;
(5)对校正后的人脸图像进行水平投影,定位嘴巴的位置,获得嘴巴的纵坐标y′2;
(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域(将纵坐标y′1到y′2处提取出来);
(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;
(8)计算视差d;
(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;
(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;
(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。
机译: 基于人脸特征信息的能够进行人员认证的人脸识别装置及其人脸识别方法
机译: 基于人脸元素的人脸识别器的人脸识别方法及其装置
机译: 基于特征的人脸识别家庭网络系统和基于人脸的面孔识别方法