首页> 中国专利> 一种基于双目视觉测量技术的快速人脸识别方法

一种基于双目视觉测量技术的快速人脸识别方法

摘要

本发明公开了一种基于双目视觉测量技术的快速人脸识别方法,包括以下步骤:先从双目图像中提取人脸的有效特征,划分出人脸的有效区域;再利用双目视觉测量技术,对提取到的人脸区域进行大小测量;根据计算出的人脸区域大小,将人脸数据库拆分成多个人脸子数据库;最后,在识别阶段,将实际计算出的人脸区域与人脸子数据库进行对比识别。本发明将实际计算出的人脸区域与人脸子数据库进行对比识别,从而减少了识别比对的次数,大大提升了人脸识别的速度;此外本发明中利用人脸的实际大小与人脸子数据库进行对比识别,识别的误差也较小,从而有效提高了人脸识别的准确率;此外本发明的人脸识别方法还具有较好的通用性。

著录项

  • 公开/公告号CN104915656A

    专利类型发明专利

  • 公开/公告日2015-09-16

    原文格式PDF

  • 申请/专利权人 东北大学;

    申请/专利号CN201510330708.8

  • 发明设计人 刘志刚;赵嘉均;

    申请日2015-06-12

  • 分类号G06K9/00(20060101);

  • 代理机构11362 北京联创佳为专利事务所(普通合伙);

  • 代理人刘美莲;郭防

  • 地址 110819 辽宁省沈阳市和平区文化路3号巷11号

  • 入库时间 2023-12-18 10:55:13

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-07-21

    未缴年费专利权终止 IPC(主分类):G06K 9/00 专利号:ZL2015103307088 申请日:20150612 授权公告日:20181228

    专利权的终止

  • 2018-12-28

    授权

    授权

  • 2015-10-14

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20150612

    实质审查的生效

  • 2015-09-16

    公开

    公开

说明书

技术领域

本发明涉及一种基于双目视觉测量技术的快速人脸识别方法,属于人脸识别技术领域。

背景技术

近几十年来生物特征识别得到了快速发展。生物特征作为人的一种内在属性,具有很强 的自身稳定性和个体差异性,现有的生物识别技术包括:指纹识别、虹膜识别、视网膜识 别、步态识别、静脉识别和人脸识别等;其中,人脸识别由于其具有直接、友好、方便的特 点,易于被用户接受,因而得到了广泛的应用,尤其是在刑侦、安全验证系统和人机交互等 方面,涉及了计算机视觉、模式识别、人工智能、数字图像处理、神经网络、心理学、生理 学、数学等诸多研究领域。

现有技术中,专利号为201210250450.7的专利公开了一种基于双目摄像头的智能电视 人脸识别方法,主要包括以下步骤:左摄像头和右摄像头同时获取图像,分别检测人脸和人 眼,比较计算出的两个图像的差异,如果大于阈值,则判定为照片欺骗,结束识别,否则, 完成识别。该方法主要利用双目技术解决了照片欺骗的问题,但是其识别速度慢,识别准确 率也较低;专利号为201210250450.7的专利公开了“一种基于双目被动立体视觉的快速三维 人脸识别方法”,其运用搭建好的双目摄像机,进行人脸检测和采集,定位眼睛和鼻尖,构 建基准三角形,进而进行三维人脸重建,在完成三维人脸表情归一化后,运用三维人脸识别 算法进行识别,但是由于三维人脸重建和三维人脸识别的计算量较大,因而该方法的识别速 度也较慢;申请号为201410281328.5的专利申请公开了“一种基于双目立体视觉的人脸图像 识别方法”,其利用双目视觉在人脸图像中标出人脸区域,是一种人脸检测方法,但是其并 未涉及人脸识别;申请号为201310024137.6的专利申请公开了一种“基于双目立体视觉的四 目摄像机正面人脸重建方法”,其利用两个双目摄像机从正面拍摄人脸图像,将两个摄像机 拍摄的人脸图像进行融合,增强了人脸识别对姿态的鲁棒性,该方法也仅是一种人脸重建的 方法,并未涉及人脸识别;另外,张顺岚《莫建文.基于双目视觉的三维人脸识别算法》[J]. 电视技术,2014,38(9).基于双目视觉对三维人脸识别算法进行了改进,利用主动形状模型 (ASM)定位人脸图像中的特征点,结合摄像机模型参数得到其三维坐标,构建特征点距 离矩阵,最后用BP神经网络进行识别;该方法利用人脸特征点的三维坐标训练神经网络进 行识别,但是其识别速度慢,识别准确率也较低;周佳立、张树有、杨国平.《基于双目被 动立体视觉的三维人脸重构与识别》[J].自动化学报,2009,35(2).利用上下两平行光轴摄像机 建立的双目视觉系统采集人脸图像,通过人脸检测和初步视差估计,重建人脸三维点云信 息,再利用神经网络进行多层次人脸曲面重建,再进行人脸归一化和识别。该方法中由于三 维人脸重建和三维人脸识别的计算量较大,因而识别速度也较慢。

发明内容

本发明的目的在于,提供一种基于双目视觉测量技术的快速人脸识别方法,它可以有效 解决现有技术中存在的问题,尤其是人脸识别速度慢、准确率低的问题。

为解决上述技术问题,本发明采用如下的技术方案:一种基于双目视觉测量技术的快速 人脸识别方法,包括以下步骤:先从双目图像中提取人脸的有效特征,划分出人脸的有效区 域;再利用双目视觉测量技术,对提取到的人脸区域进行大小测量;根据计算出的人脸区域 大小,将人脸数据库拆分成多个人脸子数据库;最后,在识别阶段,将实际计算出的人脸区 域与人脸子数据库进行对比识别。

上述的基于双目视觉测量技术的快速人脸识别方法,具体包括以下步骤:

(1)采集双目人脸图像,划分出人脸区域;

(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;

(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1

(4)对校正后的人脸图像进行垂直投影,定位人脸的左右边界;

(5)对校正后的人脸图像进行水平投影,定位嘴巴的位置,获得嘴巴的纵坐标y′2

(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域;

(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;

(8)计算视差d;

(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;

(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;

(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。

采用上述方法步骤,从而可以准确、快速的识别出人脸。

优选的,步骤(1)具体包括:采用双目摄像机采集人脸图像,并用基于haar-like特征的 Adaboost机器学习算法进行人脸检测,从而可以准确而快速的划分出人脸区域。

优选的,步骤(2)具体包括:将人脸区域变换到灰度空间,采用基于haar-like特征的 Adaboost机器学习算法进行人眼区域检测;再将检测出的人眼区域分别向X轴和Y轴投 影,则在左目图像中定位出左右眼睛瞳孔的中心坐标(x11,y11)、(x12,y12),在右目图像中定位 出左右眼睛瞳孔的中心坐标(x21,y21)、(x22,y22);该方法中先利用Adaboost机器学习算法进行 粗定位,再利用投影实现更精确的定位,因为瞳孔的像素值最低,所以分别取投影最小值处 的坐标即为眼睛的坐标。

更优选的,本发明中采用以下公式将人眼区域向X轴和Y轴投影以定位出人眼坐标:

将人眼区域向X轴投影时:

IPFv(x)=1y2-y1y1y2I(x,y)dy

VPFv(x)=1y2-y1Σyi=y1y2[I(x,yi)-IPFv(x)]

HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)

其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标;

将人眼区域向Y轴投影时:

IPFh(y)=1x2-x1x1x2I(x,y)dx

VPFh(y)=1x2-x1Σxi=x1x2[I(xi,y)-IPFh(y)]

HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)

其中,α=0.6,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混 合投影函数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y 为投影纵坐标,定位出眼睛区域后再用以上算法即可得到准确的眼睛位置。

前述的基于双目视觉测量技术的快速人脸识别方法中,步骤(3)中,假设倾斜人脸图 像中瞳孔间连线与水平方向的夹角为θ,则旋转校正后的眼睛瞳孔的中心坐标(x′,y′)为:

x′=xcosθ+ysinθ-acosθ-bsinθ+a

y′=-xsinθ+ycosθ+asinθ-bcosθ+b

其中,θ=arctan(y2-y1x2-x1),a、b为倾斜人脸图像的中心坐标,a=x1+x22,b=y1+y22,将两只眼睛校正到同一水平线上,从而保证两只眼睛具有相同的纵坐标。

上述方法中,步骤(4)中,对校正后的人脸图像进行垂直投影,并通过投影值定位出 人脸图像的左右边界x1和x2,公式如下:

IPFv(x)=1y2-y1y1y2I(x,y)dy

VPFv(x)=1y2-y1Σyi=y1y2[I(x,yi)-IPFv(x)]

HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)

其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标,从而可以简单而快速的定位出人脸图像的左右边界。

优选的,步骤(5)具体包括:取人脸图像左眼横坐标和右眼横坐标之间的区域,对该 区域部分的图像进行肤色检测;对肤色检测后的图像取反,并进行水平投影;投影最高点的 位置即为嘴巴纵坐标y′2,公式如下:

IPFh(y)=1x2-x1x1x2I(x,y)dx

VPFh(y)=1x2-x1Σxi=x1x2[I(xi,y)-IPFh(y)]

HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)

其中,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混合投影函 数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y为投影纵 坐标,从而可以准确而快速的获得嘴巴的纵坐标。

进一步优选的,步骤(7)中,对提取出的人脸矩形区域进行肤色检测的公式如下:

YCbCr=0.29890.58860.1145-0.1688-0.33120.50000.5000-0.4184-0.0817RGB

θ=arctan|CrCb|Cr>0andCb>0180-arctan|CrCb|Cr>0andCb<0180+arctan|CrCb|Cr<0andCb<00else

其中,θ取值(105,150)为肤色像素值;R、G、B为RGB图像色彩空间的三个分 量;Y、Cb、Cr是YCbCr图像色彩空间的三个分量;肤色像素在焦平面所占的面积s为 s=n*p(μm)*p(μm),其中,n为肤色像素的数目,p(μm)*p(μm)为像素大小。肤色分割 将得到的人脸矩形区域中人脸部分和非人脸部分区分开,得到人脸部分的像素多少,从而可 以将人脸矩形区域中的人脸部分和非人脸部分有效的区分开来,便于进一步进行识别处理。

前述的基于双目视觉测量技术的快速人脸识别方法中,步骤(8)中,通过以下公式计 算视差d:

d=(x21-x11)+(x22-x12)2

其中,x11为左目图像中的左眼横坐标,x12为左目图像中的右眼横坐标,x21为右目图像 中的左眼横坐标,x22为右目图像中的右眼横坐标,从而无需立体匹配,用简单的方法就能 得到视差,减少了大量的计算步骤。

本发明的步骤(9)中所述的利用小孔成像模型和三角测量原理,计算实际的人脸面积 s′具体包括:根据摄像机的线性模型则在双目视觉中有:假设统计出 的人脸像素可以再组合成矩形s,则根据计算出实际的人脸面积s′;其中,B 为双目摄像机基线距离,cm;d为平均视差,f为焦距,mm;s为人脸像素组合成的矩形 的面积。

与现有技术相比,本发明通过先从双目图像中划分出人脸的有效区域,提取人脸的有效 特征;再利用双目视觉测量技术,对提取到的人脸区域进行大小测量;根据计算出的人脸区 域大小,将人脸数据库拆分成多个人脸子数据库;最后,在识别阶段,将实际计算出的人脸 区域与人脸子数据库进行对比识别,从而减少了识别比对的次数,大大提升了人脸识别的速 度;此外本发明中利用人脸的实际大小与人脸子数据库进行对比识别,必然也会减小识别的 误差,从而有效提高了人脸识别的准确率;此外本发明的人脸识别方法还具有较好的通用 性。

实验例:

将本发明的人脸识别方法进行应用试验,采用加拿大PointGrey公司生产的Bumblebee2 双目摄像机,基线距离12cm,像素尺寸4.65μm*4.65μm,应用摄像机对91个人采集了双目 人脸图像。通过对比双目人脸数据库中志愿者人脸的实际测量值和计算值,得出此双目摄像 机的测量误差库e=0.98cm2,最小子库分类距离范围大于2倍的误差大小。因为当测量的值在 分类边界的误差范围内时,要进入相邻的两个库进行查找,比如,当分库距离(即以多大的 粒度来拆分人脸数据库)为3cm2时,60-63cm2和63-66cm2库相邻两个库,当测量值(人脸 区域)在(63-e,63+e)范围内时,要进入这两个库进行人脸识别。下表为不同距离的分类 结果对识别率和识别速度的影响:

表1不同的分库距离对识别率和识别速度的影响

由表1可知:采用本发明的人脸识别技术,其识别率和识别速度相对于现有技术(不将 人脸数据库拆分成多个人脸子数据库的人脸识别方法)均有提高,尤其是当分库距离为 4cm2时,识别率提高最多,同时识别速度的提高值也较客观;当分库距离为2cm2时,识别 速度提高最多,同时识别率的提高值也较客观。

本发明的难度在于人脸矩形区域的提取,通过采用本发明的提取方法后,从而可以提取 得到准确而有效的人脸区域,既而提高了人脸测量的准确性和人脸数据库分类的准确性,最 终提高了人脸识别的准确性。

附图说明

图1是本发明的一种实施例的工作流程图;

图2是将人脸数据库拆分成多个人脸子数据库的示意图。

下面结合附图和具体实施方式对本发明作进一步的说明。

具体实施方式

本发明的实施例1:一种基于双目视觉测量技术的快速人脸识别方法,如图1、图2所 示,具体包括以下步骤:

(1)采用双目摄像机采集人脸图像,并用基于haar-like特征的Adaboost机器学习算法进行 人脸检测,划分出人脸区域;

(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;具体包括:将人脸区域 变换到灰度空间,采用基于haar-like特征的Adaboost机器学习算法进行人眼区域检测;再将 检测出的人眼区域分别向X轴和Y轴投影,则在左目图像中定位出左右眼睛瞳孔的中心坐标 (x11,y11)、(x12,y12),在右目图像中定位出左右眼睛瞳孔的中心坐标(x21,y21)、(x22,y22);

其中,采用以下公式将人眼区域向X轴和Y轴投影以定位出人眼坐标:

将人眼区域向X轴投影时:

IPFv(x)=1y2-y1y1y2I(x,y)dy

VPFv(x)=1y2-y1Σyi=y1y2[I(x,yi)-IPFv(x)]

HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)

其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标;

将人眼区域向Y轴投影时:

IPFh(y)=1x2-x1x1x2I(x,y)dx

VPFh(y)=1x2-x1Σxi=x1x2[I(xi,y)-IPFh(y)]

HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)

其中,α=0.6,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混 合投影函数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y 为投影纵坐标;

(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1;其中,假设倾斜人脸图像中瞳孔间连线与水平方向的夹角为θ,则旋转 校正后的眼睛瞳孔的中心坐标(x′,y′)为:

x′=xcosθ+ysinθ-acosθ-bsinθ+a

y′=-xsinθ+ycosθ+asinθ-bcosθ+b

其中,θ=arctan(y2-y1x2-x1),a、b为倾斜人脸图像的中心坐标,a=x1+x22,b=y1+y22;

(4)对校正后的人脸图像进行垂直投影,并通过投影值定位出人脸图像的左右边界x1和 x2,公式如下:

IPFv(x)=1y2-y1y1y2I(x,y)dy

VPFv(x)=1y2-y1Σyi=y1y2[I(x,yi)-IPFv(x)]

HPFv(x)=(1-α)·IPFv(y)+αVPFv(x)

其中,IPFv为垂直积分投影函数,VPFv为垂直方差投影函数,HPFv为垂直混合投影函 数,y1为投影起点纵坐标,y2为投影终点纵坐标,I(x,y)为(x,y)处的像素值,x为投影横 坐标。

(5)取人脸图像左眼横坐标和右眼横坐标之间的区域,对该区域部分的图像进行肤色检 测;对肤色检测后的图像取反,并进行水平投影;投影最高点的位置即为嘴巴纵坐标y′2, 公式如下:

IPFh(y)=1x2-x1x1x2I(x,y)dx

VPFh(y)=1x2-x1Σxi=x1x2[I(xi,y)-IPFh(y)]

HPFh(y)=(1-α)·IPFh(y)-α·VPFh(y)

其中,IPFh为水平积分投影函数,VPFh为水平方差投影函数,HPFh为水平混合投影函 数,x1为投影起点横坐标,x2为投影终点横坐标,I(x,y)为(x,y)处的像素值,y为投影纵 坐标。

(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域;

(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;其中,通过以 下公式进行肤色检测:

YCbCr=0.29890.58860.1145-0.1688-0.33120.50000.5000-0.4184-0.0817RGB

θ=arctan|CrCb|Cr>0andCb>0180-arctan|CrCb|Cr>0andCb<0180+arctan|CrCb|Cr<0andCb<00else

其中,θ取值(105,150)为肤色像素值;R、G、B为RGB图像色彩空间的三个分 量;Y、Cb、Cr是YCbCr图像色彩空间的三个分量;肤色像素在焦平面所占的面积s为 s=n*p(μm)*p(μm),其中,n为肤色像素的数目,p(μm)*p(μm)为像素大小。

(8)通过以下公式计算视差d:

d=(x21-x11)+(x22-x12)2

其中,x11为左目图像中的左眼横坐标,x12为左目图像中的右眼横坐标,x21为右目图像 中的左眼横坐标,x22为右目图像中的右眼横坐标。

(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;具体包括:根据摄像 机的线性模型则在双目视觉中有:假设统计出的人脸像素可以再组合 成矩形s,则根据计算出实际的人脸面积s′;其中,B为双目摄像机基线距 离,cm;d为平均视差,f为焦距,mm;s为人脸像素组合成的矩形的面积。

(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;

(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。

实施例2:一种基于双目视觉测量技术的快速人脸识别方法,如图1、图2所示,包括 以下步骤:

(1)采集双目人脸图像,划分出人脸区域;

(2)对人脸区域进行人眼定位,获得左右眼睛瞳孔的中心坐标;

(3)根据左右眼睛瞳孔的中心坐标,对倾斜人脸图像进行旋转校正,获得旋转校正后左 右眼睛的纵坐标y′1

(4)对校正后的人脸图像进行垂直投影,定位人脸的左右边界;

(5)对校正后的人脸图像进行水平投影,定位嘴巴的位置,获得嘴巴的纵坐标y′2

(6)根据人脸图像旋转校正后左右眼睛的纵坐标y′1、嘴巴的纵坐标y′2和人脸的左右边 界,提取人脸矩形区域(将纵坐标y′1到y′2处提取出来);

(7)对提取出的人脸矩形区域进行肤色检测和形态学处理,统计肤色像素的数目,并根 据肤色像素的数目和每个像素的面积,计算肤色像素在焦平面所占的面积s;

(8)计算视差d;

(9)利用小孔成像模型和三角测量原理,计算实际的人脸面积s′;

(10)在建库阶段,根据人脸面积s′的大小,将人脸数据库拆分成多个不同的人脸子数据 库;

(11)在识别阶段,根据实际计算出的人脸面积,利用相应的人脸子数据库进行人脸识 别。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号