基于二值边缘图像的眼睛定位和人脸识别

摘要

人脸自动识别是一种利用计算机分析人脸图像特征以实现人的身份验证的技术,是近二十年来图像处理、模式识别和计算机视觉领域中极富挑战性的研究课题之一.由于它在法庭举证、持卡人识别、视频监控等方面都具有巨大的应用价值,目前受到各国政府及其军事、安全、情报部门以及科研单位的广泛关注和高度重视.一个完整的人脸识别系统由人脸检测、人脸图像预处理、人脸特征提取、图像间相似度计算等功能模块组成.多年来,人们对人脸识别技术中的许多问题都进行了深入的研究,并且已经研制出了不少有效的算法,然而,由于不同的人脸具有内在的相似性,而同一人脸的不同图像则常常因为姿势变化和表情变化而表现出巨大的差异性,并且人脸图像的质量还容易受到光照变化的影响,因此,现有的人脸识别技术仍然无法满足实际应用的需要.本文重点研究人脸中双眼定位问题和强光照鲁棒性人脸识别算法开发问题.眼睛的位置是实现人脸图像几何归一化的必要条件,双眼的定位因而成为全自动人脸识别中非常关键的一环;而好的光照鲁棒性则能使人脸识别系统更富实用性.基于二值边缘图像,本文提出了一种新的人眼自动定位方法,以及一种具有较好光照鲁棒性的人脸识别方法.具体说来,本文主要做了以下三个方面的研究.第一,提出了一种基于小波多分辨率分析的人脸二值边缘图像提取方法.该方法包括一次图像的高频重构过程、两次图像自适应二值化过程和一次后续的二值边缘图像去噪过程.定性和定量的评价表明,用该方法得到的二值边缘图像(BEI,Binary Edge Image)具有人脸部件完整、细节清晰、不同部件之间粘连少的优点,且具有很好的光照鲁棒性,因此,非常适合于人脸部件的分割和脸部关键特征点的提取.其次,提出了一种基于BEI和亮度信息的人眼定位方法.该方法包括人脸区域提取、眼睛区域分割以及眼睛精确定位三个过程.为了提高眼睛检测和定位的成功率,该方法包含了一个人脸边界优化算法和一个多级人眼检测方案.另外,该方法将虹膜上的反射光点作为眼睛定位的重要线索,为此,该方法还包含了一个高鲁棒的反射光点自动检测算法.利用150个Bern图像和564个AR图像进行实验,分别获得了98.7％和96.6％的双眼定位成功率,表明该方法对眼睛定位过程中的视角变化、人脸表情变化和图像光照变化都具有很好的鲁棒性.进一步的分析和观察还表明,利用反射光点进行眼睛定位,不仅能获得很高的眼睛定位精度和成功率,而且能够实现对一些被头发部分遮住的眼睛的准确定位.最后,提出一种基于二值模板匹配的人脸识别方法.该方法用由LAT(Locally Adaptive Threshold)算法获得的人脸二值边缘图像(BEM,Binary Edge Map)表征人脸,通过计算两幅BEM中重叠的前景像素数在其总的前景像素数中所占的比例来衡量两幅人脸图像的相似度.用AR和Yale人脸图像的实验表明,该方法能够以较快的速度获得比PCA法、灰度模板匹配法以及双修改Hausdorff距离方法更高的识别率,特别是对存有光照变化的图像.另外,本文还提出了一种进一步提高二值模板匹配识别性能的有效方法-在其决策过程中融入少量的灰度信息.实验表明,这种基于特征融合的扩展二值模板匹配法能同时获得较高的光照鲁棒性和表情鲁棒性,从而更加符合实际应用的需要.

目录

文摘

英文文摘

第一章绪论

1.1引言

1.2人脸识别技术的研究概况

1.3人脸识别系统的组成

1.3.1人脸检测

1.3.2人脸图像预处理

1.3.3人脸识别系统的性能评价

1.4人脸图像数据库

1.4.1 FERET人脸库

1.4.2 AR人脸库

1.4.3 Yale人脸库

1.4.4 Bern大学人脸库

1.5人脸识别技术竞赛

1.5.1 FERET测试

1.5.2 FRVT测试

1.5.3 FAC2004和FAT2004竞赛

1.6人脸识别技术的应用现状

1.7本课题的研究目的和论文结构安排

第二章人脸识别技术文献综述

2.1引言

2.2基于子空间变换的方法

2.2.1主元分析(PCA)方法

2.2.2 Fisher脸法

2.2.3概率PCA(PPCA)方法

2.2.4独立成分分析(ICA)方法

2.3基于Hausdorff距离(HD)的方法

2.3.1基于HD和M2HD的方法

2.3.2基于LHD的方法

2.4基于机器学习的方法

2.4.1基于神经网络(ANN)的方法

2.4.2基于支持向量机(SVM)的方法

2.5基于模型的方法

2.5.1基于隐马尔可夫模型(HMM)的方法

2.5.2基于三维可变形模型的方法

2.6基于局部特征的方法

2.6.1弹性图匹配(EGM)方法

2.6.2局部特征分析(LFA)方法

2.7传统方法

2.7.1基于几何特征的方法

2.7.2基于灰度模板匹配的方法

2.8 小结

第三章基于小波多分辨率分析的人脸二值边缘图像的提取

3.1引言

3.2人脸图像分析中常用的边缘提取方法

3.2.1 Sobel算子及LAT算法

3.2.2 Canny算子

3.3小波变换

3.3.1小波变换及其性质

3.3.2离散小波变换

3.3.3多分辨率分析与Mallat算法

3.3.4二维小波变换

3.4本章提出的人脸边缘提取方法

3.4.1图像的高频重构及其二值化

3.4.2边缘图像的融合及二次二值化

3.4.3二值图像去噪

3.5二值边缘图像质量评价

3.5.1 BEI的主要特点

3.5.2定量评价

3.6小结

第四章基于边缘和亮度信息的人眼定位

4.1引言

4.1.1基于主动红外光的人眼定位方法

4.1.2基于图像的人眼定位方法

4.2本章提出的方法

4.2.1方法概述

4.2.2人脸区域提取

4.2.3类眼块提取

4.2.4眼睛区域检测

4.2.5眼睛块检测

4.2.6用亮度值定位眼睛

4.2.7多级眼睛检测方案

4.2.8反射光点的自动检测

4.3实验结果

4.3.1人脸图像库及实验方法

4.3.2参数α和β的选定

4.3.3 Bern图像集的眼睛定位实验

4.3.4 AR图像集的眼睛定位实验

4.4小结

第五章基于二值模板匹配的人脸识别

5.1引言

5.2基于二值模板匹配的人脸识别

5.2.1二值模板匹配的基本原理

5.2.2实验方法和结果

5.3提高二值模板匹配识别率的有效方法—特征融合

5.3.1特征融合的基本方法

5.3.2基于扩展的二值模板匹配法的人脸识别结果

5.4 小结

第六章总结与展望

6.1全文总结

6.2未来工作展望

参考文献

致谢

攻博期间作者完成的文章和从事的项目