复杂背景下快速多姿态人脸检测研究

摘要

人脸检测在人机交互、基于内容的检索、数字视频压缩、视频监控等许多领域具有广阔的应用前景，是各种人脸处理系统最为基础而又十分重要的技术环节，是近年来国内外研究的一个热点。然而目前复杂背景下的多姿态人脸检测还存在很大困难，有效的方法还不多。 本文主要研究了复杂背景下的多姿态人脸检测及相关的快速算法。首先以提高人脸检测速度为主线，研究了复杂背景下人脸检测的各个环节，提出了一些快速算法；然后分别设计了灰度图像和彩色图像的快速多姿态人脸检测方案。具体说来，做了以下工作： 第一，针对人脸检测的各个环节，提出了一些相应的快速算法。针对模板匹配前的灰度分布标准化较为耗时的问题，提出了一种基于广义积分图像的灰度分布标准化快速算法，使图像窗口灰度均值和方差的计算时间大大减少；为综合利用图像梯度特征及梯度方向特征进行人脸检测，采用多方向Kirsch边缘检测算子，并就此提出了一种基于模板分解和积分图像的快速Kirsch边缘检测算法，以解决多方向边缘检测耗时间题；积分投影和方差投影是进行人脸检测和器官定位的常用方法，就此提出了一种基于广义行-列积分图像的快速投影算法，有效地降低了图像窗口行(或列)积分投影和方差投影的计算量；另外，针对多模板匹配的计算效率问题，提出了基于广义积分图像的快速多模板匹配算法；针对模板匹配时存在掩膜的情形，提出了基于广义掩膜积分图像的快速模板匹配算法，并说明了其在多姿态模板匹配中的应用。 第二，针对复杂背景下灰度图像中的多姿态人脸检测问题，提出了一种基于知识模型和模板的快速多姿态人脸检测算法。即首先从原始图像中提取人脸器官梯度图，并建立多姿态知识模型和多姿态模板；然后以多姿态知识模型和知识规则进行人脸粗检，以多姿态模板匹配进行人脸细检，从而得到人脸在图像中的位置和大小信息，并通过眼嘴重心构成的三角形估计人脸的粗略姿态。多姿态知识模型中任意矩形区域的器官梯度特征点快速求和利用积分图像来实现；多姿态模板与图像窗口的局部和整体匹配应用本文提出的快速多姿态模板匹配算法来实现。 第三，针对复杂背景下彩色图像中的多姿态人脸检测问题，提出了一种基于多阈值特征融合的快速多姿态人脸检测算法。即首先从原始图像中，根据人脸器官梯度特征和Kirsch边缘检测算子提取多阈值器官梯度图和梯度方向图，并根据人脸肤色特征提取双阈值肤色图，根据亮度信息提取灰度特征图；然后建立特征融合模型，并应用多姿态知识模型和多姿态模板实现人脸检测。人脸检测过程中，采用了由粗至精的检测策略，并在各个环节应用相关的快速算法，以提高人脸检测的速度；融合了能在复杂背景下区分人脸的多种特征，以提高人脸检测的准确性，还融合了同一特征在不同阈值下的信息，以减小人脸漏检的可能性。另外，根据人眼能不依赖肤色从灰度图像中轻松地分辨出人脸的事实，允许梯度特征具有明显人脸模式的窗口跳过肤色检测直接进入下一级人脸分类器，以减少肤色失真造成的漏检。

目录

文摘

英文文摘

声明

第1章绪论

1.1人脸检测简介

1.1.1人脸检测及其意义

1.1.2人脸检测系统的性能指标

1.1.3人脸检测系统的评价方法

1.1.4人脸检测当前面临的主要困难

1.2人脸检测方法的现状分析

1.2.1目前主要的人脸检测方法

1.2.2目前主要的人脸检测快速算法

1.3多姿态人脸约束条件、研究目标与主要研究内容

1.3.1多姿态人脸约束条件

1.3.2研究目标和主要研究内容

1.4本文的组织结构

第2章人脸检测采用的图像预处理方法

2.1图像预处理概述

2.2主要图像预处理步骤

2.2.1灰度拉伸

2.2.2亮度补偿

2.2.3中值滤波

2.2.4灰度分布标准化

2.3广义积分图像

2.3.1积分图像

2.3.2平方积分图像

2.4基于广义积分图像的快速灰度分布标准化

2.4.1灰度均值及方差的快速计算

2.4.2灰度分布标准化快速算法

2.4.3灰度分布标准化实验结果与分析

2.5本章小结

第3章基于模板分解和积分图像的快速Kirsch边缘检测

3.1 Kirsch边缘检测概述

3.2 Kirsch算子和积分图像的回顾

3.2.1 Kirsch算子

3.2.2积分图像的回顾

3.3算法TDIIKA及其运算量分析

3.3.1算法TDIIKA原理

3.3.2算法TDIIKA的运算量分析

3.3.3积分图像在算法TDIIKA中的作用讨论

3.4人脸检测综合应用实例

3.5模板分解和积分图像用于减少卷积运算思路的通用性

3.5.1提高八方向Prewitt算子的边缘检测效率

3.5.2减少LOG算子与图像的卷积运算量

3.5.3减少一些空域滤波模板与图像的卷积运算量

3.6 Kirsch边缘检测实验结果与分析

3.7本章小结

第4章一种快速投影算法及其在人脸检测中的应用

4.1投影概述

4.2投影函数简介

4.2.1积分投影函数

4.2.2方差投影函数

4.2.3混合投影函数

4.3广义行-列积分图像

4.4基于广义行-列积分图像的快速投影算法

4.4.1快速积分投影算法

4.4.2快速方差投影算法

4.5基于快速投影算法的人脸粗检

4.6投影算法实验结果与分析

4.7本章小结

第5章一种快速多模板匹配算法及其在人脸检测中的应用

5.1模板匹配概述

5.2图像窗口与人脸模板的快速匹配

5.2.1图像窗口灰度分布标准化的回顾

5.2.2相关系数和平均偏差的快速算法

5.2.3快速人脸多模板匹配

5.3模板匹配实验结果与分析

5.3.1人脸单模板匹配实验

5.3.2人脸多模板匹配实验

5.4本章小结

第6章灰度图像的快速多姿态人脸检测

6.1灰度图像的人脸检测概述

6.2人脸器官梯度图

6.3多姿态知识模型及多姿态人脸模板

6.3.1多姿态知识模型

6.3.2多姿态人脸模板

6.3.3多姿态知识模型对深度旋转人脸的适应性分析

6.4灰度图像多姿态人脸检测原理

6.4.1人脸检测原理简介

6.4.2人脸粗检算法描述

6.4.3人脸细检算法描述

6.5灰度图像的人脸检测实验结果及分析

6.5.1 ROC曲线和检测时间分析

6.5.2人脸检测结果示例及分析

6.6基于广义掩膜积分图像的快速多姿态人脸模板匹配

6.6.1广义掩膜积分图像

6.6.2基于EIIM的快速模板匹配

6.6.3基于EIIM的快速多姿态人脸模板匹配

6.6.4快速多姿态人脸模板匹配实验结果与分析

6.7本章小结

第7章彩色图像的快速多姿态人脸检测

7.1彩色图像的人脸检测概述

7.2特征图像的提取

7.2.1特征图像提取原理

7.2.2多阈值器官梯度图

7.2.3双阈值肤色图

7.2.4梯度方向图

7.2.5灰度特征图

7.3特征融合模型和多阈值特征的融合方式

7.3.1特征融合模型

7.3.2多阈值特征的融合方式

7.4彩色图像多姿态人脸检测的主要原理

7.4.1人脸检测原理简介

7.4.2多阈值特征的融合方式分析

7.5彩色图像多姿态人脸检测的主要步骤

7.5.1梯度特征检测

7.5.2肤色特征检测

7.5.3梯度方向特征检测

7.5.4灰度特征检测

7.6彩色图像的人脸检测实验结果与分析

7.6.1检测过程实例分析

7.6.2 ROC曲线与检测时间分析

7.6.3人脸检测结果示例与分析

7.7特征融合模型的其它应用

7.8本章小结

第8章结束语

8.1工作总结

8.2研究展望

参考文献

致谢

攻博期间参与科研项目、获奖及发表论文情况