基于表观的二维手势识别方法研究

摘要

随着计算机视觉技术的发展以及人们对新的交互手段的需求，基于计算机视觉的交互系统(如手语、人脸、表情、唇读、头势、体势等)便逐渐发展起来。其中手势完全可以作为一种手段，它生动、形象、直观，可以增强人机交互过程中的自然性。
　　 本文从自然人机交互的角度出发，研究了基于表观的二维手势识别技术，并实现了一个基于简单自然手势的人机交互系统并应用到鼠标控制中，为后续的深入研究奠定了平台基础。具体研究工作包括以下几个方面：
　　 (1)为了克服现有的手势分割算法中单线索分割的局限，提出一种基于概率模型的表观手势分割方法。该方法首先利用肤色概率分布图得到图像的肤色信息，然后将图像分块后用统计的差减法得到运动信息，最后结合手势的肤色分布与运动信息的多线索融合进行手势分割。实验结果表明，此方法提高了复杂背景下的手势分割的准确度。
　　 (2)针对现有动态手势跟踪方法不能准确跟踪轮廓的缺点，从统计和概率分布上考虑，通过将现有的一维肤色概率分布扩展为二维肤色概率分布，提高了肤色的表示精度。该方法首先通过将各个像素分别看作独立的系统，并建立像素状态模型估计当前像素与区域的状态，然后对当前帧进行基于区域的自适应阈值分割，以达到对手势进行实时轮廓跟踪的目的。
　　 (3)针对传统的目标物形状识别不能识别相似样本，且在多样本、多分类的情况下分类率低等问题，利用小波多分辨率分析的细节信息与近似信息对物体形状具有特征描述的特点，通过对轮廓链码p阶归一化极半径信号Haar小波分解，提取出一种用于形状识别的极半径Haar小波特征。实验结果表明此特征可识别相似形状，样本数、分类数越多，分类效果越好。
　　 最后，结合上述研究，用VC++6.0实现了一个简单的基于VFW的手势应用系统。该系统可以识别简单的几种手形，并通过语义解释，动态手势识别，实现了鼠标功能。并在此系统的基础上，提出了人机交互中用手势控制鼠标、键盘，即完全实现手势控制的计算机视觉交互的一般的系统架构，为复杂的应用提出了思路。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章 绪论

1.1课题的研究背景与意义

1.2手势识别的定义和组成

1.3基于表观手势识别的现状及分析

1.3.1手势识别发展的三个阶段

1.3.2国内外研究现状

1.3.3基于表观的二维实时手势识别系统发展趋势

1.4基于表观的手势识别的框架

1.5存在问题

1.6课题来源

1.7论文主要研究内容与组织结构安排

第2章复杂背景下基于表观的二维手势分割方法研究

2.1引言

2.2图像分割概述

2.2.1基于颜色的分割

2.2.2基于运动信息

2.2.3基于模板匹配

2.2.4基于局部区域信息

2.3图像预处理

2.3.1图像的格式以及色彩模式

2.3.2图像的差减法

2.3.3区域扩张轮廓提取

2.3.4肤色查找表与肤色概率分布图

2.3.5多模式分割

2.4基于概率模型的表观手势分割方法

2.4.1分块后用统计的差减法得到运动信息

2.4.2结合运动与肤色信息找到手势的中心点

2.4.3对手势分块区域扩张、分割

2.5手势分割实验

2.6本章小结

第3章复杂背景下基于表观的二维手势轮廓跟踪方法研究

3.1引言

3.2图像跟踪概述

3.2.1 Meanshift算法

3.2.2 Kalman滤波算法

3.2.3基于活动轮廓模型(snake)

3.3图像跟踪预处理

3.3.1分水岭算法

3.3.2图像的二值形态学膨胀和腐蚀

3.4基于颜色概率与状态估计模型的手势轮廓跟踪

3.4.1二维肤色概率分布图

3.4.2基于形状的统计模型

3.4.3状态估计方法

3.4.4基于状态估计的手势跟踪算法流程

3.5图像跟踪实验

3.6本章小结

第4章手势识别的特征提取方法研究

4.1引言

4.2图像特征提取综述

4.2.1基于拓扑的的特征提取

4.2.2基于傅立叶描述子的特征提取

4.2.3基于不变矩

4.3图像特征提取预处理

4.3.1基于广度优先搜索的轮廓跟踪

4.3.2离散周期信号的多分辨率分析

4.3.3 Haar小波

4.4用于形状识别的极半径Haar小波特征提取方法

4.4.1物体形状表示

4.4.2极半径Haar小波描述子

4.4.3不变性证明

4.4.4极半径小波描述子的选取

4.5图像特征提取实验

4.5.1类内极半径Haar小波描述子

4.5.2类间极半径Haar小波描述子及其对比

4.5.3极半径Haar小波特征识别性能及其对比

4.6本章小结

第5章简单手势识别应用及实现

5.1引言

5.2系统结构

5.3简单的手势识别功能演示

5.4本章小结

总结与展望

参考文献

致谢

附录A 攻读学位期间所发表的学术论文目录