用于3D场景视频会议的手势识别系统的研究与实现

摘要

随着信息技术的发展,计算机在人们生活中应用得越来越广泛,人机交互也越来越引起研究人员的关注,研究更符合人们生活习惯的人机交互方式的问题也变得更加有意义。手势识别作为人机交互中常用的一种方式一直以来有过很多研究和应用,但由于手势的多变性和环境的复杂性,这一课题仍没有完善的解答。本文提出基于微软Kinect获取的深度图来实现用于3D场景视频会议的手势识别系统的方法,并对这一方法进行实验和验证,论文研究具有实际意义。
　　本文首先介绍了Kinect设备的组成结构和深度图提取原理,并讲解了获取深度图和将其转换为三维点云的方法,以便于后续手势处理工作的进行;接着在获得场景三维点云后,从静态手势识别入手进行研究。按基于视觉的手势识别技术的流程进行手势定位和提取时,利用三维点云场景比二维图像场景多一维深度信息的优势,用基于距离分割的方法进行手势定位,并根据最近临法则的原理进行手势提取。在获取手势点云后,最后对手势进行了方向矫正使其在深度方向上较为统一,并使用手势点云的深度区间分布提取手势特征,使用支持向量机对特征进行模型训练和识别实验,实现了数字手势1至5的识别并取得了较好的实验结果。
　　为了便于视频会议的使用,本文还实现了基于隐马尔可夫模型的动态手势识别。在对手势进行距离定位后,根据手势运动轨迹的位置、速率、加速度和方向角等信息提取了动态手势特征,并进行了优化使其稳定性得以增强。本文使用此动态手势特征进行了隐马尔可夫模型建模和识别实验,实现了4个常用动态手势的识别并取得了较好的实验结果。
　　本文将静态手势与动态手势识别结合起来进行实验,验证了系统启动和运行的流程,获得了较好的实现效果,减少了手势误操作对系统造成的影响。本文提出的基于Kinect的手势识别方法能克服之前常用的基于视觉的手势识别方法易受环境等因素影响的问题,并能达到较好的识别和实时效果,具有一定实用价值。

目录

封面

声明

中文摘要

英文摘要

目录

图目录

表目录

第一章 绪论

1 .1 课题背景

1 .2 基于视觉的手势识别技术及其研究现状

1 .3 论文主要内容及论文安排

第二章 Kinect使用研究

2.1 Kinect结构及原理介绍

2 .2 深度图处理

2 .3 本章小结

第三章 静态手势识别

3 .1 手势定位与提取

3 .2 手势识别

3 .3 结果验证

3 .4 本章小结

第四章 动态手势识别

4 .1 动态手势识别模型

4 .2 轨迹特征提取

4.3 HMM算法介绍

4.4 HMM三个基本问题及解法

4 .5 结果验证

4 .6 本章小结

第五章 实时手势识别演示系统

5 .1 静态手势识别

5 .2 动态手势识别

5 .3 静态与动态手势结合识别应用

5 .4 本章小结

第六章 总结与展望

6 .1 本文工作总结

6 .2 研究展望

参考文献

致谢

攻读硕士学位期间已发表或录用的论文