基于RGBD数据的手势识别及应用

摘要

近几年，Kinect传感器的出现，给手势识别技术带来了极大的便利，引发了广大爱好者的研究热潮。本文采用Kinect获取数据源，对静态手势识别的手势分割、特征提取及分类识别等关键技术进行了深入的研究，同时对动态手势的特征提取及分类识别方法进行了较为深入的研究，并将研究成果应用到图像浏览器中，实现了自然的人机交互。本文的主要内容有以下几点：
　　1.通过实验对比了高斯滤波和中值滤波两种去噪方法分别对深度图像进行去噪处理，得出中值滤波不仅能将噪声有效地去除掉，而且可以很好地保留图像的边缘信息。
　　2.在静态手势识别中，首先，通过实验对比了三种方法的静态手势分割效果。第一种方法是基于手掌颜色信息的手势分割，该方法在彩色图像上建立YCbCr颜色空间中的椭圆肤色模型，检测并分割出手势区域；第二种方法是基于手掌骨骼节点双深度阈值的手势分割，该方法在深度图像上以手掌节点为中心，将满足阈值范围内的像素点置为1，其余的置为0，分割出手势区域；第三种方法是融合颜色信息与深度信息的手势分割，该方法首先在深度图上将满足X、Y、Z方向范围内的像素点保留，其余的置为0，然后将保留的像素点映射到彩色图像中，把满足椭圆肤色模型的像素点保留并置为1，其余的置为0。对比得出，融合颜色信息和深度信息的手势分割方法对光照、背景的鲁棒性较好。然后，提取静态手势轮廓的圆形度、凸包点及凸缺陷点、7Hu矩特征，组成特征向量，最后，采用SVM进行静态手势识别，识别率达94.8％。
　　3.在动态手势识别中，根据动态手势的运动轨迹提取左右手掌节点、双肩中央和脊柱中段4个骨骼关节点，并做中心化和归一化处理，将其结果构成动态手势的特征向量；建立向左、向右、向上、向下、向前、向后6个方向的动态手势模板库；采用DTW算法进行动态手势识别，识别率达96.67%，且在不同光照、不同背景及多人干扰下有较高的识别准确性。
　　4.将本文的静态手势识别和动态手势识别方法应用到一个图像浏览器系统中，实现了上一张、下一张、向左旋转、向右旋转、放大等7种手势交互控制功能。

目录

第一章 绪论

1.1 手势识别研究背景及意义

1.2 手势识别研究概况

1.3 手势识别研究难点

1.4 论文的组织结构

第二章 数据获取与预处理

2.1 Kinect简介

2.2 深度图像获取技术

2.3 骨骼数据的获取及分析

2.4 深度图像预处理

2.5 本章小结

第三章 基于RGBD数据的静态手势识别

3.1 手势分割

3.2 手势特征提取

3.3 基于RGBD数据及SVM的静态手势识别

3.4 本章小结

第四章 基于深度数据的动态手势识别

4.1 动态手势特征提取及起止点判定

4.2 基于深度数据及DTW的动态手势识别

4.3 本章小结

第五章 手势识别在图像浏览器中的应用

5.1 系统开发环境

5.2 人机交互模块的设计

5.3 人机交互模块的实现

5.4 本章小结

第六章 总结与展望

6.1 本文工作总结

6.2 后期工作展望

参考文献

致谢