3D人机交互中的骨架提取和动态手势识别

摘要

人与计算机的交互越来越成为人们日常生活中的一个重要组成部分，如何实现更自然的人机交互，成为了计算机科学一个重要的课题。手势识别作为人机交互中一种有效的方式，提供了更加和谐、更加自然的人机交互方式。3D人体骨架能更精确地进行人机交互，给用户带来了更好的体验。3D人体骨架与手势识别在人机交互中得到了很广泛的使用。本文围绕3D人机交互，研究了3D人体骨架建模、3D手建模、动态手势识别，提出了很多新算法，本文的主要学术贡献如下：
　　提出了基于中心线的快速3D骨架建模新算法，同时，提出了3D人体部位识别新算法，新算法运算速度快，识别精度高。算法的基本思想是，先提取人体轮廓并细化，然后验证，如果满足则利用特征点快速建立3D骨架，否则，采用基于人体部位距离(Human Body Part Distance，HBPD)的3D识别新算法，建立更精确的3D人体骨架。同微软公司的基于像素点分类的算法相比，本文的新算法具有以下优点：(1)算法运算速度快，时间复杂度仅是微软SDK的1/100，因为算法集中在宽度为一的人体细化模型上，有更高的效率；(2)精度高，能识别更多的3D人体骨架，包括微软 SDK识别不到的人体姿态；(3)算法更容易实现，不再需要微软海量的训练样本。同时，本文提出了新的3D骨架跟踪算法，将检测与跟踪融为一个完整的相互促进的系统，并提出了基于角点匹配的算法，有效解决了光照变化与形状任意变化的跟踪难题。把新算法放在PRMI-Skeleton-21数据库上进行实验，一帧图片中提取3D人体骨架仅需5ms。
　　本文提出了3D手建模新算法，快速精确地建立了3D手模型。算法用指尖与手指分支点初始化手特征参数，然后结合相似度的新算法，建立完整的3D手骨架模型，包含各个关节点，实现了手指弯曲等各种手姿态的3D手骨架建模。再结合本文提出的手检测跟踪新算法，实现了手任意运动时建立3D手骨架。
　　本文提出了基于笔画特征与多层分类的手势识别新算法，并提出了方向到位置相似度(Direction to Location Similarity，D2LS)的新理论，有效提高了运算速度与识别率。首先，利用基于HBPD手检测跟踪新算法，精确计算手的位置。然后，将动态手势划分成笔画特征，组成特征序列，用D2LS计算相似度，用样本到类的算法识别动态手势。在 PRMI-Gesture-16数据库上做实验，识别率达到98.75％。与传统算法相比，手检测跟踪更精确，手势识别更快，识别率更高。

目录

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究目的和意义

1.2国内外相关领域研究现状与发展态势

1.3 应用前景

1.4 本文主要内容与特色

第二章 快速3D人体骨架检测算法

2.1新算法

2.2人脸检测

2.3基于深度信息的人轮廓获取

2.4 基于“凸模板”的验证算法

2.5 3D人体骨架线

2.6关节点的定位

2.7完整3D骨架模型

2.8 实验结果与分析

2.9 算法复杂度对比

2.10 算法效果对比

2.11 更进一步的对比

2.12 本章小节

第三章 3D骨架跟踪算法

3.1跟踪算法

3.2 3D骨架跟踪算法

3.3 3D人体部位跟踪算法

3.4基于角点匹配的算法

3.5 3D骨架跟踪算法中的关节点约束关系

3.6 3D骨架跟踪效果

3.7 本章小节

第四章 3D手建模算法

4.1 手建模算法

4.2 手的3D轮廓

4.3 手的中心线

4.4 手轮廓的直线化

4.5 指尖定位

4.6 手指分支点

4.7 手的中心点 与 手区域半径

4.8 手的模型结构

4.9更精确的3D手建模

4.10 3D手模型的跟踪

4.11 本章小节

第五章 基于笔画特征与多层分类的手势识别

5.1手势识别算法

5.2 基于HBPD的手检测跟踪新算法

5.3 在线实时滤波新算法

5.4 笔画特征

5.5 运动特征序列

5.6 DTLS相似度计算

5.7 基于训练样本的分类识别

5.8 基于标准样本的分类识别

5.9 识别阈值的选取

5.10 手势识别起止点，与多手势连续识别

5.11 实验结果与分析

5.12 本章小节

第六章 总结与展望

参考文献

硕士期间取得的研究成果

致谢

附录

附录 1 区域扩展算法 区

附录 2 线上最短距离算法 线