面向设备作业虚拟仿真的人体动作和手势识别交互技术研究

摘要

设备作业的虚拟仿真作为生产制造仿真技术的重要部分，在新产品生产、设备运行检测以及操作培训方面具有独特的作用。制造业虚拟仿真是虚拟现实的应用场景之一。人机之间的交互性是虚拟现实技术的关键特征。为实现虚拟现实中人机交互获得自然的体验，需要设计特殊的输入设备。传统的交互方式包括键盘、鼠标、三维空间跟踪定位器、三维空间定位球和数据手套，这些方式操作设备繁琐，交互体验不自然。本文针对上述问题，提出利用光学视觉设备的人体姿态动作和手势指令识别的交互方法，提高交互友好性，降低的交互难度。本文的研究内容主要包括:
　　第一章综述了国内外面向设备作业虚拟仿真的交互技术与人体动作、手势识别交互技术的研究现状，阐述了本文的研究内容与意义，最后介绍了本文的组织框架。
　　第二章提出了基于PCA-KNN算法的人体动作姿态识别交互方式。采集人体骨骼数据信息，对骨骼信息数据进行降噪、消除体型差异和归一化处理。用PCA提取骨骼特征主成分，并将其作为KNN最近邻的骨骼相似度计算输入，得到实时人体姿态动作的类别，以结果类别作为交互触发指令。此外，增加了手关节轨迹引导交互。
　　第三章提出了基于HMM-SVM算法的RGB-D手势图像识别交互技术。利用Kinect采集的彩色图像和深度图像相融合作为输入，分割出前景中的手势，提取手势图像的Hog和Sift双特征，利用隐马尔可夫HMM和支持向量机SVM的模型来识别实时变化的手势，得到手势指令进行交互触发。
　　第四章实现了多链式关节的虚拟人与Kinect骨骼关节映射的跟随运动。首先将简化后的Kinect骨骼关节与虚拟人进行绑定，建立多链式关节的运动旋转模型。其次，根据虚拟仿真的交互需求，构建了姿态和手势库，识别映射相应指令，丰富了虚拟人的指令触发交互。利用中值滤波技术解决虚拟人关节错位问题，使跟随运动更加稳定。
　　第五章开发了面向设备作业虚拟仿真的人体骨骼姿态和手势识别交互系统。系统主要包含骨骼驱动虚拟人、动作姿态识别、手势识别和设备作业虚拟仿真显示等模块。
　　第六章对本论文主要研究内容和创新点进行了总结，并针对目前的不足之处和后续需要深入研究的方向进行了展望。

目录

声明

致谢

摘要

第一章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 设备作业虚拟仿真中的交互技术研究现状

1．2．2 人体动作姿态识别交互技术研究现状

1．2．3 手势图像识别交互技术研究现状

1．3 交互设备的选取

1．4 本文的研究内容与组织框架

1．5 本章小结

第二章 基于PCA-KNN算法的人体骨骼姿态识别交互

2．1 引言

2．2 人体骨骼数据的获取与处理

2．2．1 骨骼图像数据的采集与降噪滤波预处理

2．2．2 交互者的身高体型差异消除

2．2．3 骨骼数据的归一化处理

2．3 基于PCA-KNN算法的骨骼姿态模式识别

2．3．1 骨骼姿态数据结构与模式指令映射

2．3．2 基于融合型算法的骨骼姿态相似度计算

2．4 基于手关节数据的轨迹引导交互

2．5 实验分析与验证

2．6 本章小结

第三章 基于HMM-SVM算法的手势图像识别交互

3．1 引言

3．2 基于Kinect彩色和深度图像对齐融合的手势分割

3．2．1 原始彩色图像与深度图像的采集与预处理

3．2．2 交互者手势图像的分割

3．3 手势图像的Hog与Sift双特征提取

3．3．1 基于方向梯度直方图的手势特征提取

3．3．2 基于尺度不变性的手势特征提取

3．4 基于HMM-SVM模型的手势分类

3．4．1 手势识别模型训练和混合算法模型构建

3．4．2 基于混合模型的手势实时分类

3．5 实验分析与验证

3．6 本章小结

第四章 多链式关节虚拟人运动模型构建及姿态手势映射

4．1 引言

4．2 虚拟人骨骼映射和多链式关节运动学模型建立

4．3 设备作业中的虚拟人动作姿态映射和动作库建立

4．3．1 动作姿态模式的分类定义与映射

4．3．2 动作姿态库的建立

4．4 设备作业中的虚拟人手势映射和手势库建立

4．4．1 手势交互模式的定义分类与映射

4．4．2 交互手势库的建立

4．5 基于中值滤波的虚拟人关节的稳定跟随

4．6 实验分析与验证

4．7 本章小结

第五章 面向设备作业虚拟仿真的人体姿态和手势交互系统开发及应用

5．1 引言

5．2 系统开发工具及总体设计框架

5．2．1 基于人体姿态和手势交互的虚拟系统开发工具

5．2．2 系统的总体设计框架

5．3 系统交互界面设计

5．4 系统功能模块的实现

5．4．1 虚拟环境设备作业功能的实现

5．4．2 人体骨骼姿态识别交互和手势识别交互功能的实现

5．5 人体骨骼姿态和手势识别交互功能应用实例

5．6 本章小结

第六章 总结与展望

6．1 全文总结

6．2 工作展望

参考文献

作者简历及在学期间所取得的科研成果