基于手势交互的虚拟拆装系统研究与实现

摘要

随着虚拟现实技术的成熟，利用虚拟现实技术，研究人员已经开发出多种不同行业的虚拟环境。在机械产品的设计中，为了便于装配和维修人员检查产品性能，开发了一种虚拟设计环境，设计人员不仅可以了解产品的拆装和拆卸路径及所需的空间，还可以进行产品拆装和拆卸的操作。二十一世纪在美国制造业发展战略的文件中提到，将基于虚拟环境的虚拟设计和虚拟仿真技术置于很高的战略地位，成为制造领域四大关键技术之一。建模与仿真技术是在产品制造业中的一项关键技术，该技术可以提高生产过程，缩短市场反应时间，降低产品成本等，有着非常重要的作用[1]。
　　在虚拟现实系统中，人机交互技术是实现虚拟环境沉浸性和真实性的重要纽带。它不同于传统的WIMP交互方式，可以在虚拟环境中可实现多通道交互手段和六自由度输入设备的交互方式。由于自由度的增加，三维交互变得复杂，使得人机交互技术具有较高的研究价值。
　　本文主要搭建了一个基于手势交互的虚拟拆装的系统环境，目的在于扩展人的认知能力与感知能力，建立和谐的人机环境，并在大的装配场景环境中，充分享受沉浸式的人机交互。主要研究的内容如下:
　　(1)建立了一个沉浸式虚拟拆装系统环境，同时设计了拆装交互方式。分析研究了应用虚拟鼠标模拟三维零部件拾取的原理，从宏观上描述了虚拟装配系统中场景节点的组织方式，以及碰撞检测原理;从微观上深入研究了拆装过程中的关键技术——碰撞检测技术。最后详细地分析“可拆卸即可装配”的路径仿真原理，并做了相关设计和应用。
　　(2)通过微软的Kinect交互设备，利用Kinect采集深度图像信息和骨骼追踪的位置信息来定义手势动作，采用手势和姿势合成识别的通道技术实现命令的控制。
　　(3)系统运行环境的设计，在整个环境的控制过程中，都是通过手势来操控。系统的手势操作主要包括两个方面:一是通过体感动作进行场景的漫游和控制;二是识别手势动作完成手部动作的追踪和抓取功能。然后将手势动作定义为系统的输入控制，完成虚拟拆装环境的交互操作。

目录

摘要

1 绪论

1．1 研究背景

1．2 课题研究的意义

1．3 国内外研究现状

1．3．1 虚拟装配技术

1．3．2 人机交互技术

1．4 研究的内容与目的

1．5 论文结构安排

2 系统软硬件环境

2．1 虚拟拆装系统硬件环境

2．2 虚拟拆装系统软件环境

2．2．1 Quest 3D

2．2．2 GDI GCave多通道显示软件

2．2．3 3DS MAX

2．2．4 Kinect for windows SDK

3 基于手势交互的虚拟拆装系统研究

3．1 虚拟拆装技术

3．1．1 虚拟拆装涵义

3．1．2 虚拟拆装的相关技术

3．1．3 虚拟拆装的相关工作

3．1．4 关键技术——碰撞检测

3．2 基于Kinect手势交互的关键技术

3．2．1 Kinect结构功能

3．2．2 Kinect原理

3．2．3 动态手势识别算法

4 基于手势交互的虚拟拆装系统设计与实现

4．1 系统概要设计

4．2 离心式水泵虚拟拆装的实现

4．2．1 虚拟拆装建模

4．2．2 模型导入

4．2．3 场景设计

4．3 基于手势的系统人机交互实现

4．3．1 手势识别原理

4．3．2 手势定义

4．3．3 动作设计

4．4 系统输入实现

4．4．1 鼠标控制

4．4．2 键盘输入

5 系统集成测试与发布

5．1 系统集成测试

5．2 案例发布

5．2．1 案例制作

5．2．2 GCave软件运行设置

6 总结与展望

6．1 本文总结

6．2 今后工作的展望

参考文献

致谢

攻读学位期间取得的研究成果

声明

浙江师范大学学位论文诚信承诺书