手势识别技术在虚拟实验中应用的研究

摘要

实验教学是教育教学中非常重要的环节，但由于国内教育发展情况不平衡、学生人数众多，使得教学资源紧缺，学习者不能更好地理解教学。虚拟实验系统使得学习者能够自由控制和操作整个虚拟环境，强化自主学习兴趣，同时可以有效缓解教育教学资源紧缺的问题。本文以探索计算机视觉领域的手势识别技术并将其应用到虚拟仿真实验当中为主，且从以下几个方面进行研究：
　　首先，了解国内外相关科研机构在人机交互领域的研究现状以及虚拟技术未来的发展趋势，讨论了如何将手势识别技术融入到传统的实验教学当中，搭建可自然人机交互的虚拟实验系统。其次，提出了融合深度图像信息的肤色分割算法，避免光照、复杂背景等因素对手势检测准确率的干扰，并将指尖位置和个数作为提取的特征，提高手势识别效率，为搭建虚拟实验做技术铺垫。第三，选择CamShift算法对目标手势进行跟踪识别，并结合手势基础特征对动态手势进行识别。最后，结合本文提出的手势识别算法，搭建并实现一套以大学光学实验为原理的虚拟仿真实验，用于验证本文设想的可行性。
　　本文成功将手势识别技术融合到虚拟实验当中并验证了其可行性，同时定义多种操作手势，实现对虚拟实验器材的控制。经过评测，该虚拟实验具有效果逼真、自然人机交互性能稳定、操作简单方便的优点，为将传统真实实验转换为虚拟仿真实验提供了可行的途径。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 课题研究的背景和意义

1.2虚拟实验及人机交互技术研究现状

1.3本课题研究的主要内容

1.4 本文的组织结构

第2章 基于动态手势识别的虚拟实验概述

2.1 NUI虚拟实验工程框架

2.2手势特征数据建立

2.3手势识别模块

2.4本章小结

第3章 手势分割与特征提取

3.1手势分割阶段

3.2融合图像深度信息的手势分割算法

3.3手势特征提取阶段

3.4实验结果与分析

3.5本章小结

第4章 动态手势识别模块设计

4.1 CamShift算法简介

4.2动态手势轨迹特征提取

4.3基于CamShift手势跟踪算法

4.4本章小结

第5章 NUI虚拟实验的测评与优化

5.1可自然人机交互的虚拟光学实验

5.2性能评测与优化

5.3本章小结

结论

参考文献

攻读硕士学位期间发表的学术论文

致谢