基于三维加速度传感器的手势识别及交互模型研究

摘要

随着以人为本交互理念的提出，自然人机交互技术已经成为当前计算机应用研究的重要方向。手势识别是一种重要的人机交互技术，目前通常采用基于图像处理的方法，虽然基于这种方法的研究已经取得了一定成果，然而由于该方法对光线、背景等外部条件的依赖比较强，对特定的场合和人群的应用时，存在局限性；同时，现有的交互模型并不能很好地支持诸如手势、语音等自然交互方式的应用。 针对基于图像的手势识别方法应用的局限性问题，本文提出基于三维加速度传感器的手势识别方法。首先将手势分割为若干原子手势，利用加速度传感器采集每个原子手势执行过程中的三维加速度信息，这些加速度信息经过预处理之后，被作为手势动作的特征量；然后根据这些特征量为每个原子手势建立离散的隐马尔科夫模型(HMM)，采用Baum-Welch算法对模型进行优化，同时利用插值的方法克服训练数据不足的影响；最后利用优化的模型识别原子手势，被识别的原子手势组合成复杂、连续的手势动作。 针对现有交互模型对自然交互方式支持的欠缺问题，本文在已有交互模型研究及其分析的基础上，建立了支持手势输入并且具有反馈机制的手势交互模型，并对该模型进行了形式化描述。该模型由用户、人机交互对象构件、表现构件、对话控制构件和应用程序构件五个部分组成，在人机交互对象构件的支持下，用户通过手势、语音等交互方式，以方式原语、概念原语和任务原语与表现构件、对话控制构件和应用程序构件进行通信，完成自然交互。 在理论研究的同时，本文还对基于三维加速度传感器的手势识别方法进行了实验验证。以四种自定义手势的和单个阿拉伯数字以及阿拉伯数字串的书写识别为例进行了实验。本研究不仅将三维加速度传感器的手势识别方法用于人机交互，而且为手势识别方法提供了理论扩充，为自然人机交互提供了框架支持。

目录

文摘

英文文摘

论文说明：图表目录

声明

第一章绪论

1.1研究背景及意义

1.2国内外研究现状

1.3本文研究内容

1.4本文组织结构

第二章人机交互技术及相关概念

2.1人机交互技术概述

2.2影响人机交互的因素

2.2.1人的因素

2.2.2计算机的因素

2.2.2物理环境的因素

2.3交互模型概述

2.4 本章小结

第三章 基于加速度分析的手势识别

3.1手势识别技术

3.1.1手势的定义

3.1.2手势的表示

3.1.3手势的识别

3.1.4手势识别在人机交互中的作用

3.2隐马尔科夫模型基本原理

3.2.1马尔科夫链

3.2.2隐马尔科夫模型

3.2.3隐马尔科夫模型相关算法

3.2.4隐马尔科夫模型实现过程中遇到的问题

3.3基于加速度的手势识别

3.3.1加速度传感器的应用

3.3.2加速度的分析与识别

3.4相关工作比较

3.5本章小结

第四章 支持手势输入的交互模型

4.1常见交互模型介绍

4.1.1 Seeheim模型

4.1.2 ARCH/SLINKY模型

4.1.3基于Agent的模型

4.1.4 MVC模型

4.1.5 PAC模型

4.2基于手势的交互模型

4.2.1模型结构

4.2.2模型形式化描述

4.2.3模型特点分析

4.3相关工作比较

4.4本章小结

第五章实验验证与结论

5.1实验硬件平台

5.2实验方法及过程

5.2实验结论

第六章总结与展望

6.1本文工作总结

6.2进一步展望

参考文献

攻读硕士学位期间参加的科研项目和发表(录用)的论文

致谢