基于动态手势的人机交互系统研究

摘要

计算机在各个应用领域的不断延伸使得现有人机交互通道的瓶颈效应日益突出，普适计算以及以人为本的交互理念促使自然的人机交互成为当前计算机应用研究的重要方向。手势作为人之间的一种常用且具有较强表达力的交互方式自然而然地受到研究者们的关注。将手势引入人机交互过程将有效地拓宽人机交互通道且大大地提升交互体验。
　　 以手势数据采集方式为划分标准，当前基于手势的人机交互的研究可分为基于数据手套、基于机器视觉、基于肌电信号和基于惯性传感器等多种方案。这些方案各具优势，然而综合比较方案对人、机器以及环境等因素的适应性后，基于惯性传感器的方案突显出较大优势。本文的研究采用加速度传感器采集手部在空间中运动的加速度数据，对这些原始数据进行处理可以计算出手在空间的运动轨迹。手势特征提取使用了方向矢量量化的方法，该方法能够大大降低后续处理的时空复杂度。手势识别采用了隐马尔科夫模型，每个具体手势均建立了相应的模型。为分割出连续输入流中的各个手势，引入了门限模型作为分割器。门限模型不仅能分割出各原子手势，而且能找出最匹配的目标手势模型。为提高识别精度，加速度信号在提取手势特征前进行了去噪处理，这里采用了一个改进的卡尔曼滤波算法来滤除系统噪声。
　　 继解决手势识别的问题后，本文讨论了双手人机交互设计的问题。从探讨双手交互理论入手，逐一讨论了双手交互的行为学基础、心理学基础和双手交互的时序特征。以双手交互理论为基础，探讨了手势库设计中人、机两个对立层面的参数协调问题。
　　 在理论研究之后，本文对所提出的理论和方法进行了实验验证。验证用例使用的是图片浏览器，该用例支持使用预定义的手势控制图片的加载、平移、缩放和旋转等操作，初步验证了基于手势的自然人机交互的可行性。

目录

文摘

英文文摘

论文说明：主要符号对照表

声明

第1章 绪论

1.1 引言

1.2人机交互的发展历程

1.3基于手势的人机交互研究现状

1.4研究背景及意义

1.5本文组织结构

第2章 方案遴选

2.1 人机交互的定义

2.2影响人机交互的因素

2.2.1计算机的因素

2.2.2人的因素

2.2.3环境的因素

2.3方案分析

2.3.1应用场景设定

2.3.2方案比较

2.4 理论及技术准备

2.4.1 MEMS加速度传感器

2.4.2短距离无线通信

2.4.3隐马尔科夫模型

2.5本章小结

第3章 手势模型

3.1 人体几何模型

3.1.1手掌

3.1.2人体

3.2人体运动模型

3.2.1运动模型

3.2.2运动约束

3.3手势模型

3.3.1 手势的定义

3.3.2手势表征

3.4传感器姿态解算

3.4.1 静态倾角

3.4.2动态倾角

3.4.3运动矢量

3.5手势轨迹特征提取

3.6本章小结

第4章 手势识别

4.1手势识别流程

4.1.1 手势识别的形式化描述

4.1.2识别流程

4.2信号处理

4.2.1信号特征

4.2.2状态空间模型

4.2.3滤波

4.3手势识别

4.3.1 HMM的构造与训练

4.3.2 门限模型

4.4本章小结

第5章 双手交互

5.1双手交互理论

5.1.1行为学基础

5.1.2心理学基础

5.1.3双手操作的时序特征

5.1.4影响双手协调的因素

5.2手势设计评估

5.3 双手交互状态模型

5.4本章小结

第6章 原型验证

6.1手势采集设备

6.1.1评估板结构

6.1.2零点漂移补偿

6.1.3数据采集

6.2图片浏览器

6.2.1功能需求

6.2.2手势设计

6.2.3设计与实现

6.3本章小结

第7章 结语

致谢

参考文献

攻读硕士学位期间发表的论文及参与的科研项目