基于Post-WIMP界面的手势设计与识别研究

摘要

目前，基于桌面隐喻的WIMP界面由于语法极小化、对象可视化以及实时性高等优点已经占据统治地位，但是随着计算机技术的快速发展，WIMP界面的弊端如多窗口，用户操作时关注操作并非任务本身也愈来愈凸显。因此研究者们的焦点开始聚集到下一代用户界面Post-WIMP上，此界面隐喻性往往决定用户会选择最自然的交互方式，也会导致界面的总体设计和交互方法产生巨大变化。本文针对上述问题，提出一种基于Post-WIMP界面的手势设计与识别研究方法，先设计出一种基于层次化信息的3D辐射树界面及系统，接着结合界面诱发层次化操作手势，之后基于Kinect设计出一种曲率结合平行向量的指尖检测算法来识别手势，并创新性的结合自发手势和规范化手势并集来提取特征进行手势识别，提高识别容忍度。
　　本文的主要研究工作包含三个方面:
　　1)设计一种面向层次化信息自然操控的Post-WIMP手势界面及系统;因目前的层次化界面往往仅重视了同层的兄弟关系而忽略上下层之间的父子节点关系，为更加方便用户操作，有效地结合了Circular树图可视化方法和三维视图，为后期的自然手势设计与识别构建出界面及系统。
　　2) Post-WIMP手势在Kinect下的指尖检测及手势识别研究;为实现层次化操作手势的采集，预先采用深度相机Kinect，利用Kinect采集的深度图像使用曲率结合平行向量的新算法来获取指尖位置信息，再结合掌心位置、掌心速度形成状态机，进而完成层次化操作手势的识别。
　　3) Post-WIMP界面隐喻结合Leap motion驱动手势设计与识别;Post-WIMP界面具有隐喻性特征，会导致用户手势发出时识别并不准确，为增加手势容忍度，提出一种结合自发手势与规范化手势训练集提取特征的新思路，最后结合测试集评估训练集所提取特征的有效性。

目录

声明

致谢

摘要

第一章 绪论

1．1 课题背景与意义

1．2 国内外研究概况

1．2．1 层次化信息界面及系统

1．2．2 基于手势操作的指尖检测及手势识别

1．2．3 Post-WIMP界面隐喻驱动手势识别研究现状

1．3 本文的研究内容与组织结构

1．3．1 主要研究内容

1．3．2 组织结构

第二章 一种面向层次化信息操控的Post-WIMP手势界面及系统

2．1 概述

2．2 界面设计

2．3 系统框架构建

2．4 交互方法设计

2．4．1 坐标位置获取

2．4．2 层次化操作手势的设计

2．5 实验及其效果展示

2．5．1 界面实际效果展示

2．5．2 系统实例

2．6 本章小结

第三章 Post-WIMP手势在Kinect下的指尖检测及手势识别研究

3．1 概述

3．2 手势分割和预处理

3．2．1 手势分割

3．2．2 手部信息预处理及掌心获取

3．3 指尖定位

3．3．1 基于曲率的拟指尖点定位

3．3．2 凹陷点过滤

3．3．3 平行向量过滤拟指尖点

3．3．4 实验及分析

3．4 手势识别

3．5 本章总结

第四章 Post-WIMP界面隐喻结合Leap motion驱动手势设计与识别

4．1 概述

4．2 Leap Motion运动数据采集及预处理

4．2．1 中值滤波

4．2．2 归一化数据

4．3 特征选择

4．3．1 特征描述

4．3．2 特征选择

4．4 运动数据分类

4．5 应用实例的评估

4．6 本章小结

第五章 总结与展望

5．1 论文总结

5．2 论文展望

参考文献

攻读硕士学位期间的学术活动及成果情况