多点触摸环境下的多点手势识别与应用研究

摘要

近年来，随着iPhone智能终端手机和Surface平面触摸式电脑的普及，多点触摸设备的种类及其应用日渐增多，手势的定义与识别相关研究由此产生。不同设备的手势库所包含手势不同，增加了用户的认知负担，难以体现以用户为中心的人机交互理念；另外一方面，多点触摸应用程序开发者需要根据特定的应用需求，为描述和识别新的手势编写大量代码，且代码在不同设备之间不可移植。本文针对以上问题，提出一种支持用户自定义手势的解决方案，通过研究多点手势的描述与匹配方法，构建支持用户自定义手势的原型系统。　　本文工作主要包含以下方面：　　1)研究多点手势的描述方法；根据将复杂问题分解为多项子问题的思路，将多点手势分解为多个不可再被分解的元手势，提出基于形状特征元手势描述方法，并分析元手势之间存在的时序关系和空间位置关系作为约束条件来描述多点手势。　　2)研究多点手势的匹配方法；元手势之间的匹配通过元手势轨迹形状特征串相似程度来判定，提出一种基于最长公共子序列算法的分段匹配方法，将元手势的匹配问题转化为字符串匹配；多点手势之间的匹配是在元手势匹配的基础之上，结合元手势个数相似度、时序相似度和空间位置相似度共同判定多点手势之间的匹配情况；设计元手势和多点手势的匹配实验，并分析实验结果。　　3)实现支持用户自定义手势原型系统；在前述研究工作的基础上，实现了一个支持用户自定义手势的原型系统，并为多点触摸程序开发者提供工具箱。原型系统提供了由用户和开发者共同参与的机制来实现多点触摸应用程序的开发，相比于基于样本学习的手势系统实现简便、易于扩展，提高了多点触摸应用程序的开发工作效率，同时降低了用户对手势库记忆和学习的负担。

目录

文摘

英文文摘

致谢

图表目录

第一章 绪论

1.1 引言

1.2 研究背景

1.3 国内外研究概况

1.3.1 多点触摸技术

1.3.2 手势描述与识别

1.3.3 多点触摸应用程序框架

1.4 研究内容与组织结构

1.4.1 研究内容

1.4.2 组织结构

第二章 基于形状特征的多点手势描述

2.1 形状分析研究概述

2.1.1 形状描述方法的特性与准则

2.1.2 形状描述方法

2.2 FREEMAN链码

2.3 元手势描述

2.4 多点手势描述

2.4.1 时序逻辑描述

2.4.2 空间位置逻辑描述

2.5 本章小结

第三章 基于LCS的多点手势匹配方法

3.1 形状匹配研究概述

3.1.1 相似性测度

3.1.2 Hausdorff距离

3.2 元手势匹配

3.2.1 基于Hausdorff距离的元手势匹配

3.2.2 基于LCS的元手势匹配

3.3 多点手势匹配

3.4 实验结果与分析

3.5 本章小结

第四章 构建支持用户自定义手势原型系统与应用

4.1 相关应用

4.2 原型系统框架

4.3 数据结构设计

4.4 冲突手势检测

4.5 应用实例

4.6 本章小结

第五章 总结与展望

5.1 论文总结

5.2 论文展望

参考文献

硕士研究生在读期间完成的论文

硕士研究生在读期间参加的科研工作