联机结构化手写文档和手势设计

摘要

本文基于笔式用户界面勾画的特征来讨论相关问题。保持笔迹的原形，不对其识别。但是计算机没有人的智能，为了达到修改、维护、检索的方便性，这就要求系统对这些手写文档笔迹结构化，使这些离散的笔迹变成有意义的结构化单元(具有字结构，行结构等特性)。结构化文档是手段不是目的，用户通过操作这些结构化单元来完成一定的任务。用户操作笔式用户界面是通过命令手势来完成的，什么样的手势更加符合用户的习惯，如何从笔迹中识别出命令手势是本文讨论的又一重点。从结构化手写文档、手势设计、手势识别三个方面进行了研究和改进。 结构化手写文档方面，利用上下文和增量提取的思想来进一步结构化手写文档。通过增量提取结构化的信息，可以更多的使用上下文，这样使得结构化文档效率更高。 手势设计方面，利用结构化手写文档的特点来设计出更加符合人们习惯的手势。如点击一行，就可以选择一行。 手势识别方面，给出了一个多解释器，多层过滤的手势处理结构，利用上下文和多解释器的思想来进行隐式手势处理。隐式手势处理使用户不用显式的模式转换，这样用户能更加流畅的进行思维和操作。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景和意义

1.2国内外现状

1.3本文所做工作

1.4论文的组织与结构

第二章笔式用户界面

2.1笔式用户界面的特点

2.2笔式用户界面的交互环境

2.2.1电子白板系统

2.2.2手持移动设备

2.2.3室件(RoomWare)

2.2.4基于桌面的笔交互环境

2.2.5移动的平板电脑(Tablet PC)

2.3笔式用户界面的应用领域

2.3.1创造性设计工作

2.3.2信息交流和捕捉

2.3.3思想捕捉

2.3.4基于GUI的笔交互增强

2.4本章小节

第三章相关技术

3.1笔式用户界面下的模式识别技术

3.2上下文感知技术

3.2.1上下文感知模型

3.2.2增量式意图提取

3.3本章小节

第四章联机结构化手写文档

4.1结构化手写文档概述

4.1.1结构化手写文档意义

4.2结构化手写文档的难点

4.2.1笔式界面的非精确性

4.2.2手势的多样性

4.2.3信息手势的多样性

4.2.4字符结构的多样性

4.2.5文档结构的多样性

4.3联机结构化手写文档

4.3.1生成笔划簇(stroke clustering)

4.3.2文本行的提取(extracting text lines)

4.4本章小节

第五章基于结构化手写文档的手势设计与识别

5.1手势交互概述

5.2笔式交互信息处理模型

5.3手势设计及设计原则

5.3.1手势设计原则

5.3.2手势设计

5.3.2手势设计训练工具GestureDesigner

5.4手势识别

5.4.1基于统计的手势识别

5.4.2基于结构化文档上下文感知

5.4.3基于多解释器，多层过滤的手势处理结构

5.5本章小节

第六章PIBG工具箱和原型系统实现

6.1 PIBG工具箱

6.1.1PIBG范式

6.1.2笔式交互任务生成框架

6.1.3数据结构定义

6.2系统总体框架

6.3系统用户界面的实现

6.3系统功能实现效果图

6.5本章小节

第七章结束语

7.1本文研究的意义

7.2存在的问题及进一步研究方向

参考文献

致谢

攻读学位期间发表的论文