基于笔手势的笔式人机交互系统研究

摘要

随着计算机技术的逐步发展,它强大的存储能力和计算能力也越来越为其它传统学科所吸引,各类学科的数字化发展也成为了一种趋势。然而,有些重要学科知识的结构化信息在传统的图形用户界面下很难被有效地输入和使用,比如数学公式和化学公式。笔式交互系统中基于纸笔隐喻的交互特点可以完美的解决这个问题,因为传统学科的知识传承载体一般就是含有各类文字和图像信息的书籍,这正与笔式系统的交互特性相符。
　　 本文从化学的笔式交互应用角度出发,先是研究了笔手势交互的设计与识别技术。笔手势的设计原则从人机交互的两大交互对象--人和计算机考虑,以认知学相关的理论为指导,再运用模式分类中相似性度量的理论来分析,归纳和总结了笔手势设计的基本原则,并根据这些原则设计了化学应用笔式系统的笔手势集。对于笔手势的识别技术,本文针对笔手势识别的一个经典算法--Rubine算法,从Rubine算法的假设前提出发,分析出Rubine算法的不足之处,并在此基础上改进了该算法,获得了更好的识别结果。
　　 在有了比较成熟的笔手势技术研究后,本文针对化学的笔式应用,进行了化学应用笔式交互系统模型的设计。模型的设计从行为预测模型开始,从用户的角度设计了行为模型,再运用模型转化技术将行为模型转换成系统结构模型,并以此来指导化学应用笔式系统的实现。
　　 在完成了系统的结构模型之后,本文结合了笔手势技术设计并实现了一个化学应用的笔式人机交互系统。该系统支持手写化学公式录入、编辑和识别,并可模拟一部分常用的化学公式反应的实验过程。
　　 最后本文从笔手势技术和系统界面表现的角度对整个化学应用笔式人机交互系统进行了实验和评价,实验结果表明该系统具有可用性和实用性,并可流畅的完成化学应用的功能。

目录

文摘

英文文摘

图目录

表目录

第一章 绪论

第一节 研究背景

1.1.1 普适计算

1.1.2 人机交互

1.1.3 笔式人机交互

1.1.4 化学教学科研数字化

第二节 国内外笔式交互研究状况

1.2.1 国外笔式交互研究状况

1.2.2 国内笔式交互研究状况

第三节 本文的目标和主要工作

第四节 本文的组织结构

第二章 笔手势集设计与笔手势识别研究

第一节 笔手势技术概述

2.1.1 笔手势的定义

2.1.2 已有笔式交互系统的手势集

2.1.3 现有的笔手势识别算法

第二节 笔手势集设计

2.2.1 笔手势的特点与分类

2.2.2 CAPHCI笔手势的设计

第三节 笔手势识别的特征提取

2.3.1 特征提取的原则

2.3.2 CAPHCI笔手势特征提取

第四节 笔手势识别的分类器设计

2.4.1 Rubine算法分类器设计的不足

2.4.2 CAPHCI的贝叶斯决策分类器

第五节 基于用户风格的笔手势识别机制

2.5.1 基于用户风格的识别

2.5.2 CAPHCI笔手势识别

第三章 基于笔手势的笔式应用系统研究

第一节 人机交互系统模型研究

3.1.1 人机交互模型概述

3.1.2 行为模型

3.1.3 结构模型

第二节 CAPHCI系统模型设计

3.2.1 行为模型设计

3.2.2 交互系统结构模型

第三节 CAPHCI交互系统的实现

3.3.1 系统框架

3.3.2 命令集和笔手势集

3.3.3 界面设计

3.3.4 实验模拟引擎

3.3.5 其它机制

第四章 系统实验和评测

第一节 笔手势设计合理性测试

4.1.1 CAPHCI笔手势的自然性和用户接受性

4.1.2 CAPHCI笔手势的易识性和系统可理解性

第二节 笔手势识别算法测试实验

第三节 CAPHCI界面表现评估

4.3.1 笔式交互系统的界面表现评估机制

4.3.2 CAPHCI系统的界面表现

第五章 总结和展望

第一节 本文工作的总结

第二节 进一步工作及展望

参考文献

致谢

个人简历、学术论文与研究成果