一种基于手绘草图和手势输入判断处理的笔式交互方法

摘要

一种基于手绘草图和手势输入判断处理的笔式交互方法，在用户连续输入的情况下，能对用户输入状态自动判断，并根据不同的输入状态进行处理。该方法定义了不小于10种的笔手势，包括图形对象拾取、图形对象编辑、操作状态控制类手势，部分笔手势与基元具有二义性定义。在对输入状态判断处理的过程中，设计了笔手势判断处理方法和顿笔处理方法，从而在无右键菜单或鼠标、键盘等其他交互设备介入的情况下，给用户提供无需显式状态切换的图形符号手绘草图输入、草图编辑及操作状态控制方式，使用户通过笔式交互的方式流畅地表达交互意图。本方法具备一定的通用性和可扩展性，可应用于不同专业领域，实现基于笔式交互的机械辅助设计或军事标绘等。

说明书

技术领域

本发明属于人机交互技术领域，具体的说是一种基于手绘草图和手势输入判断处理的笔式交互方法。

背景技术

传统的图形用户界面基于桌面隐喻，采用WIMP（Window，Icon,Menu,Pointing）交互范式，以鼠标、键盘作为交互设备实现人机对话。笔式交互基于纸笔的隐喻，通过写字板、触摸屏等输入设备，采集用户基于手写笔或手指的输入轨迹，帮助人们方便地捕捉想法、记录事件、进行抽象思考和形象的描述。

在基于图形交互的领域中，笔式交互根据所采集的用户输入信息，捕捉和理解用户意图，并映射至相关专业应用领域的图形符号集中的标准图形符号反馈显示，或映射为手势命令进行相应操作。因提供自然、便利的操作方式，笔式交互在计算机辅助设计、计算机动画与虚拟现实、可视化对象建模、军事标绘等诸多领域有广泛的应用需求。笔式交互的输入包括草图图形符号输入和手势输入，下面作简单介绍。

草图图形符号可分为基本图形和复合图形。基本图形是复合图形对象的基本组成元素，表现为封闭凸多边形、椭圆或者线/弧段等几何图形。复合图形通常由基本图形单元按一定的几何关系构成，对应于专业应用领域的图形符号集中的图形。

手势主要包括WIMP交互范式下的手势以及笔式交互界面下的手势。WIMP交互范式下的手势主要包括类似鼠标操作的点选手势、类似鼠标操作的拖放手势等，而笔式交互界面下的手势是指无需借助鼠标、键盘等传统设备，直接通过手或数字笔手绘输入的预定义的由简单几何图形所代表的手势，如：圈选手势，删除手势、复制手势等。为了表述方便，本说明书的后续部分将直接简称为WIMP手势和笔手势。手势根据实现功能又可分为图形对象拾取类手势、图形对象编辑类手势和操作状态控制类手势。其中，用户通过图形对象拾取类手势对图形对象进行选择、弃选操作，通过图形对象编辑类手势对图形对象进行拖动、删除等操作，通过操作状态控制类手势实现对当前操作的撤销、恢复等命令。为了表述的方便，图形对象拾取类手势和图形对象编辑类手势可并称为图形对象操作类手势。要特别说明的是，WIMP手势虽然是在WIMP交互界面中所定义的手势，但在笔式交互中仍可以通过手或数字笔完成WIMP手势的操作，为了和笔式交互界面下特有的笔手势区分开，所以本发明所述的笔式交互方法中的手势分为WIMP手势和笔手势两种手势，但两种手势都可以通过手或数字笔完成。

考虑到操作的便利性，笔手势被定义为可一笔绘制的简单图形，可归到基本图形类，在本说明书的后续部分为了表述的方便，所述基元即指基本图形单元，特指构成复合图形对象的基本图形，笔手势则特指代表图形对象操作或操作状态控制命令的基本图形。其中，笔手势与基元存在二义性定义的可能性。

目前对笔式交互领域的研究有如下的一些方法。如李恒等申请的“一种复合图形在线识别方法”（ZL201010295238.3）中，提出了一种手绘草图识别方法，不涉及到交互反馈机制的设计，也不涉及到手势交互。又如Trembley等申请的“Sketch recognition and enhancement”（United States Patent: 7515752），提出了一种手绘草图识别及规整化方法，该专利申报点主要侧重于手绘草图识别及规整化方法，在交互反馈上仅限于根据识别结果对笔划和草图图形符号的规整化，不涉及到手势交互，缺乏在保证用户输入连续性的情况下的交互反馈机制的设计。再如朱湛峰等申请的“一种基于手持设备的依靠快捷图形识别调用功能的方法”（专利申请号：200810119196）,提出了一种手势识别方法，不涉及到草图图形符号的识别反馈，也不涉及交互反馈机制的设计。再如Jian Wang等申请的“Unifield digital ink recognition” （United States Patent: 20070821858），提出了一种数字墨水的统一识别方法，能够对草图符号、手势等在无状态切换的情况下统一识别，该方法侧重于不同类数字墨水数据的采集、训练、建模等，不涉及交互反馈机制的设计。在专利“一种基于图形符号草图在线识别的电子标绘方法”（申请号：201218007969.3）中，提出了一种基于军队标号草图和手势符号识别的方法，该方法不支持WIMP手势交互，所支持的笔手势种类有限，且仅限于图形对象操作类手势，不涉及操作状态控制类手势，笔手势与基元严格区分开，且草图符号输入和手势输入需通过点击按钮进行显式状态切换。

目前国内外在笔式交互方面的研究，具体存在以下方面的问题：

（1）大部分研究侧重于对草图图形符号识别方法的研究，缺乏对交互反馈机制、手势交互的研究。

（2）用户交互反馈机制设计仅限于对草图符号在线识别结果的反馈提示，缺乏在保证用户输入连续性的情况下对交互反馈机制的设计。

（3）支持手势交互，但手势识别的种类有限（<6种），一般只包括图形对象操作类手势，不同时提供WIMP手势和笔手势交互，不能满足笔式交互过程中用户进行图形编辑和操作状态控制的需要。

（4）笔手势定义与基元定义严格区分开，随着手势种类的增多，基本图形集的大小也随之增加，增加用户的认知负担，影响基本图形的识别率。

（5）支持草图符号在线识别以及草图编辑，但草图编辑需通过右键菜单或鼠标、键盘等其他交互设备介入等方式完成，又或者能实现基于手势输入的草图编辑，但草图符号输入和手势输入状态需通过点击按钮进行显式状态切换。

因此，提供一种能减少用户交互认知负担、切实提高用户操作效率、对用户的随意输入具备较强适应性的智能化笔式交互方法极为必要。

发明内容

本发明的目的在于提供一种基于手绘草图和手势输入判断处理的笔式交互方法，能对用户连续的笔划输入进行实时处理和反馈，并在无右键菜单或鼠标、键盘等其他交互设备介入的情况下，给用户提供无需显式状态切换的草图编辑及操作状态控制方式，使用户能通过笔式交互的方式流畅地表达交互意图，完成专业领域的电子图纸设计或电子标绘等工作。更进一步地，可用于机械工程设计、流程图设计、电子白板教学、军事标绘等领域，以提供自然高效的笔式交互方式。

为了实现上述目的，本发明提出了一种基于手绘草图和手势输入判断处理的笔式交互方法，其步骤如下：

（1）用户当前输入完毕，设置定时器，判断用户当前输入是否为笔划输入，是则采集当前原始笔划信息，转入（3），否则转入（2）； 

（2）取消定时器，执行非笔划输入响应，转入（9）；

（3）判断当前笔划是否为WIMP手势，如果是，则进行WIMP手势处理，取消定时器，转入（9），否则转入（4）；

（4）判断当前笔划的长度是否小于某预设阈值，如果是，则进行顿笔处理，转入（9），否则转入（5）；

（5）判断当前原始笔划是否为新草图的新笔划，是则转入（6），否则转入（7）；

（6）进行笔手势判断处理，判断当前笔划是否为笔手势，如果是则根据当前笔手势类型执行相应操作后，取消定时器，转入（9），否则转入（7）；

（7）判定当前输入为图形符号手绘草图输入状态，进入草图图形符号识别反馈流程；

（8）定时器是否截止，如果是，取消定时器，转入（9）；否则，直接转入（9）；

（9）重复（1）-（8），进入新的循环。

根据本领域所公知的知识，笔划定义为落笔和抬笔间的采样点序列，通过自定义抬笔和下次落笔间的时间间隔范围来判定若干笔划是否属于同一个草图符号，定时器时间间隔可根据交互需求来设定。在本方法中，笔划表现为在一次落笔抬笔间隔间可完成的基本图形，一段笔划既可以为一条直线段、一段弧，也可以是一个圆、一个多边形。笔划所完成的基本图形既可以表示基元，也可以表示笔手势命令，即基元与笔手势可能存在二义性定义。本发明暂不讨论多笔绘制一个笔手势的情况。

要实现草图编辑以及操作状态控制，需要设计符合用户绘图习惯、绘制简单的手势命令，用户不需要借助菜单、工具命令即可完成对图形的编辑操作以及操作状态的控制。基于这一原则，我们定义了不小于10种的笔手势，包括图形对象拾取类手势、图形对象编辑类手势和操作状态控制类手势。其中，部分笔手势与基元具有二义性定义。笔手势的种类和绘制方式可以根据用户交互需求有不同的定义。另外，二义性笔手势的种类，以及哪些笔手势与哪些基元的绘制方式相同，可以根据不同专业领域的基元集的规模大小，以及用户的交互需求来进行设定。

用户输入状态可区分为三类：图形符号手绘草图输入状态、WIMP手势输入、以及笔手势输入。在用户增量输入的过程中，本方法能在部分笔手势与基元具有二义性定义的情况下，对用户输入状态自动判断，并根据不同的输入状态进行处理，并向用户提供及时的界面反馈。

用户顿笔是指用户当前笔划输入采集点数小于某设定阈值的情况，并不包括用户输入“点选”WIMP手势的情况，本发明设计了一种顿笔处理方法。该方法步骤如下：

（1）本次顿笔处理开始；

（2）判断当前笔划是否为新草图的新笔划，如果是则转入（3），否则转

入（4）；

（3）判断上一笔笔划输入是否为“剪切”或“复制”手势，且剪切板是

否有内容，如果是，则执行“粘贴”编辑操作，转入（5），否则直接转入（5）；

（4）该笔划记为无效笔划，更改定时器的启动时间为当前笔划输入完毕

时的时间，转入（6）；

（5）取消定时器；

（6）本次顿笔处理结束。

笔手势判断处理主要区分当前笔划输入是否为笔手势，对于笔手势则根据手势所属类型，进一步地执行图形对象操作或操作状态控制类命令。本发明设计了一种笔手势判断处理方法。该方法步骤如下：

（1）本次笔手势判断处理开始；

（2）判断当前笔划是否为图形对象拾取类笔手势，如果是，则进行拾取类笔手势处理并反馈显示，转入（6），否则转入（3）；

（3）判断当前界面是否有标准图形符号被选中，如果是则转入（5），如果否，则转入（4）；

（4）判断当前笔划是否为图形对象编辑类笔手势，如果是，则进行相应的图形对象编辑类操作并反馈显示，转入（6），如果否则转入（5）；

（5）判断当前笔划是否为操作状态控制类笔手势，如果是则进行相应的操作状态控制并反馈显示，转入（6），否则直接转入（6）；

（6）本次笔手势识别分类结束。

本发明一种基于手绘草图和手势输入判断处理的笔式交互方法的优点是：

1、支持不小于5种的WIMP手势交互和不小于10种的笔手势交互，满足笔式交互过程中的图形编辑和操作状态控制的需要。其中，笔手势包含图形对象拾取手势、图形对象编辑手势和操作状态控制手势，手势设计符合用户输入习惯且绘制方式简单，部分笔手势与基元具有二义性定义，既能减少用户的交互认知负担，又能有效控制基本图形集的大小，保证基本图形识别率。

2、设计了基于手绘草图和手势输入判断处理的笔式交互方法，无需显式状态切换、右键菜单或其他交互设备介入，能对草图符号输入、WIMP手势输入、笔手势输入状态进行自动判断，并根据不同的状态捕捉用户意图，向用户提供及时的界面反馈，简化了用户的输入操作，提高了用户的交互效率。

3、设计了笔手势判断处理方法，能自动判断不小于十种的笔手势类型，并实现相应的图形对象拾取、图形对象编辑、操作状态控制操作。

4、针对用户顿笔情况设计了相应的处理方法，提高系统对用户输入的适应性。

5、方法具备一定的通用性和可扩展性，可应用于不同专业领域，实现基于笔式交互的机械辅助设计或军事标绘等。

附图说明

图1为10种笔手势示意图；

图2为具有二义性的基元和笔手势定义；

图3为基于手绘草图和手势输入判断处理的笔式交互方法流程图；

图4为笔手势判断处理流程图；

图5为顿笔处理流程图。

具体实施方式

下面参照附图对本发明优选实施例进行进一步的说明，在说明过程中省略了对本发明来说是不必要的细节和功能，以防止对本发明的理解造成混淆。

图1显示了根据本发明的一个实施例所定义的10种笔手势示意图。其中，“圈选”为图形对象拾取类手势，“剪切”、“复制”、“放大”、“缩小”、“删除”、“清屏”为图形对象编辑类手势，“取消”、“撤销”、“恢复”为操作状态控制类手势。笔手势的种类和绘制方式可以根据用户交互需求有不同的定义。

图2显示了根据本发明的一个实施例所定义的两种具有二义性的笔手势，其中，“剪切”手势与基本图形集中的折线基元具有二义性定义，“圈选”手势与基本图形集中的圆形基元具有二义性定义。对于二义性笔手势的种类，以及哪些笔手势与哪些基元的绘制方式相同，可以根据不同专业领域的基元集的规模大小，以及用户的交互需求来进行设定。

实施例一

参见图3，图4，以“圆形”输入作为本发明的说明例具体说明方法300、方法400的各步骤：

（1）用户当前输入完毕，设置定时器，判断用户当前输入是否为笔划输入，是则采集当前原始笔划信息，转入（3），否则转入（2）； 

（2）取消定时器，执行非笔划输入响应，转入（9）；

（3）判断当前笔划是否为WIMP手势，如果是，则进行WIMP手势处理，取消定时器，转入（9），否则转入（4）；

（4）判断当前笔划的长度是否小于某预设阈值，如果是，则进行顿笔处理，转入（9），否则转入（5）；

（5）判断当前原始笔划是否为新草图的新笔划，是则转入（6），否则转入（7）；

（6）获取当前笔划原始信息，判定当前笔划为“圆形”，判断当前笔划与当前界面中所有标准图形符号是否有交集，如果是，判定当前输入为“圈选”笔手势，将有交集的图形符号对象置为“选中”状态并反馈显示，取消定时器，转入步骤（9），否则，转入（7）；

（7）判定当前输入为图形符号手绘草图输入状态，当前笔划为“圆形”基元，进入草图图形符号识别反馈流程；

（8）定时器是否截止，如果是，取消定时器，转入（9）；否则，直接转入（9）；

（9）重复（1）-（8），进入新的循环。

实施例二

以“折线”输入作为本发明的又一说明例具体说明方法300、方法400的各步骤：

（1）用户当前输入完毕，设置定时器，判断用户当前输入是否为笔划输入，是则采集当前原始笔划信息，转入（3），否则转入（2）； 

（2）取消定时器，执行非笔划输入响应，转入（9）；

（3）判断当前笔划是否为WIMP手势，如果是，则进行WIMP手势处理，取消定时器，转入（9），否则转入（4）；

（4）判断当前笔划的长度是否小于某预设阈值，如果是，则进行顿笔处理，转入（9），否则转入（5）；

（5）判断当前原始笔划是否为新草图的新笔划，是则转入（6），否则转入（7）；

（6）获取当前笔划原始信息，判定当前笔划为“折线”，判断当前界面是否有被选中的标准图形符号，如果是，判定当前输入为“剪切”笔手势，执行“剪切”编辑操作并反馈显示，取消定时器，转入步骤（9），否则，转入（7）；

（7）判定当前输入为图形符号手绘草图输入状态，当前笔划为“折线”基元，进入草图图形符号识别反馈流程；

（8）定时器是否截止，如果是，取消定时器，转入（9）；否则，直接转入（9）；

（9）重复（1）-（8），进入新的循环。

实施例三

参看图3、图5，以小于预设阈值的笔划输入为又一说明例说明方法300、方法500的各步骤。

（1）用户当前输入完毕，设置定时器，判断用户当前输入是否为笔划输入，是则采集当前原始笔划信息，转入（3），否则转入（2）； 

（2）取消定时器，执行非笔划输入响应，转入（9）；

（3）判断当前笔划是否为WIMP手势，如果是，则进行WIMP手势处理，取消定时器，转入（9），否则转入（4）；

（4）获取原始笔划信息，判定当前笔划的长度小于某预设阈值，进行顿笔处理；

（5）判断当前笔划是否为新草图的新笔划，如果是则转入（6），否则转

入（7）；

（6）判断上一笔笔划输入是否为“剪切”或“复制”手势，且剪切板是

否有内容，如果是，则执行“粘贴”编辑操作，转入（8），否则直接转入（8）；

（7）该笔划记为无效笔划，更改定时器的启动时间为当前笔划输入完毕

时的时间，转入（9）；

（8）取消定时器，转入（9）；

（9）重复（1）-（8），进入新的循环。

除上述实施例外,利用本发明说明书及附图内容作的等效结构或等效流程变换,可以还写出多个实施例,在此不再一一给出赘述。