基于静态和动态手势交互任务的模型评估方法及系统

摘要

本发明公开了一种基于静态和动态手势交互任务的模型评估方法及系统，涉及交互任务模型评估技术领域，解决了现有静态和动态手势交互任务不能进行量化评估的技术问题，其技术方案要点是对用户交互任务进行分析得到用户交互行为，对用户交互行为进行研究确定用户基本动素。为用户基本动素配置交互规则，同时分析测算用户基本动素的交互时间以及系统动作时间，根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，最后根据总时间对交互任务进行评估。使得基于静态和动态手势的交互任务实现了量化评估，从而帮助相关从业人员更科学地设计交互模型，为在自然人机交互系统下进行静态和动态手势交互任务的人员提供更流畅舒适的交互体验。

说明书

技术领域

本公开涉及交互任务模型评估技术领域，尤其涉及一种基于静态和动态手势交互任务的模型评估方法及系统。

背景技术

人机交互系统是研究人、计算机以及人与计算机之间交流通信作用机理的一门科学技术，对人机交互系统的研究有助于帮助人与计算机均在交互过程中发挥其最大价值，使人机交互系统成为人在学习、工作、娱乐方面的得力助手，帮助人最大效率地完成信息处理、管理、服务等功能。人机交互系统的发展先后经历了以键盘、字符显示器为交互设备的第一阶段，以键盘、鼠标、图形用户界面为交互设备的第二阶段。近年来，开始进入以多模态信息为输入输出的人机自然交互的第四阶段，该阶段所述的多模态信息包括不限于键盘、鼠标、文字、语音、手势及表情等输入，图形、文字及语音等输出，如图1所示的以手势为输入，视觉、听觉、触觉等反馈为输出的自然人机交互系统。

以手势交互为输入的自然人机交互系统现在分为两种：裸手手势交互和可穿戴式设备手势交互。裸手手势交互是指不需要任何介质的手势交互，其主要利用以光学跟踪技术为主的深度相机来实现手势交互，常见的深度相机大致分为三种，RGB双目相机、TOF相机以及结构光相机；而可穿戴式设备交互是指需要介质的手势交互，常利用接触式手部追踪套件来实现手势交互，包括但不限于数据手套、数据手环及数据腕带等。

在针对人机交互系统的评估研究中，现有的关于人机交互过程中的可用性评估研究主要是在基于鼠标、键盘输入及屏幕输出的人机交互环境下进行的，主要评估人机交互系统的可用性评估方法有很多，包括但不限于可用性测试、启发式评估、认知过程浏览、任务分析等。目前，在有关人机交互系统的评估方法研究领域，已经产生了以键盘鼠标输入为主的基于GOMS(Goals Operations Methods Selection rules，目标、操作、方法及选择规则)模型的定量评估方法，而随着基于虚拟环境的各种技术的发展，关于人机交互的研究意义已经不仅仅体现在传统的基于键盘鼠标的输入的人机交互系统，在关于基于手势输入的自然人机交互系统中也有着广泛的研究价值。基于手势输入的自然人机交互系统下的一系列用户交互行为通常很难量化，因此，它比基于键盘鼠标输入的人机交互更具复杂性，现有的基于手势输入的人机交互的评估方法的研究仍处于初级阶段，目前还未构建基于手势输入的自然交互范式，未有成熟的基于手势输入的人机交互评估框架。

发明内容

本公开提供了一种基于静态和动态手势交互任务的模型评估方法及系统，其技术目的是实现对基于静态和动态手势交互任务的量化评估。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种基于静态和动态手势交互任务的模型评估方法，包括：

对用户交互任务进行分析，得到用户交互行为；

对所述用户交互行为进行分析获取用户基本动素；

为所述用户基本动素配置交互规则；

获取所述用户基本动素的交互时间以及系统动作时间；

根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；

其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括静态手势维持动作、移动动作、转换动作、手势执行位置准备动作和归位动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、静态手势维持动作时间、移动动作时间、转换动作时间、手势执行位置准备动作时间和归位动作时间；所述系统动作时间包括系统运算时间和系统反馈时间。

进一步地，任一个所述用户交互任务包括至少一组手势命令，任一组所述手势命令至少包括一个感知动作和一个手部动作，且同一个所述用户交互任务中相邻的两组手势命令以归位动作划分。

进一步地，所述交互规则包括：

第一规则，在所述静态手势维持动作、所述移动动作动作、所述转换动作和所述手势执行位置准备动作之前都依次插入所述任务思考动作和所述感知反应动作，并在每一组所述手势命令后插入所述感知反应动作；

第二规则，若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；相邻的手部动作若相同，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；

第三规则，在所述转换动作后都插入所述静态手势维持动作；

第四规则，在每一组所述手势命令后插入所述系统动作，所述系统动作包括系统运算和系统反馈。

进一步地，所述交互规则还包括第五规则，所述第五规则包括：若所述系统反馈时间小于所述感知反应动作时间和所述归位动作时间之和，则忽略所述系统反馈时间，否则仅计入所述系统反馈时间。

进一步地，所述任务思考动作时间为1.2s、感知反应动作时间为0.24s、静态手势维持动作时间为0.15s、移动动作时间为(aD+bN)s、转换动作时间为0.15s、手势执行位置准备动作时间为0.5s、归位动作时间0.5s，所述系统运算时间为0.1s、系统反馈时间为0.1s；其中a、b为行为学实验测得的常数，a＝0.5，b＝0.11,D为所述移动动作在空间中需要运动的总距离，N为所述移动动作需要的方向转换次数。

一种基于静态和动态手势交互任务的模型评估系统，包括：

分析模块，对用户交互任务进行分析，得到用户交互行为；

分解模块，对所述用户交互行为进行分析获取用户基本动素；

配置模块，为所述用户基本动素配置交互规则；

获取模块，获取所述用户基本动素的交互时间及系统动作时间；

评估模块，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；

其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括静态手势维持动作、移动动作、转换动作、手势执行位置准备动作和归位动作，对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、静态手势维持动作时间、移动动作时间、转换动作时间、手势执行位置准备动作时间和归位动作时间；所述系统动作时间包括系统运算时间和系统反馈时间。

进一步地，所述配置模块包括：

第一配置单元，配置第一规则，所述第一规则包括：在所述静态手势维持动作、所述移动动作动作、所述转换动作和所述手势执行位置准备动作之前都依次插入所述任务思考动作和所述感知反应动作，并在每一组所述手势命令后插入所述感知反应动作；

第二配置单元，配置第二规则，所述第二规则包括：若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；相邻的手部动作若相同，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；

第三配置单元，配置第三规则，所述第三规则包括：在所述转换动作后都插入所述静态手势维持动作；

第四配置单元，配置第四规则，所述第四规则包括：在每一组所述手势命令后插入所述系统动作，所述系统动作包括系统运算和系统反馈。

进一步地，所述配置模块还包括第五配置单元，所述第五配置单元配置第五规则，所述第五规则包括：若所述系统反馈时间小于所述感知反应动作时间和所述归位动作时间之和，则忽略所述系统反馈时间，否则仅计入所述系统反馈时间。

本公开的有益效果在于：本公开所述的基于静态和动态手势交互任务的模型评估方法及系统，首先对用户交互任务进行分析，得到用户交互行为，再对所述用户交互行为进行分析获取用户基本动素。为所述用户基本动素配置交互规则，同时获取所述用户基本动素的交互时间以及系统动作时间，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，最后根据所述总时间对所述用户交互任务进行评估。该方法及系统使得对基于静态和动态手势交互任务的模型实现了量化评估，将传统的受限于键盘鼠标输入交互的模型拓展到了基于手势的自然交互中，探索创新出了一种适用于基于静态和动态手势交互任务的模型的可用性评估方法，为如何在自然人机交互系统中量化基于静态和动态手势交互任务提供了技术指导，弥补了基于静态和动态手势交互任务模型的可用性评估方法研究的技术空缺。

同时，该方法及系统可对自然人机交互系统的用户进行科学的任务分析，对自然人机交互系统中的用户行为进行建模，以预测基于静态和动态手势交互场景/界面的性能，从而帮助相关从业人员更科学地设计人在自然人机交互系统下进行静态和动态手势交互的整个流程，提高了人在静态和动态手势交互过程中的交互效率，给在自然人机交互系统下进行静态和动态手势交互的人员更流畅舒适的交互体验。

附图说明

图1为基于手势输入的自然人机交互系统的示意图；

图2为本公开方法的流程图；

图3为本公开系统示意图；

图4为静态手势动作和动态手势动作构成示意图；

图5为基于静态和动态手势交互任务的实例示意图；

图6为本公开实施例一流程图；

图7为本公开实施例二流程图。

具体实施方式

下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”、“第三”、“第四”、“第五”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。

图2为本公开方法流程图，如图2所示，首先对交互模型下的用户交互任务进行分析得到用户交互行为，然后对用户行为进行分析获取用户基本动素，为用户基本动素配置交互规则，再获取用户基本动素的交互时间以及系统动作时间，最后根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，根据该总时间对用户交互任务进行评估。

其中，用户基本动素包括感知动作和手部动作，感知动作包括任务思考动作和感知反应动作，手部动作包括静态手势维持动作、移动动作、转换动作、手势执行位置准备动作和归位动作，对应有用户基本动素的交互时间包括任务思考动作时间、感知反应动作时间、静态手势维持动作时间、移动动作时间、转换动作时间、手势执行位置准备动作时间和归位动作时间；系统动作时间包括系统运算时间和系统反馈时间。

本发明可运用CPM-GOMS建模技术，C即Cognition认知阶段，P即Perception感知阶段，M即Motor运动阶段，将用户完成交互任务过程中的系统动作、运动阶段、认知阶段以及感知阶段的用户基本动素都分类按顺序记录。在本申请中，感知阶段和认知阶段对应有任务思考动作时间和感知反应动作时间，运动阶段则包括移动动作时间、转换动作时间、归位动作时间、静态手势维持动作时间和手势执行位置准备动作时间。

以下描述中，任务思考动作使用A表示、感知反应动作使用E表示、静态手势维持动作使用G表示、移动动作使用M表示、转换动作使用S表示、归位动作使用H表示、手势执行位置准备动作使用P表示、系统动作使用R表示、系统运算使用R1表示、系统反馈使用R2表示，R＝R1+R2。不同用户基本动素和系统动作对应的交互时间如表1所示：

表1

静态手势动作仅考虑手部的姿态，包括手的形状、方向、手指的弯曲程度及与身体的相对位置等；动态手势动作除了要考虑手部的姿态及其变化，还要考虑手在空间中的运动，而动态手势动作分为有轨迹动态手势动作(即上述移动动作)和无轨迹动态手势动作(即上述转换动作)，有轨迹动态手势动作是指通过手在空间运动的轨迹来对动态手势赋意，例如空中手写一个字母A。无轨迹动态手势动作是指不通过空间运动的轨迹，而是通过手部姿态和位置的变化来对手势赋意，例如手从握拳到打开则代表一个动态伸展动作，图4即为静态手势动作和动态手势动作构成示意图。

图5为基于静态和动态手势交互任务的实例示意图，如图5中(a)所示，用户交互任务为二维界面中的地图查看任务，用户首先需要通过握拳后打开的手势打开地图显示界面；图5中(b)所示为通过向左回收的动作切换(挥手切换)显示的地图，最后用户需要如图5中(c)所示通过右手捏住的姿态开启地图的移动功能，以便于用户可以通过右手的移动来控制地图的位置。以图5为例来确定该交互任务的操作序列集，用于评估用户完成该交互任务所花费的必要时间，从而对静态手势和动态手势交互的可用性作出指导，表2为基于静态手势和动态手势输入交互的量化分解过程：

表2

表2中所展示的用户交互任务包括三组手势命令，第一组手势命令为1到4的PSSH，第二组手势命令为5到7的PMH，第三组手势命令为8到10的PS，这三组手势命令共同组成了这个用户交互任务。同一个用户交互任务中相邻的两组手势命令通常以归位动作划分，因此同一个用户交互任务中除却最后一组手势命令外，其他手势命令后都跟有归位动作。

交互规则包括第一规则、第二规则、第三规则、第四规则和第五规则，第一规则包括“在静态手势维持动作、移动动作动作、转换动作和手势执行位置准备动作之前都依次插入任务思考动作和感知反应动作，并在每一组手势命令后插入感知反应动作”；第二规则包括“若用户的前一个手部动作能完全预期后一个手部动作，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作；相邻的手部动作若相同，则删除该相邻手部动作之间的任务思考动作及其之后的感知反应动作”；第三规则包括“在转换动作后都插入静态手势维持动作”；第四规则包括“在每一组手势命令后插入系统动作，系统动作包括系统运算和系统反馈”；第五规则包括“若系统反馈时间小于感知反应动作时间和归位动作时间之和，则忽略系统反馈时间，否则仅计入系统反馈时间”。

根据第一规则，表2的模型动作分解变为：AEPAESAESEHAEPAEMEHAEPAESE；再由第二规则，由于手势执行位置准备动作P可以预期转换动作S，手势执行位置准备动作P也可以预期移动动作M，且相邻的相同手部动作之间的任务思考动作A和感知反应动作E也可以删掉，得到模型动作分解为：AEPSSEHAEPMEHAEPSE。

第三规则中，在转换动作S后都插入静态手势维持动作G，则有模型动作分解为：AEPSGSGEHAEPMEHAEPSGE。

第四规则中，在每一组手势命令后插入系统动作R，系统动作R包括系统运算R1和系统反馈R2，得到模型动作分解为：AEPSGSGR1

第五规则中，若系统反馈时间小于感知反应动作时间和归位动作时间之和，则忽略系统反馈时间，否则则仅计入系统反馈时间。本实例中，前两个系统反馈时间

因此上述模型动作的总时间为：

由此可知，对表2所述的用户交互任务使用本公开所述的方法进行评估，得到执行该用户交互任务的预测总时间为10.41s，而熟练用户实际操作表2所示的用户交互任务的总时间平均值为10.45s，与预测的总时间非常接近，确保了通过本申请对静态和动态手势交互模型进行评估的准确性。

图3为本公开系统示意图，该系统包括分析模块、分解模块、配置模块、获取模块和评估模块，配置模块又包括第一配置单元、第二配置单元、第三配置单元、第四配置单元和第五配置单元，各模块及单元的作用参件本公开方法，不再赘述。图3中(a)、(b)、(c)为该评估系统的三种不同组成方式，分解模块对用户交互行为进行分解后得到用户基本动素，然后配置模块和获取模块的工作可以同时进行，或配置模块完成配置后获取模块再进行获取，或获取模块获取完成后配置模块再进行配置，不影响对整体模型的评估。

图6为本公开实施例一流程图，在对用户交互行为进行分解得到用户基本动素后，先获取用户基本动素的交互时间以及系统动作时间，再为用户基本动素配置交互规则。图7为本公开实施例二流程图，对用户交互行为进行分解得到用户基本动素后，获取交互时间及系统动作时间与配置交互规则同时进行。

以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。