虚拟环境中基于手指点击交互任务的模型评估方法及系统

摘要

本发明公开了一种虚拟环境中基于手指点击交互任务的模型评估方法及系统，涉及交互任务模型评估技术领域，解决了现有虚拟环境中基于手指点击的交互任务不能进行量化评估的技术问题，其技术方案要点是首先对用户交互任务进行分析得到用户交互行为，再对用户交互行为进行研究确定用户基本动素。为用户基本动素配置交互规则，同时分析测算用户基本动素的交互时间以及系统反馈时间，根据交互时间、交互规则和系统反馈时间预估完成用户交互任务的总时间，最后根据总时间对交互任务进行评估。使得基于手指点击的交互任务实现了量化评估，从而帮助相关从业人员更科学地设计基于手指点击的交互模型，为在虚拟环境下进行手指点击交互任务的人员提供更流畅舒适的交互体验。

说明书

技术领域

本公开涉及交互任务模型评估技术领域，尤其涉及一种虚拟环境中基于手指点击交互任务的模型评估方法及系统。

背景技术

近些年来，虚拟现实、增强现实、混合现实等技术的出现和发展拓宽了人们对于人机交互方向的研究视野。虚拟现实、增强现实以及混合现实等可统统涵盖在虚拟环境中，而在虚拟环境下，交互系统主要由用户、硬件、软件及数据库构成，如图1中(b)所示,用户主要负责在虚拟环境的交互系统中输入信息，感知系统呈现的信息反馈；软件主要负责虚拟环境中交互系统场景的构建，接收、处理并反馈用户与虚拟环境间相交互的信息及数据；硬件主要负责感知、识别用户输入信息，以实现用户与虚拟环境间的自然交互；数据库主要负责承载用户在交互过程中所需要的信息。虚拟环境交互系统的软硬件是保证虚拟环境交互系统沉浸性和交互性的必要构件。

虚拟交互系统中的手势交互主要包括裸手交互和可穿戴式设备交互，如图1中(a)所示。其中，裸手交互是指不需要任何介质的手势交互，其主要利用以光学跟踪技术为主的深度相机来实现手势交互；可穿戴式设备交互是指需要介质的手势交互，常利用接触式手部追踪套件来实现手势交互，包括数据手套、数据手环和数据腕带等。

在有关二维人机交互界面的评估方法研究领域，已经产生了以键盘鼠标输入为主的基于GOMS(Goals Operations Methods Selection rules，目标、操作、方法及选择规则)模型的定量评估方法，而随着基于虚拟环境的各种技术的发展，关于人机交互的研究意义已经不仅仅体现在传统的基于键盘鼠标输入的二维人机界面环境，关于虚拟环境下基于手势输入的三维界面场景交互过程中也有着广泛的研究价值。在虚拟的3d环境中，用户的操作界面由二维平面转移到了三维空间，虽然虚拟环境带给人交互以真实感和沉浸感，但人在虚拟环境下的一系列用户交互行为通常很难量化，因此，虚拟环境下人的交互比在二维界面环境下人的交互更具复杂性，现有的关于虚拟环境下的人机交互的评估方法的研究仍处于初级阶段，目前还未构建基于手指点击操作的交互范式，未有成熟的虚拟环境下的人机交互评估框架。

发明内容

本公开提供了一种虚拟环境中基于手指点击交互任务的模型评估方法及系统，其技术目的是实现对基于手指点击交互任务的量化评估。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种虚拟环境中基于手指点击交互任务的模型评估方法，包括：

对用户交互任务进行分析，得到用户交互行为；

对所述用户交互行为进行分析获取用户基本动素；

为所述用户基本动素配置交互规则；

获取所述用户基本动素的交互时间以及系统动作时间；

根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；

其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作和点击动作，则对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间和点击动作时间；所述系统动作时间包括系统运算时间和系统反馈时间。

进一步地，所述交互规则包括：

第一规则，在所述移入动作和所述指向动作之前都依次插入所述任务思考动作和感知反应动作，在所述点击动作之后插入所述感知反应动作；

第二规则，若所述任务思考动作之前的手部动作能完全预期所述任务思考动作之后的手部动作，则删除所述任务思考动作及所述任务思考动作之后的感知反应动作；

第三规则，所述点击动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。

进一步地，所述交互规则还包括第四规则，所述第四规则包括：

所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；

所述系统反馈与所述归位动作存在重叠部分，若所述系统反馈时间小于所述归位动作时间，则忽略所述系统反馈时间，否则忽略所述归位动作时间；

所述系统反馈与依次的所述感知反应动作及所述归位动作都存在重叠部分，若所述系统反馈时间小于所述所述感知反应动作时间与所述归位动作时间之和，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间和所述归位动作时间。

进一步地，所述任务思考动作时间为1.2s、感知反应动作时间为0.24s、移入动作时间为0.5s、指向动作时间为[b×log

一种虚拟环境中基于手指点击交互任务的模型评估系统，包括：

分析模块，对用户交互任务进行分析，得到用户交互行为；

分解模块，对所述用户交互行为进行分析获取用户基本动素；

配置模块，为所述用户基本动素配置交互规则；

获取模块，获取所述用户基本动素的交互时间及系统动作时间；

评估模块，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，根据所述总时间对所述用户交互任务进行评估；

其中，所述用户基本动素包括感知动作和手部动作，所述感知动作包括任务思考动作和感知反应动作，所述手部动作包括移入动作、指向动作、归位动作和点击动作，则对应有所述用户基本动素的所述交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间和点击动作时间；所述系统动作时间包括系统运算时间和系统反馈时间。

进一步地，所述配置模块包括：

第一配置单元，配置第一规则，所述第一规则包括：在所述移入动作和所述指向动作之前都依次插入所述任务思考动作和感知反应动作，在所述点击动作之后插入所述感知反应动作；

第二配置单元，配置第二规则，所述第二规则包括：若所述任务思考动作之前的手部动作能完全预期所述任务思考动作之后的手部动作，则删除所述任务思考动作及所述任务思考动作之后的感知反应动作；

第三配置单元，配置第三规则，所述第三规则包括：所述点击动作执行后，等待系统动作，所述系统动作包括系统运算和系统反馈。

进一步地，所述配置模块还包括第四配置单元，所述第四配置单元配置第四规则，所述第四规则包括：

所述系统反馈与所述感知反应动作存在重叠部分，若系统反馈时间小于于所述感知反应动作时间，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间；

所述系统反馈与所述归位动作存在重叠部分，若所述系统反馈时间小于所述归位动作时间，则忽略所述系统反馈时间，否则忽略所述归位动作时间；

所述系统反馈与依次的所述感知反应动作及所述归位动作都存在重叠部分，若所述系统反馈时间小于所述感知反应动作时间与所述归位动作时间之和，则忽略所述系统反馈时间，否则忽略所述感知反应动作时间和所述归位动作时间。

本公开的有益效果在于：本公开所述的虚拟环境中基于手指点击交互任务的模型评估方法及系统，首先对用户交互任务进行分析，得到用户交互行为，再对所述用户交互行为进行分析获取用户基本动素。为所述用户基本动素配置交互规则，同时获取所述用户基本动素的交互时间以及系统动作时间，根据所述交互时间、所述交互规则和所述系统动作时间预估完成所述用户交互任务的总时间，最后根据所述总时间对所述用户交互任务进行评估。该方法及系统使得对基于手指点击交互任务的模型实现了量化评估，对虚拟环境下的用户交互任务能够进行科学的分析，并能对用户交互行为进行建模，以预测虚拟环境交互场景的性能，从而帮助相关从业人员更科学地设计基于手指点击的交互模型，为在虚拟环境下进行手指点击交互任务的人员提供更流畅舒适的交互体验，并能优化虚拟环境中人机交互的流程。

附图说明

图1为虚拟环境交互系统的示意图；

图2为本公开方法的流程图；

图3为本公开系统示意图；

图4为基于手指点击的用户交互任务的交互流程图；

图5为基于手指点击的用户交互任务的实例示意图；

图6、图7为本公开实施例流程图。

具体实施方式

下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中，需要理解地是，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，仅用来区分不同的组成部分。

图2为本公开方法的流程图，如图2所示，首先对交互模型下的用户交互任务进行分析得到用户交互行为。

用户开始执行以手指点击动作为主的交互任务时，系统首先显示虚拟环境中的目标对象A,用户看到虚拟环境中的目标对象A，接着进行认知阶段的思考，思考完成后，开始视觉搜索目标对象A中的虚拟目标控件A-a。搜索完成后手开始做出指向动作，手进入系统的可识别区域，开始朝着虚拟目标控件A-a运动，该过程包括两个阶段，包括专注于虚拟目标控件并通过使用本体感受运动控制将手伸向虚拟目标控件附近的阶段，以及使用视觉反馈，以逐渐减小手到虚拟目标控件的距离的阶段。与此同时，当用户的手势进入到系统的可识别区域后，系统即开始跟踪用户输入手的手指空间坐标，并将其归为集合A＝{(x,y,z)|x∈R,y∈R,z∈R}中，R为三维空间的坐标范围，且R∈(-∞，+∞)。当用户用手指点击虚拟目标控件A-a时，系统同时得到虚拟目标控件的宽度W,与已经确定好的到目标的距离D,通过费茨定理共同得到用户的运动时间(其中a,b为常数，可通过行为学实验测得)，当系统检测到输入手的手指空间坐标集合A＝{(x,y,z)|x∈R,y∈R,z∈R}与三维虚拟交互控件坐标集合B＝{(x,y,z)|x∈R,y∈R,z∈R}发生交集时，即做出系统反馈，呈现下一个虚拟目标控件，或下一个虚拟环境中的目标对象，用户再进行如上所述同流程的下一个交互阶段，如图4所示。图4为基于手指点击的用户交互任务的交互流程图，图4中，目标对象A的数量至少为1，目标对象A的虚拟目标控件的数量也至少为1。例如，用户对目标对象1中的虚拟目标控件1-1操作完毕后，还有可能对目标对象1中的虚拟目标控件1-2进行操作，当对目标对象1的操作全部完毕后，用户对其他目标对象A继续进行操作，例如目标对象2、目标对象3等等，因此可认为A,a∈N,N为正整数，交互过程有循环的部分，直至交互任务结束。

对上述用户交互行为进行分解后得到用户基本动素，上述过程的用户基本动素则包括了感知动作和手部动作，感知动作又包括任务思考动作和感知反应动作，手部动作则包括移入动作、指向动作、归位动作和点击动作，对用户执行完成任务的每个用户基本动素进行分析并记录。然后为用户基本动素配置交互规则，再获取用户基本动素的交互时间以及系统动作时间，最后根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，再根据总时间对交互任务的模型进行评估，如图2。

根据用户交互任务类型的不同对用户基本动素的处理方式可分为串行处理和并行处理，串行处理是一次执行一个动作(思考或运动)的能力，而并行处理是一次执行多个动作的能力。例如，手指的指向动作和点击动作属于相继动作，这两个动作肯定不能同时处理，只能依次执行，而手在归位动作的同时有系统反馈，那么归位动作和系统反馈就可以并行处理。

本发明可运用CPM-GOMS建模技术，C即Cognition认知阶段，P即Perception感知阶段，M即Motor运动阶段，将用户完成交互任务过程中的系统动作、运动阶段、认知阶段以及感知阶段的用户基本动素都分类按顺序记录。在本申请中，感知阶段和认知阶段对应有任务思考动作时间和感知反应动作时间，运动阶段则包括移入动作时间、指向动作时间、归位动作时间和点击动作时间。

用户基本动素包括任务思考动作、感知反应动作、移入动作、指向动作、归位动作和点击动作，对应有用户基本动素的交互时间包括任务思考动作时间、感知反应动作时间、移入动作时间、指向动作时间、归位动作时间和点击动作时间，具体交互时间如表1所示：

表1

用A表示任务思考动作、E表示感知反应动作、I表示移入动作、P表示指向动作、H表示归位动作、C表示点击动作，R表示系统动作，R1表示系统运算，R2表示系统反馈，则对基于手指点击的用户交互任务的实例如图5所示，用户交互任务为用户通过单手食指点击目标交互对象1中的虚拟目标控件1-1来进入下一个目标交互对象2，而后通过点击目标交互对象2中的虚拟目标控件2-1完成操作。图5所示的基于手指点击的用户交互任务实例的量化分解如表2所示：

表2

根据预先为用户基本动素配置的交互规则，并获取用户基本动素的交互时间以及系统动作时间，根据交互时间、交互规则和系统动作时间预估完成用户交互任务的总时间，根据总时间对交互模型进行评估。

交互规则包括第一规则、第二规则、第三规则和第四规则，第一规则包括“在移入动作和指向动作之前都依次插入任务思考动作和感知反应动作，在点击动作之后插入感知反应动作”；第二规则包括“若任务思考动作之前的手部动作能完全预期任务思考动作之后的手部动作，则删除任务思考动作及任务思考动作之后的感知反应动作”；第三规则包括“点击动作执行后，等待系统动作，系统动作包括系统反馈和系统运算”；第四规则包括“(1)系统反馈与感知反应动作存在重叠部分，若系统反馈时间小于感知反应动作时间，则忽略系统反馈时间，否则忽略感知反应动作时间；(2)系统反馈与归位动作存在重叠部分，若系统反馈时间小于于归位动作时间，则忽略系统反馈时间，否则忽略归位动作时间；(3)系统反馈与依次的感知反应与归位动作都存在重叠部分，若系统反馈时间小于与感知反应动作时间和归位动作时间之和，则忽略系统反馈时间，否则忽略感知反应动作时间和归位动作时间”。

第一规则为候选任务思考动作A和感知反应动作E的初始插入，即在所有的移入动作I和指向动作P之前都依次插入任务思考动作A和感知反应动作E，并在所有的点击动作C之后插入感知反应动作E，根据第一规则表2中的第(7)个流程对应的模型动作为AEIAEPCEHAEIAEPCEH。

第二规则为预期的任务思考动作A和感知反应动作E的删除，即任务思考动作A之前的手部动作能完全预期任务思考动作A之后的手部动作，则删除该任务思考动作A及任务思考动作A之后的感知反应动作E。例如，用户指向一个三维交互虚拟目标控件A-a并完成点击三维交互虚拟目标控件A-a,用户的指向动作P可以完全预期点击动作C，因此指向动作P与点击动作C之间并不需要加入任务思考动作A及之后的感知反应动作E；同样移入动作I也可以完全预期指向动作P，所以根据第一规则和第二规则，表2中第(7)个流程对应的模型动作则为AEIPCEHAEIPCEH。

根据第三规则，点击动作C执行后，等待系统动作R，系统动作包括系统运算R1和系统反馈R2。则根据第一规则、第二规则和第三规则得到表2中第(7)个流程对应的模型动作为AEIPC(R1+R2)EHAEIPC(R1+R2)EH。再加上第四规则，系统反馈R2与感知反应动作E和归位动作H存在重叠部分，若系统反馈时间不大于感知反应动作时间与归位动作时间之和，则表2中第(7)个流程对应的模型动作为AEIPCR1EHAEIPCR1EH；若若系统反馈时间大于感知反应动作时间和归位动作时间之和，则表2中第(7)个流程对应的模型动作为AEIPCR1R2AEIPCR1R2。

本申请实施例中，系统反馈时间小于感知反应动作时间和归位动作时间之和，因此，将所有的动作时间累积，根据表1的动作时间值进行计算，得到总时间T＝A+E+I+P+C+R1+E+H+A+E+I+P+C+R1+E+H＝1.2s+0.24s+0.5s+[b×log

[b×log

图3为本公开系统示意图，该系统包括分析模块、分解模块、配置模块、获取模块和评估模块，配置模块又包括第一配置单元、第二配置单元、第三配置单元和第四配置单元，评估模块还包括动作处理单元。图3中(a)、(b)、(c)为该评估系统的三种不同组成方式，分解模块对用户交互行为进行分解后得到用户基本动素，然后配置模块和获取模块的工作可以同时进行，或配置模块完成配置后获取模块再进行获取，或获取模块获取完成后配置模块再进行配置，不影响对整体模型的评估。

图6、图7为本公开实施例流程图，在对用户交互行为进行分解得到用户基本动素后，先获取用户基本动素的交互时间以及系统动作时间，再为用户基本动素配置交互规则，如图6。图7中，对用户交互行为进行分解得到用户基本动素后，获取交互时间及系统动作时间与配置交互规则同时进行。

以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。