基于沉浸式设备对用户数据进行动态测评的方法、装置

摘要

本申请公开了一种基于沉浸式设备对用户数据进行动态测评的方法、装置。其中，一种基于沉浸式设备对用户数据进行动态测评的方法，包括：基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

说明书

技术领域

本申请涉及沉浸式技术领域，特别是涉及一种基于沉浸式设备对用户数据进行动态测评的方法、装置。

背景技术

沉浸式技术是指模糊了物理世界和模拟世界之间的界限，从而产生沉浸感的技术。沉浸式技术能够将现实和虚拟混合，可以利用计算机生成模拟环境，借助VR设备，让用户进入虚拟空间，从中获得身临其境感觉的技术。沉浸式技术是现在新兴技术之一，它与其他技术相比，最大特征就是它可以给用户最直观的感受，在音影娱乐、医疗和教育等产业都将有巨大的发展空间。但是目前的沉浸式设备所提供的应用中，对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现。

针对上述的现有技术中存在的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题，目前尚未提出有效的解决方案。

发明内容

本公开的实施例提供了一种基于沉浸式设备对用户数据进行动态测评的方法、装置，以至少解决现有技术中存在的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

根据本公开实施例的一个方面，提供了一种基于沉浸式设备对用户数据进行动态测评的方法，包括：基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。

根据本公开实施例的另一个方面，还提供了一种基于沉浸式设备对用户数据进行动态测评的装置，包括：数据获取模块，用于基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；第一确定模块，用于对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；第二确定模块，用于对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及第三确定模块，用于对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

根据本公开实施例的另一个方面，还提供了一种基于沉浸式设备对用户数据进行动态测评的装置，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

在本公开实施例中，计算设备分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据，并结合用户在当前所处的交互场景，确定用户在交互场景下的用户行为数据和语音数据所表达的用户行为信息和语言信息。从而计算设备基于沉浸式设备对用户数据进行多维度分析，确定在交互场景下产生的用户数据(包括头部动作数据、肢体动作与手势数据以及语音数据)所表达的用户行为信息和语言信息，从而实现了对用户数据进行动态测评的目的。解决了现有技术中存在的目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；

图2是根据本公开实施例1的第一个方面所述的基于沉浸式设备对用户数据进行动态测评的方法的流程示意图；

图3是根据本公开实施例1的第一个方面所述的VR设备的示意图；

图4是根据本公开实施例1的第一个方面所述的基于预设的类别定义规则得到的六类头部动作类别的示意图；

图5a是根据本公开实施例1的第一个方面所述的用户在交互场景下产生的肢体行为与手势的一个示意图；

图5b是根据本公开实施例1的第一个方面所述的用户在交互场景下产生的肢体行为与手势的另一个示意图；

图6是根据本公开实施例1的第一个方面所述的获取用户在交互场景下产生的语音数据的流程示意图；

图7是根据本公开实施例1的第一个方面所述的与分析语音数据相关的各个分析维度及其对应的分析结果的示意图；

图8是根据本公开实施例2所述的基于沉浸式设备对用户数据进行动态测评的装置的示意图；以及

图9是根据本公开实施例3所述的基于沉浸式设备对用户数据进行动态测评的装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本实施例，提供了一种基于沉浸式设备对用户数据进行动态测评的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例所提供的方法实施例可以在服务器或者类似的计算设备中执行。图1示出了一种用于实现基于沉浸式设备对用户数据进行动态测评的方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的基于沉浸式设备对用户数据进行动态测评的方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的基于沉浸式设备对用户数据进行动态测评的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。

在上述运行环境下，根据本实施例的第一个方面，提供了一种基于沉浸式设备对用户数据进行动态测评的方法。图2示出了该方法的流程示意图，参考图2所示，该方法包括：

S202：基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；

S204：对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；

S206：对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及

S208：对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

具体地，计算设备基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据。其中，沉浸式设备例如包括沉浸式头显设备、手柄以及阵列麦克风等设备。在一个沉浸式设备模拟的交互场景下，计算设备会通过沉浸式头显设备获取用户在该交互场景下产生的头部动作数据，通过手柄设备获取用户在该交互场景下产生的肢体动作与手势数据以及通过阵列麦克风获取用户在该交互场景下产生的语音数据。其中，参照图3所示，沉浸式设备(VR设备)可以分为3DOF和6DOF，6DOF将比3DOF多一个对用户当前本身XYZ坐标轴的建立，用户定位原理主要基于SLAM技术(simultaneouslocalization and mapping)，是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程。其中，计算设备通过沉浸式头显设备获取到的头部动作数据为在不同时间点下用户头部的空间坐标，通过手柄设备获取到的肢体动作与手势数据为在不同时间点下用户肢体与手势的空间坐标，通过阵列麦克风获取到的语音数据为在该交互场景下与用户发出的声音对应的音频文件(S202)。

进一步地，由于在不同的交互场景下用户产生的同一头部动作数据可能表达的是不同的用户行为信息，因此计算设备需要对头部动作数据进行分析，确定在交互场景下该头部动作数据所表达的用户行为信息(对应于第一用户行为信息)(S204)。其中，计算设备可以根据用户在不同时间点下用户头部的空间坐标，分析用户头部的空间坐标的规律，确定用户头部动作所表现出的用户行为，从而结合用户当前所处的交互场景的场景类别，确定基于该用户行为用户在该交互场景下所要表达的用户行为信息。例如，在双方对话的交互场景下，计算设备根据在不同时间点下用户头部的空间坐标，分析得到用户头部的空间坐标的规律为围绕着X轴连续俯仰，此时计算设备可以确定用户头部动作所表现出的用户行为例如为用户在点头，从而结合用户当前所处的交互场景的场景类别(即，双方对话场景)，可以确定基于该点头行为，用户在双方对话场景下所要表达的用户行为信息例如为用户对当前事物的肯定或者认可等行为信息。

进一步地，由于在不同的交互场景下用户产生的同一肢体动作与手势数据可能表达的是不同的用户行为信息，因此计算设备还需要对肢体动作与手势数据进行分析，从而确定在该交互场景下肢体动作与手势数据所表达的用户行为信息(对应于第二用户行为信息)(S206)。其中计算设备可以根据用户在不同时间点下其肢体动作与手势的空间坐标，分析用户肢体动作与手势的空间坐标的规律，确定用户肢体动作与手势所表现出的用户行为，从而结合用户当前所处的交互场景的场景类别，确定基于该用户行为，用户在该交互场景下所要表达的用户行为信息。例如在网球比赛的交互场景下，计算设备根据在不同时间点下其肢体动作与手势的空间坐标，分析得到肢体动作与手势的空间坐标的规律为向前半圆弧旋转，此时计算设备可以确定用户的肢体动作与手势所表现出的用户行为例如为向前挥动手臂，从而结合用户当前所处的交互场景的场景类别(即，网球比赛场景)，可以确定基于该用户行为，用户在网球比赛场景下所要表达的用户行为信息例如为用户正在挥拍的行为信息。此外，例如在户外活动的交互场景下，计算设备根据在不同时间点下用户肢体的空间坐标，分析得到肢体的空间坐标的规律依然为向前半圆弧旋转，此时计算设备可以确定用户的肢体动作所表现出的用户行为例如为向前挥动手臂，从而结合用户当前所处的交互场景的场景类别(即，户外互动场景)，可以确定基于该行为，用户在户外活动场景下所要表达的用户行为信息例如为用户正在扑蝶的行为信息。

进一步地，由于在不同的交互场景下用户产生的同一语音数据可能表达的是不同的用户语言信息，因此计算设备需要对语音数据进行分析，确定在交互场景下该语音数据所表达的用户语言信息(S208)。在当前的交互场景下，计算设备可以根据用户的语音数据，结合用户当前所处的交互场景的场景类别，确定用户在该交互场景下所要表达的用户语言信息。例如，在比赛的交互场景下，计算设备根据用户的语音数据例如为“好”，从而结合用户当前所处的交互场景的场景类别(即，比赛场景)，确定用户在比赛场景下所要表达的用户语言信息例如为用户在对赛场上运动员的表现进行赞美。此外，例如在双方对话的交互场景下，计算设备根据用户的语音数据例如为“好”，从而结合用户当前所处的交互场景的场景类别(即，双方对话场景)，确定用户在双方对话场景下所要表达的用户语言信息例如为用户答应对方请求。

正如背景技术中所述的，沉浸式技术是现在新兴技术之一，它与其他技术相比，最大特征就是它可以给用户最直观的感受，在音影娱乐、医疗和教育等产业都将有巨大的发展空间。但是目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现。

针对以上所述的技术问题，通过本实施例的技术方案，计算设备分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据，并结合用户在当前所处的交互场景，确定用户在交互场景下的用户行为数据和语音数据所表达的用户行为信息和语言信息。从而计算设备基于沉浸式设备对用户数据进行多维度分析，确定在交互场景下产生的用户数据(包括头部动作数据、肢体动作与手势数据以及语音数据)所表达的用户行为信息和语言信息，从而实现了对用户数据进行动态测评的目的。解决了现有技术中存在的目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

可选地，对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息的操作，包括：根据预设的与头部动作数据对应的类别定义规则，对头部动作数据进行分析，确定头部动作数据所代表的头部动作信息；确定与计算用户的头部动作轨迹相关的时间间隔和相对位置；根据头部动作信息、时间间隔以及相对位置，确定用户的头部动作轨迹；以及基于交互场景的场景信息，对头部动作轨迹进行分析，并根据分析的结果确定在交互场景下头部动作数据所表达的第一用户行为信息。

具体的，计算设备根据预设的与头部动作数据对应的类别定义规则，对头部动作数据进行分析，确定头部动作数据所代表的头部动作信息。其中，参考图4所示，计算设备预设有与头部动作数据对应的六种类别定义规则，分别为：沿Y轴偏摆(Y AXIS YAW)、沿X轴俯仰(X AXIS PITCH)、沿Z轴翻滚(Z AXIS ROLL)、沿Y轴上移/下移(Y AXIS UP/DOWN)、沿X轴左移/右移(X AXIS LEFT/RIGHT)和沿Z轴前移/后移(Z AXIS FRONT/BACK)。例如，计算设备获取到与用户头部动作数据对应的类别定义规则为沿Y轴偏摆(Y AXIS YAW)，之后根据该类别定义规则，对头部动作数据进行分析，确定头部动作数据所代表的头部动作信息为摇头。之后计算设备获取用户的头部在摇头时所产生的多个时间点和位置，确定各个时间点之间的时间间隔t以及相邻两个位置的相对位置S，可以根据公式vector(v)＝S(相对位置)/t(时间间隔)计算出头部的在摇头时的头部动作轨迹。然后根据获取到的头部动作信息、时间间隔和相对位置，对头部动作轨迹进行分析。例如在双方对话的交互场景下，分析得到的头部动作轨迹沿Y轴连续偏摆所得到的头部动作为摇头，再结合当前交互场景例如双方对话场景，确定摇头的头部动作所表达的第一用户信息为否定对方请求。从而计算设备通过类别定义规则对头部动作数据进行分析，再根据头部动作信息和与用户的头部动作轨迹相关的时间间隔和相对位置，确定用户头部动作轨迹。之后基于交互场景对头部动作轨迹进行分析，从而确定在交互场景下头部动作数据所表达的第一用户行为信息。从而提高了通过分析用户头部动作数据得到用户行为信息的准确度，能够准确判断用户在交互场景下的头部动作所表达的含义，实现了对用户的头部动作数据进行准确测评的技术效果。

可选地，基于沉浸式设备，获取用户在交互场景下产生的肢体动作与手势数据的操作，包括：依照沉浸式设备的初始状态，记录用户当前双手的初始化空间坐标和初始时间；根据预设的交互场景所需的精度，确定记录用户在交互场景下产生的肢体动作与手势数据的时间间隔；按照所确定的时间间隔，记录预设时间内用户在交互场景下产生的肢体动作与手势的空间坐标；以及将预设时间内记录得到的所有空间坐标作为用户在交互场景下产生的肢体动作与手势数据。

具体的，参考图5a和5b所示，计算设备会根据手柄等沉浸式设备或者用户真实的双手对用户行为数据进行抓取，如果计算设备通过用户的双手获取用户行为数据，则需要在初次使用双手时通过沉浸式头显设备的前方景深摄像头来对用户双手进行简单建模。如果计算设备通过主要依靠蓝牙或者光学定位的手柄等沉浸式设备获取用户行为数据，则用户将手柄激活后，计算设备获取到用户肢体传递给手柄的开始讯号，记录用户在交互场景下双手的初始化空间坐标和初始时间。不同交互场景下人为预设有不同的精度，精度可以包括低、中和高三个等级，甚至可以根据需要包含更低和更高精度，并不以此为限。并且，对交互场景设置不同的精度，则意味着沉浸式设备所记录的用户数据的时间间隔也不同。例如：高精度对应的时间间隔是10ms，中精度对应的时间间隔是100ms，高精度对应的时间间隔是1000ms。假设用户当前所处的交互场景的精度为中，则计算设备根据该交互场景的精度，确定记录用户在交互场景下产生的肢体动作与手势数据的时间间隔为100ms，即每隔0.1秒计算设备记录一个肢体动作与手势的空间坐标。之后计算设备将在预设时间内(例如，5s)得到的这些空间坐标作为用户在交互场景下产生的肢体动作与手势数据。从而计算设备根据交互场景所需精度，通过连续记录肢体动作与手势的空间坐标作为肢体动作与手势数据，以达到将肢体动作与手势数据以预设精度进行收集的目的，从而能够准确和全面地获取到用户在交互场景下产生的肢体动作与手势数据。

可选地，对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息的操作，包括：以时间为顺序，将预设时间内记录得到的所有空间坐标从初始状态至末位状态进行连接；计算预设时间内记录得到的所有空间坐标中的每相邻两个空间坐标对应的加速度和向量速度；将加速度和向量速度为不同数值的空间坐标按照不同颜色进行轨迹划分，得到在预设时间内与用户对应的肢体与手势轨迹；以及根据交互场景的场景信息，对肢体与手势轨迹进行分析，并根据分析的结果确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息。

具体地，计算设备以时间为顺序，将预设时间内记录得到的所有空间坐标从初始状态至末位状态进行连接。例如，计算设备将用户在初始时间(t0)的初始状态的空间坐标(x0，y0，z0)与下一时间(t1)所对应的的下一空间坐标(x1，y1，z1)按照时间顺序相连接，直到末尾时间(tn)的在末尾状态的空间坐标(xn，yn，zn)。计算设备将计算在预设时间内记录得到的所有空间坐标中的每相邻两个空间坐标对应的加速度和向量速度，例如计算(x0，y0，z0)与(x1，y1，z1)，(x1，y1，z1)与(x2，y2，z2)，...，(xn-1，yn-1，zn-1)与(xn，yn，zn)的加速度和向量速度。将这些加速度和向量速度为不同数值的空间坐标按照不同颜色进行轨迹划分(例如由红色逐渐演变至绿色)，得到在预设时间内与用户对应的肢体与手势轨迹。从而计算设备根据交互场景的场景信息，对肢体与手势轨迹进行分析，并根据分析的结果确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息。例如，在网球比赛的交互场景下，用户需要利用手上的网球拍对陈列在正前方的网球进行击打，当计算设备想要用户将网球击打到指定位置时，会根据形成肢体与手势轨迹所需的空间坐标、加速度和向量速度等数据，推算出网球实际承受用户当前用力为多少牛顿，击打时的向量方向等，以此去判断用户当前需要模拟什么样的肢体动作与手势方可将网球击打到指定位置。

此外，本技术方案也可通过提升空间坐标精度，并且通过用户模拟所需肢体动作和手势的方式，从而计算设备将用户行为实时呈现在用户面前，可用于类似创作等实际应用中。从而计算设备需要用户预先设定条件与数值规范区间，同时可通过计算机视觉对现实情景做学习模拟，以及通过数据调参，使得最终计算设备的延迟足够降低，准确度不断提升。

可选地，基于沉浸式设备，获取用户在交互场景下产生的语音数据的操作，包括：基于沉浸式设备中的阵列麦克风，获取用户在交互场景下产生的用户声音数据以及交互场景中的环境噪音的声音模拟数据；以及基于声音模拟数据，分别通过硬件和软件对用户声音数据进行降噪处理后，得到用户在交互场景下产生的语音数据。

具体的，参考图6所示，计算设备通过沉浸式设备设置的双麦克风或者三麦克风等阵列麦克风，获取用户在交互场景下产生的用户声音数据和交互场景中的环境噪音的声音模拟数据。以三麦克风阵列为例，最靠近用户的两个麦克风阵列用于获取用户声音数据，其他麦克风阵列用于获取背景音和环境噪音等声音模拟数据。计算设备基于收集到的声音模拟数据，通过硬件和软件对用户声音数据先后进行降噪处理后，可以得到用户在交互场景下产生的清晰的有效语音数据。从而计算设备通过阵列麦克风对用户的原始声音进行抓取，并对受环境噪音影响的用户声音数据进行降噪处理后，从而收集到清晰的、准确度高的语音数据。

可选地，对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息的操作，包括：对语音数据进行分析，确定在发音质量维度下语音数据对应的平均发音分数；对语音数据进行分析，确定在语言流利维度下语音数据对应的平均发音率；对语音数据进行分析，确定在用语准确维度下语音数据对应的语言准确率；对语音数据进行分析，确定在用语规范维度下语音数据对应的规范语言率；以及将平均发音分数、平均发音率、语言准确率以及规范语言率作为在交互场景下语音数据所表达的用户语言信息，其中用户语言信息用于指示用户当前各项能力与指标。

具体的，参考图7所示，计算设备在获取到用户的语音数据后，会对语音数据进行分析，从发音质量维度、语言流利维度、用语准确维度和用语规范纬度这四个方面对用户语音数据进行多维度测评。其中发音质量维度主要测评的是跟读/自信读模式下的发音质量准确率、阅读流利度、完成度、音节发音得分和错误类型等，计算设备会根据发音质量维度，对语音数据进行测评，得出平均发音分数。语言流利维度主要根据用户在自由对话情景下对一段英文录音进行多维度拆解进行的测评，计算设备根据语言流利维度，对语音数据进行测评，得出平均发音率。用语准确维度主要根据预设的疑难点条件下回答问题的准确性、听力理解力和语言组织力等进行测评，计算设备根据用语准确维度，对语音数据进行测评，得出语言准确率。用户规范性主要根据在特殊语境下使用语言是否正确进行测评，计算设备根据用语规范维度，对语音数据进行测评，得出规范语言率。然后计算设备将测评得出的平均发音分数、平均发音率、语言准确率以及规范语言率作为在交互场景下语音数据所表达的用户语言信息，从而指示用户当前各项能力与指标。

从而计算设备通过发音质量维度精准掌握当前用户实际在发音质量的详细反馈，以便于用户及时了解当前自身薄弱，以及计算设备针对测评得到的薄弱项，推荐最需解决的问题方案以此突破问题。计算设备通过语言流利维度为用户建议如何在回答问题时有效掌握语速快慢，在限定时间内练就如何在有效时间内完成演讲和描述情况。例如何60s内做自我介绍，需保证语速适中且内容完整传达。计算设备通过用语准确维度锻炼用户听力和理解能力，通过设置不同练习方式提升用户如何组织语言，如何回答关键问题等。计算设备通过用语规范维度以提高用户在适当情景下如何用有效情绪进行讲述，如果在自由对话下利用一种愉悦的语句开启对话，当所处场景是悲伤时，如何利用sadness用语来保证用户在当前情景有效利用语句。综上，计算设备通过多维度测评用户的语音数据，得到对语音数据进行测评的测评结果，并向用户反馈。从而通过测评得到的各项数据，向用户提出合理化建议，以提高用户各项能力，从而达到提高用户能力的目的。

可选地，方法还包括：向用户展示第一用户行为信息、第二用户行为信息以及用户语言信息。

具体地，计算设备根据用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据进行分析，得到第一用户行为信息、第二用户行为信息以及用户语言信息，并向用户进行展示。从而计算设备通过对用户数据的多维度分析，从而向用户显示各项直观信息。

从而在本公开实施例中，计算设备分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据，并结合用户在当前所处的交互场景，确定用户在交互场景下的用户行为数据和语音数据所表达的用户行为信息和语言信息。从而计算设备基于沉浸式设备对用户数据进行多维度分析，确定在交互场景下产生的用户数据(包括头部动作数据、肢体动作与手势数据以及语音数据)所表达的用户行为信息和语言信息，从而实现了对用户数据进行动态测评的目的。解决了现有技术中存在的目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

此外，计算设备基于沉浸式设备的多维度分析，对数据的整合进行算法判定，用于定位当前用户行为数据所代表各项直观信息，测评用户并向用户展示信息。同样计算设备基于沉浸式设备的麦克风阵列所收集到的语音数据，在硬件与软件相继去噪后，可得到高质量精准度较高的声音信息文件。计算设备将对声音信息进行分析以展示用户当前各项能力与指标，该有效信息同样可用于关联核心推荐或个性化生成对应剧情与互动内容。

此外，参考图1所示，根据本实施例的第二个方面，提供了一种存储介质。所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行以上任意一项所述的方法。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

图8示出了根据本实施例所述的基于沉浸式设备对用户数据进行动态测评的装置800，该装置800与根据实施例1的第一个方面所述的方法相对应。参考图8所示，该装置800包括：数据获取模块810，用于基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；第一确定模块820，用于对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；第二确定模块830，用于对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及第三确定模块840，用于对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

可选地，第一确定模块820，包括：第一分析子模块，用于根据预设的与头部动作数据对应的类别定义规则，对头部动作数据进行分析，确定头部动作数据所代表的头部动作信息；第一确定子模块，用于确定与计算用户的头部动作轨迹相关的时间间隔和相对位置；第二确定子模块，用于根据头部动作信息、时间间隔以及相对位置，确定用户的头部动作轨迹；以及第三确定子模块，用于基于交互场景的场景信息，对头部动作轨迹进行分析，并根据分析的结果确定在交互场景下头部动作数据所表达的第一用户行为信息。

可选地，数据获取模块810包括：第一记录子模块，用于依照沉浸式设备的初始状态，记录用户当前双手的初始化空间坐标和初始时间；第四确定子模块，用于根据预设的交互场景所需的精度，确定记录用户在交互场景下产生的肢体动作与手势数据的时间间隔；第二记录子模块，用于按照所确定的时间间隔，记录预设时间内用户在交互场景下产生的肢体动作与手势的空间坐标；以及第五确定子模块，用于将预设时间内记录得到的所有空间坐标作为用户在交互场景下产生的肢体动作与手势数据。

可选地，第二确定模块830包括：连接子模块，用于以时间为顺序，将预设时间内记录得到的所有空间坐标从初始状态至末位状态进行连接；计算子模块，用于计算预设时间内记录得到的所有空间坐标中的每相邻两个空间坐标对应的加速度和向量速度；划分子模块，用于将加速度和向量速度为不同数值的空间坐标按照不同颜色进行轨迹划分，得到在预设时间内与用户对应的肢体与手势轨迹；以及第六确定子模块，用于根据交互场景的场景信息，对肢体与手势轨迹进行分析，并根据分析的结果确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息。

可选地，数据获取模块810包括：获取子模块，用于基于沉浸式设备中的阵列麦克风，获取用户在交互场景下产生的用户声音数据以及交互场景中的环境噪音的声音模拟数据；以及降噪处理子模块，用于基于声音模拟数据，分别通过硬件和软件对用户声音数据进行降噪处理后，得到用户在交互场景下产生的语音数据。

可选地，第三确定模块840，包括：平均发音分数确定子模块，用于对语音数据进行分析，确定在发音质量维度下语音数据对应的平均发音分数；平均发音率确定子模块，用于对语音数据进行分析，确定在语言流利维度下语音数据对应的平均发音率；语言准确率确定子模块，用于对语音数据进行分析，确定在用语准确维度下语音数据对应的语言准确率；规范语言率确定子模块，用于对语音数据进行分析，确定在用语规范维度下语音数据对应的规范语言率；以及用户语言信息确定子模块，用于将平均发音分数、平均发音率、语言准确率以及规范语言率作为在交互场景下语音数据所表达的用户语言信息，其中用户语言信息用于指示用户当前各项能力与指标。

可选地，装置800还包括：展示模块，用于向用户展示第一用户行为信息、第二用户行为信息以及用户语言信息。

从而根据本实施例，计算设备分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据，并结合用户在当前所处的交互场景，确定用户在交互场景下的用户行为数据和语音数据所表达的用户行为信息和语言信息。从而计算设备基于沉浸式设备对用户数据进行多维度分析，确定在交互场景下产生的用户数据(包括头部动作数据、肢体动作与手势数据以及语音数据)所表达的用户行为信息和语言信息，从而实现了对用户数据进行动态测评的目的。解决了现有技术中存在的目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

实施例3

图9示出了根据本实施例所述的基于沉浸式设备对用户数据进行动态测评的装置900，该装置900与根据实施例1的第一个方面所述的方法相对应。参考图9所示，该装置900包括：处理器910；以及存储器920，与处理器910连接，用于为处理器910提供处理以下处理步骤的指令：基于沉浸式设备，分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据；对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息；对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息；以及对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息。

可选地，对头部动作数据进行分析，确定在交互场景下头部动作数据所表达的第一用户行为信息的操作，包括：根据预设的与头部动作数据对应的类别定义规则，对头部动作数据进行分析，确定头部动作数据所代表的头部动作信息；确定与计算用户的头部动作轨迹相关的时间间隔和相对位置；根据头部动作信息、时间间隔以及相对位置，确定用户的头部动作轨迹；以及基于交互场景的场景信息，对头部动作轨迹进行分析，并根据分析的结果确定在交互场景下头部动作数据所表达的第一用户行为信息。

可选地，基于沉浸式设备，获取用户在交互场景下产生的肢体动作与手势数据的操作，包括：依照沉浸式设备的初始状态，记录用户当前双手的初始化空间坐标和初始时间；根据预设的交互场景所需的精度，确定记录用户在交互场景下产生的肢体动作与手势数据的时间间隔；按照所确定的时间间隔，记录预设时间内用户在交互场景下产生的肢体动作与手势的空间坐标；以及将预设时间内记录得到的所有空间坐标作为用户在交互场景下产生的肢体动作与手势数据。

可选地，对肢体动作与手势数据进行分析，确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息的操作，包括：以时间为顺序，将预设时间内记录得到的所有空间坐标从初始状态至末位状态进行连接；计算预设时间内记录得到的所有空间坐标中的每相邻两个空间坐标对应的加速度和向量速度；将加速度和向量速度为不同数值的空间坐标按照不同颜色进行轨迹划分，得到在预设时间内与用户对应的肢体与手势轨迹；以及根据交互场景的场景信息，对肢体与手势轨迹进行分析，并根据分析的结果确定在交互场景下肢体动作与手势数据所表达的第二用户行为信息。

可选地，基于沉浸式设备，获取用户在交互场景下产生的语音数据的操作，包括：基于沉浸式设备中的阵列麦克风，获取用户在交互场景下产生的用户声音数据以及交互场景中的环境噪音的声音模拟数据；以及基于声音模拟数据，分别通过硬件和软件对用户声音数据进行降噪处理后，得到用户在交互场景下产生的语音数据。

可选地，对语音数据进行分析，确定在交互场景下语音数据所表达的用户语言信息的操作，包括：对语音数据进行分析，确定在发音质量维度下语音数据对应的平均发音分数；对语音数据进行分析，确定在语言流利维度下语音数据对应的平均发音率；对语音数据进行分析，确定在用语准确维度下语音数据对应的语言准确率；对语音数据进行分析，确定在用语规范维度下语音数据对应的规范语言率；以及将平均发音分数、平均发音率、语言准确率以及规范语言率作为在交互场景下语音数据所表达的用户语言信息，其中用户语言信息用于指示用户当前各项能力与指标。

可选地，存储器920还用于为处理器910提供处理以下处理步骤的指令：向用户展示第一用户行为信息、第二用户行为信息以及用户语言信息。

从而根据本实施例，计算设备分别获取用户在交互场景下产生的头部动作数据、肢体动作与手势数据以及语音数据，并结合用户在当前所处的交互场景，确定用户在交互场景下的用户行为数据和语音数据所表达的用户行为信息和语言信息。从而计算设备基于沉浸式设备对用户数据进行多维度分析，确定在交互场景下产生的用户数据(包括头部动作数据、肢体动作与手势数据以及语音数据)所表达的用户行为信息和语言信息，从而实现了对用户数据进行动态测评的目的。解决了现有技术中存在的目前的对于用户在交互场景下产生的用户数据，如何从多维度去分析用户数据，并根据分析结果确定基于该用户数据之下用户所表达的直观信息的技术还尚未实现的技术问题。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。