一种评测VR体验临场感的方法、装置及系统

摘要

本发明公开了一种评测VR体验临场感的方法、装置及系统，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。

说明书

技术领域

本发明涉及虚拟现实领域，具体涉及一种评测VR体验临场感的方法、装置及系统。

背景技术

虚拟现实(virtual reality，VR)技术已经逐步渗透到教育、娱乐、医疗、环保、交通运输、公共卫生等众多领域，具有极大的应用价值和商业潜力。相比于传统的视频业务，虚拟现实业务能够凭借360度的场景、广阔的视域、可自由切换的视角、可自由走动的操作和丰富的肢体交互等特征为用户提供全新的沉浸式体验。

当前对于VR体验临场感的研究主要关注于临场感产生机制和外界影响。研究人员通常使用调查问卷的方法从用户的专注程度、对预设任务的完成度等方面定性的分析和判断用户在特定应用场景中的临场感体验的质量，为优化应用的画面渲染、场景布置及任务设定提供参考依据。

对于用户临场感质量的评估是亟待解决的问题。现有的评估方法只能评测一个特定的应用场景下的VR体验临场感，而无法适应多元化的场景。随着技术水平的进步和应用场景的多元化，VR体验的场景越来越多，若针对一个特定场景开发一套评测方法，会浪费研发人员大量的时间和资源。

发明内容

本申请实施例提供了一种评测VR体验临场感的方法、装置及系统,该方法不局限于特定的应用场景，可以评测多元化的场景下的VR体验临场感。

有鉴于此，本申请第一方面提供了一种评测VR体验临场感的方法，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。

可选的，所述获取虚拟现实VR临场感参数包括获取所述视听逼真度得分，所述获取所述视听逼真度得分包括：获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。

可选的，所述获取所述视觉逼真度得分包括：获取视频源呈现质量得分、视频通道数以及单目视场角；根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。

可选的，所述获取视频源呈现质量得分包括：获取视频源质量得分和屏幕呈现质量得分；根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。

可选的，所述获取所述听觉逼真度得分包括：获取音频源质量得分和音频声道；根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。

可选的，所述获取临场感参数包括获取所述音视频连续性和完整性得分，所述获取所述音视频连续性和完整性得分包括：获取平均卡顿时长、卡顿频率和数据丢包率；根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。

可选的，所述获取临场感参数包括获取所述交互真实感得分，所述获取交互真实感得分包括：获取MTP时延和自由度；根据所述MTP时延和所述自由度获取交互真实感得分。

本申请第二方面提供了一种评测VR体验临场感的装置，其特征在于，所述装置包括：获取模块，用于获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；确定模块，用于根据所述VR临场感参数确定VR临场感指数。

可选的，所述获取模块，还用于获取视觉逼真度得分、听觉逼真度得分以及声画同步时间；所述获取模块，还用于根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。

可选的，所述获取模块，还用于获取视频源呈现质量得分、视频通道数以及单目视场角；所述获取模块，还用于根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。

可选的，所述获取模块，还用于获取视频源质量得分和屏幕呈现质量得分；所述获取模块，还用于根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。

可选的，所述获取模块，还用于获取音频源质量得分和音频声道；所述获取模块，还用于根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。

可选的，所述获取模块，还用于获取平均卡顿时长、卡顿频率和数据丢包率；所述获取模块，还用于根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。

可选的，所述获取模块，还用于获取MTP时延和自由度；所述获取模块，还用于根据所述MTP时延和自由度获取交互真实感得分。

本申请第三方面提供了一种评测VR体验临场感的系统，其特征在于，所述系统包括终端、基站、核心网和云主机，所述终端，用于获取虚拟现实VR临场感参数并通过基站、核心网将所述VR临场感参数传输至云主机，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；所述云主机根据所述VR临场感参数确定VR临场感指数。

本申请提供了一种评测VR体验临场感的方法、装置及系统，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。

附图说明

图1为本申请实施例提供的一种评测VR体验临场感的方法的一个实施例示意图；

图2为本申请实施例提供的一种获取视听逼真度得分的方法的一个实施例示意图；

图3为本申请实施例提供的一种获取音视频连续性和完整性得分的一个实施例示意图；

图4为本申请实施例提供的一种获取交互真实感得分的一个实施例示意图；

图5为本申请实施例提供的一种获取视觉逼真度得分的一个实施例示意图；

图6为本申请实施例提供的一种获取听觉逼真度得分的一个实施例示意图；

图7为本申请实施例提供的一种评测VR体验临场感的装置的一个实施例示意图；

图8为本申请实施例提供的一种评测VR体验临场感的系统的一个实施例示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请中出现的术语“和/或”，可以是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

近年来，VR技术已经逐步进入到各个行业，具有极大的应用价值和商业潜力。相比于传统的视频业务，虚拟限制业务能够凭借其360度的场景、广阔的视域、可自由切换的视角、可自由走动的操作和丰富的肢体交互等特性为用户提供全新的沉浸式体验。当前算力、存储云化的产业发展步伐越来越快，VR可以借助云端算力进行实时画面渲染。进一步，5G网络的超大带宽和超低延时，保证了云端渲染画面的可获得性，并在随时随地接入、类本地操作方面，给用户体验带来极大提升。云VR业务是需求、技术、成本和体验等方面综合推动、演进的必然业务形态。

针对云VR业务，目前业界还没有明确的体验评估模型，无法从用户体验触发，有效牵引端到端(end to end，E2E)产业发展，并作为5G网络建设的参考依据。如何准确有效的评估和预测用户在应用云VR业务时的体验是亟待解决的问题。

对于用户沉浸感体验的研究主要关注探索沉浸感的产生机理和分析外界的部分影响因素。研究人员通常使用调查问卷的方法从用户的专注程度、对预设任务的完成度等方面定性地分析和判别用户在特定的应用场景中的沉浸感体验质量，为优化应用的画面渲染、场景布置及任务设定提供参考依据。

对于VR领域，目前国内外还没有提出相应的用户临场感体验质量评估模型，对用户临场感体验质量的评估及建模是亟待解决的问题。此外，现有对用户体验质量研究的方法只能针对当前技术水平下某一特定应用场景建立用户体验的评估模型。在新技术、新内容出现后或者应用场景变化后，则需要重新研究并建立对应的评估模型。随着技术水平的飞速发展和应用场景的多元化，按照现有用户体验评估的研究思路难以及时制定长期使用的评估模型，如果根据某一个固定场景研究一套评估模型，会造成大量研究时间和研究资源的浪费。

因此，本申请提供了一种评测VR体验临场感的方法，该方法可以应对VR设备制造商、VR内容提供商的不同需求，灵活的选取局部的评估模型来获得用户在具体应用场景中真实的临场感体验质量。本申请提供的评估方法涵盖了虚拟VR设备、内容的技术参数，能够适用于现在以及未来VR业务中临场感质量的评估。

本申请实施例一提供一种评测VR体验临场感的方法，请参见图1，该方法包括：

101.获取VR临场感参数。

获取临场感(presence)参数，该临场感参数为可量化的数值，后续用平均主观意见分(mean opinion score，MOS)表示。该临场感参数包括视听逼真度(acoustic-visualfidelity，AVF)得分、音视频连续性和完整性(re-buffering/packet loss，RP)得分、交互真实感(interaction realism，IR)得分，在后续还可以包括触觉体验以及嗅觉体验以及其他体验因素的得分，此处不做限定。该AVF得分可以表示为MOS

该视听逼真度得分(MOS

该音视频连续性和完整性得分(MOS

该交互真实感得分(MOS

102.根据VR临场感参数确定VR临场感指数。

根据VR临场感参数确定VR临场感指数(virtual reality presence index，VRPI)。

具体的可以根据如下VR临场感评估模型公式计算出VR临场感指数：VR PI＝min(max((MOS

其中VR PI为VR临场感指数，MOS

请参见图2，获取视听逼真度得分(MOS

201.获取视觉逼真度得分、听觉逼真度得分以及声画同步时间。

获取视觉逼真度得分(MOS

该视觉逼真度得分(MOS

该听觉逼真度得分(MOS

202.根据视觉逼真度得分、听觉逼真度得分以及声画同步时间获取视听逼真度得分。

根据视觉逼真度得分、听觉逼真度得分以及声画同步时间获取视听逼真度得分。

具体的，可以根据如下模型公式确定视听逼真度得分：

MOS

其中，MOS

表1

请参见图3，获取音视频连续性和完整性得分(MOS

301.获取平均卡顿时长、卡顿频率和数据丢包率。

音视频连续性和完整性代表网络影响造成的体验。与初始加载时延，卡顿，丢包等因素有关。本申请经研究发现不同的传输类型会造成不同的体验。如在传输控制协议(transmission control protocol，TCP)传输场景下，容易引起卡顿；在用户数据报协议(user datagram protocol，UDP)传输场景下，容易引起花屏。本申请考虑了不同的传输方法带来的体验影响，能够覆盖不同的业务场景。

获取平均卡顿时长、卡顿频率以及数据丢包率。

1)在TCP业务场景下，网络的变化容易引起画面的卡顿现象。

在TCP业务场景下，可以通过终端设备获取平均卡顿时长和卡顿频率，然后根据平均卡顿时长和卡顿频率获取连续性得分。具体的，根据如下公式获取连续性得分：MOS

其中MOS

2)在UDP业务场景下，网络的变化容易引起画面产生花屏现象。

本申请经研究发现数据丢包率越大，音视频完整性越低。但是随着丢包率越大，音视频完整性降低速度逐渐变缓。

若不使用向前纠错码(forward error correction，FEC)，该音视频完整性得分的公式表示如下：

其中MOS

若使用FEC，该音视频完整性公式表示如下：

MOS

其中FL

302.根据平均卡顿时长、卡顿频率和数据丢包率获取音视频连续性和完整性得分。

根据平均卡顿时长、卡顿频率和数据丢包率获取音视频连续性和完整性得分。

具体的，可以根据如下模型公式确定音视频连续性和完整性得分：

MOS

其中，MOSR

请参见图4，获取交互真实感得分(MOS

401.获取MTP时延和自由度。

获取运动到图像出现(motion to photon，MTP)时延和自由度。本申请研究的业务主要分为云VR视频和云VR游戏。

1)云VR视频。

云VR视频的交互真实感主要体现在不同自由度(degree of freedom，DOF)和头部MTP时延构成。交互一致性与MTP时延间存在指数关系。其中，交互一致性和可能与运动和音频方位变化之后时长(MTS)有关，此处不做限制。

本申请研究发现自由度的提升可以增加交互真实感，头部MTP时延会降低交互真实感。

2)云VR游戏。

云VR游戏由于参与的肢体较多，其交互真实感主要与自由度、头部MTP时延、肢体MTP时延和手部MTP时延有关。其中自由度主要包括1自由度、3自由度或者6自由度。未来有可能包括多种自由度以及头部、肢体和手部多种自由度的组合方式。例如，游戏中头3自由度、手6自由度、肢体1自由度；或者头6自由度，手6自由度，肢体1自由度等等。

本申请经研究发现，增加自由度能够明显的提高用户在VR游戏中的交互真实感，而各部分时延会造成交互真实感下降。交互一致性与操作响应时延肢体MTP时延间均存在指数关系。

402.根据MTP时延和自由度获取交互真实感得分。

若步骤401中，是研究的云VR视频，则根据MTP时延和自由度获取交互真实感得分具体可以根据以下公式：

MOSIR＝max(min(v

其中MOS

DMOS

DMOS

其中，t

若步骤401中，是研究的云VR游戏，则根据MTP时延和自由度获取交互真实感得分具体可以根据如下公式：

MOS

其中MOS

其中DMOS

其中，获取该头部MTP时延导致的交互真实感下降量得分DMOS

DMOS

该t

获取该肢体MTP时延导致的交互真实感下降量得分DMOS

DMOS

该t

获取该手部操作MTP时延导致的交互真实感下降量DMOS

DMOS

该t

请参见图5，获取视觉逼真度得分(MOS

501.获取视频源呈现质量得分、视频通道数和单目视场角。

获取视频源呈现质量得分(MOS

该MOS

502.根据视频源呈现质量得分、视频通道数和单目视场角获取视觉逼真度得分。

根据视频源呈现质量得分(MOS

具体的，可以根据如下模型公式确定视觉逼真度(MOS

MOS

其中，v

请参见图6，获取听觉逼真度(MOS

601.获取音视频质量得分和音频声道。

获取音频质量得分和音频声道，该音频源质量得分可以根据音频码率、音频编码等一切构成音频质量的可量化因素获取。音频声道分为立体声效和VR的沉浸式空间化声效。

602.根据音频源质量得分和音频声道获取听觉逼真度得分。

根据音频源质量得分和音频声道获取听觉逼真度得分。

具体的，可以根据如下模型公式确定听觉逼真度得分：

其中，ABr为音频码率，v

本申请实施例一提供了一种评测VR体验临场感的方法，该方法包括：获取临场感参数，所述临场感参数包括视听逼真度、音视频连续性和完整性、交互真实感；根据所述临场感参数确定临场感得分。该方法可以先获取临场感参数，再根据该临场感参数确定临场感得分，从而可以对VR体验临场感进行评测。这样可以将临场感作为一个量化的指标，可以评测VR临场感的好坏。临场感得分越高，则代表VR体验临场感越好。该临场感得分是根据获取的临场感参数确定的，不局限于特定的应用场景，可以适用于不同的VR体验场景。该方法可以从虚拟现实体验最相关的子体验项出发，分级评估。使用者可以根据自己的需求输出部分得分或者综合评分，可以使得VR业务的体验评估更加准确，方便可行。

需说明的是，在实施例一中，涉及到的得分都是在1至5分之间。

基于上述实施例一，本申请给出VR业务临场感体验计算VRPI软件开发工具包(software development kit，SDK)。该SDK用于计算VR业务临场感体验指数。该SDK由参数输入模块、计算模块和结果输出模块三个模块构成。该参数输入模块用于输入参数，该参数可以包括上述实施例中所有参数。该计算模块用于根据该参数以及上述实施例中的计算过程获取计算结果。示例性的，若输入MOS

本申请实施例二提供了一种装置，请参见图7，该装置70包括获取模块701和确定模块702，该装置用于执行实施例一所述的方法，

该获取模块701，用于获取虚拟现实VR临场感参数，所述VR临场感参数包括视听逼真度得分、音视频连续性和完整性得分、交互真实感得分；

该获取模块701，还用于获取视觉逼真度得分、听觉逼真度得分以及声画同步时间，并根据所述视觉逼真度得分、听觉逼真度得分以及声画同步时间获取所述视听逼真度得分。

该获取模块701，还用于获取视频源呈现质量得分、视频通道数以及单目视场角，并根据所述视频源呈现质量得分、所述视频通道数以及所述单目视场角获取所述视觉逼真度得分。

该获取模块701，还用于获取视频源质量得分和屏幕呈现质量得分，并根据所述视频源质量得分和所述屏幕呈现质量得分获取所述视频源呈现质量得分。

该获取模块701，还用于获取音频源质量得分和音频声道，并根据所述音频源质量得分和所述音频声道获取所述听觉逼真度得分。

该获取模块701，还用于获取平均卡顿时长、卡顿频率和数据丢包率，并根据所述平均卡顿时长、所述卡顿频率和所述数据丢包率获取所述音视频连续性和完整性得分。

该获取模块701，还用于获取MTP时延和自由度，并根据所述MTP时延和自由度获取交互真实感得分。

该确定模块702，用于根据所述VR临场感参数确定VR临场感指数。

请参见图8，本申请提供了一种评测VR体验临场感的系统，该系统包括终端、基站(eNB)、核心网和云主机。该终端可以包括VR播放器、VR头戴设备等。单用户在观看VR视频或者进行其他VR体验时，该终端对用户信息进行采集，采集的信息包括实施例一中所有可采集的参数，然后该终端通过基站、核心网将信息传递至云主机，该云主机通过实施例一种所述的计算公式对该信息进行处理，得到最终的VR临场感指数。

终端侧的VR临场感指数可以用于路测，也可以对商用客户端VR视频质量进行统计。本方案明确了VR各组件要求，可以推动产业标准化进程。VR业务的进一步发展和规模商用仍需要统一的产品与解决方案标准来进行保障；可以降低VR方案整合，集成的复杂度；解决在VR发展过程中，各个厂家产品规格和实现方式不一致，导致项目进度和用户体验受影响的情况，建立一套明确的产品准入门槛和业务验收标准。

该方案也可以适用于对VR游戏的体验评测。当用户在玩VR游戏过程中，终端采集用户动作信息以及游戏视频画面信息，获得实施例一中所有可以用于计算VR PI的参数。然后该终端通过基站、核心网将信息传递至云主机，该云主机通过实施例一种所述的计算公式对该信息进行处理，得到最终的VR临场感指数。

实现VR游戏的统一评测，保障用户质量体验。在业界对齐VR游戏体验的输入，评估，输出流程，拉通VR体验评估的定义。给出了一套VR综合体验评估标准，可以牵引网络建设和解决方案开发。

以上对本发明实施例所提供的一种评测VR体验临场感的方法、装置及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。