虚拟现实空间中行走重定向控制方法、设备及存储介质

摘要

本发明公开了一种虚拟现实(VR)空间中行走重定向控制方法、设备及存储介质。其中，该方法包括：获取VR终端的位姿信息；基于即时定位与地图构建(SLAM)确定所述VR终端所处环境对应的三维点云地图；对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界；基于所述位姿信息确定所述VR终端的预测位姿，根据所述预测位姿和所述边界调整所述VR终端在VR空间中行走的速度。

说明书

技术领域

本发明涉及虚拟现实(Virtual Reality，VR)，尤其涉及一种VR空间中行走重定向控制方法、设备及存储介质。

背景技术

随着VR技术的蓬勃发展，体验者可以通过佩戴不同类型的VR设备，在虚拟世界(即虚拟现实空间)中享受沉浸式体验。通过VR设备实现真实世界与虚拟世界的信息交互，其中，很重要的交互技术是如何实现虚拟现实空间中的自由行走。

相关技术中，通过预先在环境中布置定位追踪器的Outside-in(由外向内)方式，但是这不仅要提前改造环境，也可能不适用于所有的环境。并且实现步距和行走偏转角度调整的处理器也会加重本地端的计算负担，这种处理方式并不适用于VR一体机。

发明内容

有鉴于此，本发明实施例提供了一种VR空间中行走重定向控制方法、设备及存储介质，旨在及时开启VR空间中行走重定向，实现虚拟现实中的自由行走。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种虚拟现实(VR)空间中行走重定向控制方法，包括：

获取VR终端的位姿信息；

基于即时定位与地图构建(SLAM)确定所述VR终端所处环境对应的三维点云地图；

对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界；

基于所述位姿信息和所述边界对所述VR终端的行走进行预测，根据预测结果对VR空间中的行走进行重定向。

本发明实施例还提供了一种VR空间中行走重定向控制装置，包括：

获取模块，用于获取VR终端的位姿信息；

地图构建模块，用于基于即时定位与地图构建SLAM确定所述VR终端所处环境对应的三维点云地图；

边界确定模块，用于对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界；

重定向模块，用于基于所述位姿信息和所述边界对所述VR终端的行走进行预测，根据预测结果对VR空间中的行走进行重定向。

本发明实施例又提供了一种VR空间中行走重定向控制设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器，用于运行计算机程序时，执行本发明实施例所述方法的步骤。

本发明实施例还提供了VR空间中行走重定向控制系统，包括：VR终端和服务器，所述服务器与所述VR终端通信连接；所述服务器用于本发明实施例所述方法的步骤。

本发明实施例又提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本发明实施例所述方法的步骤。

本发明实施例提供的技术方案，通过获取VR终端的位姿信息，基于SLAM确定所述VR终端所处环境对应的三维点云地图，对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界，基于所述位姿信息确定所述VR终端的预测位姿，根据所述预测位姿和所述边界调整所述VR终端在VR空间中行走的速度，不用预先在环境中布置定位追踪器，可以在不改造环境的前提下，基于VR终端的位姿信息和VR终端的活动范围对应的边界对VR终端在VR空间中的行走进行预测，进而根据预测结果开启重定向，从而引导用户在真实环境中安全行走。

附图说明

图1为本发明实施例VR空间中行走重定向控制方法的流程示意图；

图2为本发明应用实施例VR控制系统的结构示意图；

图3为本发明应用实施例VR空间中行走重定向控制方法的流程示意图；

图4为本发明实施例VR空间中行走重定向控制装置的结构示意图；

图5为本发明实施例VR空间中行走重定向控制设备的结构示意图；

图6为本发明实施例VR空间中行走重定向控制系统的结构示意图。

具体实施方式

下面结合附图及实施例对本发明再作进一步详细的描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

相关技术中，为了让佩戴VR终端(又称为VR设备)的用户在空间受限的真实环境中，实现VR空间内的自由行走，主要存在以下方式：

方式一，通过外部装置设备实现VR空间内的无限行走。将佩戴VR头显的用户固定在某个特定区域内，类似于跑步机的原理，实现用户自然情况下的主动行走。或者VR用户通过手持控制器按键和头显内的提示画面实现空间行走，但是，这种行走是被动接受事前设定好的行走路线下的空间行走。

方式二，通过软件的控制方式实现空间行走，具体包括：一种是从内容设计虚拟环境中的建筑特性，通过操控及改变虚拟环境的建筑特性来实现有限空间的无限行走，例如改变虚拟环境中门的朝向和走廊的方向等；另一种是通过控制用户物理世界和虚拟世界平移和旋转之间的映射关系，从而引导用户远离空间的边缘和物理障碍。

对于方式一，往往需要在预先在环境中布置定位追踪器的Outside-in方式，但是，这不仅要提前改造环境，也可能不适用于所有的环境。并且，实现步距和行走偏转角度调整的处理器也会加重本地端的计算负担，这种处理方式更适用于头显设备和处理器或者PC设备的有线连接，并不适用于VR一体机。

对于方式二，空间行走的VR设备若存在可能出现碰触物理边界的可能，需要及时开启控制。一方面，如果不能预判目标是否即将触碰边界，即不能及时更新视角渲染画面，也会带来后续画面渲染回传显示的时延，影响用户的行走体验；另一方面，如果通过人为干预开启重定位指令时，系统需要判断是否为预设的用于重定位的语音数据，也会影响用户体验的沉浸感。

基于此，在本发明的各种实施例中，基于VR终端的位姿信息和VR终端的活动范围对应的边界对VR终端在VR空间中的行走进行预测，进而根据预测结果开启行走重定向，从而引导用户在真实环境中安全行走。

本发明实施例提供了一种VR空间中行走重定向控制方法，如图1所示，该方法包括：

步骤101，获取VR终端的位姿信息；

在一实施例中，VR空间中行走重定向控制方法应用于服务器，该服务器与VR终端通信连接，VR终端可以是VR一体机。

在一实施例中，VR终端上设置摄像头和惯性测量单元(IMU)，摄像头可以采集VR终端所处环境的图像信息，IMU可以测量VR终端对应的姿态数据。具体地，摄像头可以采用双目相机，通过双目相机同频率实时采集物理环境的图像信息。IMU可以包括陀螺仪和加速度计，实时采集VR终端的角速度和角加速度，比如采集VR终端的俯仰角、横滚角、航向角等角速度和角加速度数据信息，从而生成姿态数据。

VR终端将本地采集的图像信息和姿态数据传递给服务器，服务器接收VR终端的图像信息和姿态数据，对该图像信息和姿态数据进行数据融合，确定VR终端当前对应的位姿信息，该位姿信息包括VR终端的位置和姿态。具体地，服务器可以将IMU解算的姿态和图像信息确定的姿态作差，作差的结果作为外部量，采用卡尔曼滤波器对姿态数据和图像信息进行数据融合，对姿态数据和图像信息进行互相修正，得到修正后的姿态数据和图像信息，从而得到VR终端在当前物理环境中的位置和姿态，实现VR终端的精确定位。

在一应用示例中，VR终端可以对本地采集的图像信息和姿态数据进行预处理，将经过预处理后的图像信息和姿态数据发送给服务器。其中，姿态数据可以以四元数的形式发送给服务器，从而减少数据的传递量。

步骤102，基于即时定位与地图构建(SLAM)确定所述VR终端所处环境对应的三维点云地图；

在一实施例中，基于SLAM对所述VR终端途径的三维环境对应的图像信息建立三维点云地图。具体地，将VR终端途径的三维环境对应的连续多帧的图像信息进行拼接，建立三维点云地图。

步骤103，对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界；

在一实施例中，所述对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界，包括：

对所述三维点云地图进行栅格划分，基于设定的置信度进行点云筛选，得到置信度符合要求的三维点云；

对所述三维点云基于随机采样一致(RANSAC)算法进行轮廓提取，确定所述VR终端的活动范围对应的边界。

实际应用时，三维点云地图的点云数量通常在10万个以上30万个以下，需做进一步的点云筛选。首先对三维点云地图进行大小均匀的栅格划分，利用置信滤波器过滤每个栅格内置信度低的点云，保留栅格内具有较高点密度的点云结构。利用随机采样一致(RANSAC)算法对保留的高密度点云结构进行轮廓提取，保留其线性结构，进而确定可行走区域的物理边界。

步骤104，基于所述位姿信息确定所述VR终端的预测位姿，根据所述预测位姿和所述边界调整所述VR终端在VR空间中的行走的速度。

在一实施例中，所述基于所述位姿信息确定所述VR终端的预测位姿，包括：

对所述VR终端的当前位姿在所述VR终端所处环境对应的三维点云地图中进行重投影，根据所述VR终端的当前移动速度确定所述VR终端的预测位姿。

实际应用时，对VR终端当前的位姿在VR终端所处环境对应的三维点云地图中进行重投影，根据VR终端当前移动速度，可以预测当前时刻后n帧内的位姿，其中，n为大于1的自然数。

在一实施例中，所述根据所述预测位姿和所述边界调整所述VR终端在VR空间中行走的速度，包括：

基于所述预测位姿确定所述VR终端会触碰所述边界时，调整所述VR终端渲染在所述VR空间中行走的直行速度和/或转弯的角速度。

实际应用时，如果超过n/2帧确定的位姿超出了上述边界，即认为需要实施重定向行走。根据预测的位姿对应的位置和时间(相机拍照有固定的帧率，可以知道时间)能算出直线行走速度和角速度。渲染画面可以根据当前用户运动速度进行减缓和加快。具体地，调整VR空间中的行走的直行速度和/或转弯的角速度，调整范围可以为直行速度的减缓15％至加快25之间，角速度的减缓20％至增加40％之间。

本发明实施例方法，基于所述位姿信息和所述边界对所述VR终端的行走进行预测，根据预测结果对VR空间中的行走进行重定向，不用预先在环境中布置定位追踪器，可以在不改造环境的前提下，基于VR终端的位姿信息和VR终端的活动范围对应的边界对VR终端在VR空间中的行走进行预测，进而根据预测结果开启重定向，从而引导用户在真实环境中安全行走。

此外，本发明实施例方法应用服务器，通过服务器接收VR终端上传的采集信息，实现了Inside-out(由内向外)的VR定位方式，可以发挥发挥云端处理和存储的能力，同时减少了云端和终端数据交互时网络资源占用，和终端计算的消耗，保证用户行走连贯性的同时，提升了用户体验，适用于VR一体机。

下面结合应用实施例对本发明再作进一步详细的描述。

图2为本发明应用实施例的VR控制系统的结构示意图。图3为本发明应用实施例VR空间中行走重定向控制方法的流程示意图。

在本应用实施例中，如图2所示，该VR控制系统包括：终端和云服务。终端侧包括数据采集模块、本地计算模块；云服务包括网络边缘计算模块、网络边缘存储模块。其中：

所述数据采集模块是通过采用VR中Inside-out定位追踪方式，利用终端侧VR一体机中内置的双目相机同频率实时采集物理环境的图片信息，内置IMU中包括陀螺仪和加速度计，实时采集VR一体机的角速度和角加速度两部分数据。

所述本地计算模块是将所述数据采集模块中双目相机采集的图片信息和IMU数据进行预处理，将IMU获取的数据以四元数的形式传送给云端(即云服务)，将经过处理的图片传送给云端。

所述网络边缘计算模块包括实现VR一体机定位、环境建图和重定向等功能。VR一体机定位功能是将终端侧传输的两部分数据利用SLAM前端技术进行数据融合相互修正确定VR一体机在当前物理环境中的位置和姿态信息，实现对VR一体机的精确定位。环境建图功能是通过VR一体机不断移动的过程中，利用SLAM后端技术对VR用户所处的真实物理环境实时建立三维点云地图。通过大小均匀的网格把点云划分为，对每个网格中的点云进行筛选，只保留置信度高于某一阈值的点云。对保留的点云进行轮廓提取，最终确定物理环境边界。重定向功能是用于对VR一体机在可能触碰到真实环境边界或者障碍物时，对用户在真实环境中的行为进行概率预测，及时对虚拟环境中的用户视角进行诱导，使得真实环境中用户处于安全区域内。

所述网络边缘存储模块包括实时存储所述网络边缘计算模块中的VR一体机位置、姿态结果和不断更新的处理后的真实环境点云地图确定的物理边界，所述网络边缘计算模块实时调取网络边缘存储模块的数据。

如图3所示，本应用实施例方法包括以下步骤：

1、本系统同时运行VR终端与移动网络边缘服务器(即云服务)，VR终端通过双目相机采集同一特征在两个相机分布的图片信息和IMU实时采集俯仰角、横滚角、航向角等角速度和加速度数据信息，与移动网络边缘服务器进行实时交互，边缘网络在接收到终端侧传送的数据后进行数据融合，将相机数据和IMU数据相互修正。

2、通过边缘服务器高效的处理能力和SLAM技术对VR设备途径的三维环境实时建立三维点云地图。环境点云数量常常在10万个以上30万个以下，需做进一步的点云筛选。首先对三维点云地图进行大小均匀的栅格划分，利用置信滤波器过滤每个栅格内置信度低的点云，保留栅格内具有较高点密度的点云结构。利用随机采样一致(RANSAC)算法对保留的高密度点云结构进行轮廓提取，保留其线性结构，进而确定可行走区域的物理边界。

3、通过步骤2中确定的当前环境的物理边界实施概率预测算法，同时预测真实世界和虚拟世界用户的平移和旋转数据，边缘计算模块进行重定向行走。重定向行走过程将根据虚拟世界和当前建图环境的对应映射关系和概率预测结果动态调整直行的速度与转弯的角速度，调整范围一般是直线行进的速度减缓15％或加快25％，转弯的角速度减缓20％或增加40％。

为了实现本发明实施例的方法，本发明实施例还提供一种VR空间中行走重定向控制装置，设置在服务器，如图4所示，该装置包括：获取模块401、地图构建模块402、边界确定模块403、重定向模块404。其中：

获取模块401，用于获取VR终端的位姿信息；

地图构建模块402，用于基于即时定位与地图构建SLAM确定所述VR终端所处环境对应的三维点云地图；

边界确定模块403，用于对所述三维点云地图进行轮廓提取，确定所述VR终端的活动范围对应的边界；

重定向模块404，用于基于所述位姿信息确定所述VR终端的预测位姿，根据所述预测位姿和所述边界调整所述VR终端在VR空间中行走的速度。

在一实施例中，获取模块401具体用于：

对所述VR终端上摄像头采集的图像信息和惯性测量单元IMU测量的姿态数据进行数据融合，确定所述VR终端的当前位置和当前姿态。

在一实施例中，地图构建模块402具体用于：

基于SLAM对所述VR终端途径的三维环境对应的图像信息建立三维点云地图。

在一实施例中，边界确定模块403具体用于：

对所述三维点云地图进行栅格划分，基于设定的置信度进行点云筛选，得到置信度符合要求的三维点云；

对所述三维点云基于随机采样一致算法进行轮廓提取，确定所述VR终端的活动范围对应的边界。

在一实施例中，重定向模块404具体用于：

对所述VR终端的当前位姿在所述VR终端所处环境对应的三维点云地图中进行重投影，根据所述VR终端的当前移动速度确定所述VR终端的预测位姿。

在一实施例中，重定向模块404具体用于：

基于所述预测位姿确定所述VR终端会触碰所述边界时，调整所述VR终端渲染在所述VR空间中行走的直行速度和/或转弯的角速度。

实际应用时，获取模块401、地图构建模块402、边界确定模块403及重定向模块404，可以由VR空间中行走重定向控制设备中的处理器来实现。当然，处理器需要运行存储器中的计算机程序来实现它的功能。

需要说明的是：上述实施例提供的VR空间中行走重定向控制装置在进行VR空间中行走重定向控制时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的VR空间中行走重定向控制装置与VR空间中行走重定向控制方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供一种VR空间中行走重定向控制设备。图5仅仅示出了该VR空间中行走重定向控制设备的示例性结构而非全部结构，根据需要可以实施图5示出的部分结构或全部结构。

如图5所示，本发明实施例提供的VR空间中行走重定向控制设备500包括：至少一个处理器501、存储器502和至少一个网络接口503。VR空间中行走重定向控制设备500中的各个组件通过总线系统504耦合在一起。可以理解，总线系统504用于实现这些组件之间的连接通信。总线系统504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统504。

本发明实施例中的存储器502用于存储各种类型的数据以支持VR空间中行走重定向控制设备的操作。这些数据的示例包括：用于在VR空间中行走重定向控制设备上操作的任何计算机程序。

本发明实施例揭示的VR空间中行走重定向控制方法可以应用于处理器501中，或者由处理器501实现。处理器501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，VR空间中行走重定向控制方法的各步骤可以通过处理器501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器501可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器501可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器502，处理器501读取存储器502中的信息，结合其硬件完成本发明实施例提供的VR空间中行走重定向控制方法的步骤。

在示例性实施例中，VR空间中行走重定向控制设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、FPGA、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，存储器502可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例还提供一种虚拟现实VR空间中行走重定向控制系统，如图6所示，该系统包括：VR终端601和服务器602，所述服务器602与所述VR终端601通信连接；所述服务器602用于执行本发明实施例所述方法的步骤，在此不再赘述。

在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器502，上述计算机程序可由VR空间中行走重定向控制设备的处理器501执行，以完成本发明实施例方法所述的步骤。计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

另外，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。