用于提供具有六个自由度的至少部分内容的方法和系统

摘要

本发明提供一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：接收虚拟环境的部分内容；将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；将所述部分内容投影到第一几何形状的表面的第一点上；基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；将所述部分内容投影到第一几何形状的表面或第二几何形状的表面的第二点上，所述第二点与所述第一点不同；基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。

说明书

技术领域

本发明涉及一种用于提供具有六个自由度的至少部分内容的方法和系统。

背景技术

随着近来新一代虚拟现实(VR)硬件(例如Google Cardboard，Google Daydream，Samsung Gear，HTC Vive，Oculus Rift)的普及，对VR体验的兴趣迅速增长。从观看360°照片和视频到合成环境的计算机生成图像(CGI)，范围广泛的VR体验均可获得。尽管前者(360°内容)由于是基于捕获的摄影内容而非常逼真，但它们不是交互式的。相反，尽管后者(CGI合成环境)通常是交互式的，但它们通常很不逼真。

当前的360°VR体验允许用户环顾四周场景，但不能在场景内移动。从技术上讲，当前体验仅支持旋转运动的3自由度(DOF)。当前的360°体验不支持允许用户在场景内移动的3DOF位置(平移)移动。这打破了沉浸式360°内容提供的存在感。同时支持旋转和位置移动会产生6DOF移动，其中3DOF来自旋转移动，3DOF来自位置(平移)移动。

缺乏对6DOF的支持也会导致网络晕动症。网络晕动症的主要原因之一是感觉冲突。感觉冲突发生在身体的不同感觉不协调时，就像他们在物理世界时通常遇到的感觉冲突一样。最常见的感觉冲突是视觉-前庭冲突。当视觉和前庭(即内耳)的感觉系统处于冲突时，就会发生视觉-前庭冲突。在当前的360°VR系统中，如果用户在物理世界中移动(例如，倾斜或向前迈步)，则内耳会感觉到该运动，但是相应的运动没有在虚拟环境中可视地反映出来。由于前庭系统(内耳)感知到运动，而视觉系统无法感知，因此这两个系统处于冲突中，这可能导致网络晕动症。

已经尝试了其他方法来解决上述问题。下面概述两种这样的方法。

体积捕获方法试图获取完整的三维体积信息。一旦获取了完整的体积内容，就可以从任一视点重新渲染场景，从而支持6DOF运动。体积视频的效果令人印象深刻，但需要高度专业化的摄影装备来获取体积信息。获取体积信息的过程是很耗时的，并且数据量通常非常大。体积捕获装置需要额外的传感器，也非常昂贵。体积方法不能应用于标准消费者或专业360°摄像机获取的内容，也不能与无法获得完整三维体积信息的已有媒体和/或内容一起使用。

一种替代方法是尝试恢复场景的整个三维几何结构，然后使用恢复的几何结构合成场景的新的视图。几何结构可以从双目立体匹配(stereo correspondence)中恢复。这可以通过一对立体摄像机或用于静态场景的运动摄像机(运动摄像机需要静态场景，以便可以恢复场景的帧之间的对应关系)来实现，在Huang，Chen，Ceylan，Jin，2017，IEEE虚拟现实，3744，

本发明试图通过在现有的沉浸式内容中提供对6DOF运动的支持来解决上述问题，以改善用户体验并减少可能由于用户的前庭和视觉系统之间的冲突而引起的恶心的情况和影响。

发明内容

本发明的一个方面提供了一种用于在虚拟环境中提供具有六个自由度的至少部分内容的方法，包括：

a)接收所述虚拟环境的部分内容；

b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；

c)将所述部分内容投影到第一几何形状的表面的第一点上；

d)基于步骤c)的输出，确定与第一位置处的部分内容有关的第一结果；

e)将所述部分内容投影到位于以下表面上的第二点：

ο第一几何形状的表面或

ο第二几何形状的表面，

所述第二点与所述第一点不同；

f)基于步骤e)的输出，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及

g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动

其中每个步骤均由至少一个处理器独立执行。

本发明认识到，通过消除视觉-前庭冲突，支持用于通过VR头戴式设备观看的沉浸式内容的6DOF运动，显著减少了网络晕动症。上面概述的现有技术方法通常需要通过使用昂贵的视频捕获和处理装置来获取大量的体积数据或重新创建整个场景。此外，现有技术方法不能应用于某些内容类型或已有的内容。本发明提供了一种解决方案，该解决方案可以通过仅操作将由VR系统的用户立即观看的部分内容，来应用于现有的沉浸式内容。其数据规模可由诸如移动电话和个人计算机之类的普通消费电子装置管理。本发明的方法还可以应用于包括360°沉浸式内容、180°内容、标准照片和空间音频的现有内容。

本发明的另一方面提供了一种系统，包括：

存储器，其包括指令；以及

至少一个处理器，其耦合到所述存储器，其中，所述指令被配置为使所述处理器：

a)接收所述虚拟环境的至少部分内容；

b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；

c)将所述部分内容投影到第一几何形状的表面的第一点上；

d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；

e)将所述部分内容投影到位于以下表面上的第二点：

ο第一几何形状的表面或

ο第二几何形状的表面，

所述第二点与所述第一点不同；

f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及

g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，以在所述虚拟环境中提供旋转运动和位置运动。

本发明的另一方面提供一种其上存储有指令的有形计算机可读装置，所述指令在由至少一个计算装置执行时，使所述至少一个计算装置执行以下操作：

a)接收所述虚拟环境的至少部分内容；

b)将第一几何形状和第二几何形状中的至少一个与所述部分内容相关联；

c)将所述部分内容投影到第一几何形状的表面的第一点上；

d)基于将所述部分内容投影到第一点上，确定与第一位置处的部分内容有关的第一结果；

e)将所述部分内容投影到位于以下表面上的第二点：

ο第一几何形状的表面或

ο第二几何形状的表面，

所述第二点与所述第一点不同；

f)基于将所述部分内容投影到第二点上，确定与虚拟环境中第二位置处的部分内容有关的第二结果，所述第二位置与所述第一位置不同；以及

g)基于第一结果和第二结果，将部分内容重新格式化为具有六个自由度，所述六个自由度包括在虚拟环境中的旋转运动和位置运动。

附图说明

现在将参考以下附图描述本发明的各个方面和实施例：

图1a示出了具有基于偏航(yaw)、俯仰(pitch)或翻滚(roll)运动的3DOF的现有技术的VR系统。

图1b示出了在本发明中通过在x、y和z维度上的平移运动外还提供另外的3DOF运动。以及

图2示出了球体S的表面到位移球体S'的表面上的投影，其中点P被映射到P'。

具体实施方式

出于本描述的目的，要理解，可以通过移动电话、专用VR头戴式设备或其他计算装置(例如游戏机、个人计算机或平板电脑)创建在虚拟环境中使用的内容。

如附图所示，本发明的一方面使得能够合成一个资产(asset)的一种新的形式，将其显示成就好像该资产是从一个位移位置获取的一样。在合成位移(沿任一路径)逐渐增加的情况下，通过观看原资产的合成形式，可以实现场景中位置移动的印象。所有谈到的资产包括(但不限于)对360°和180°媒体内容以及空间音频和数字照片的指称。

本发明通过考虑在几何形状上显示的360°资产，可能是在球体的表面或弯曲/变形的球体的表面上(以下，当谈到球体表面或球体模型时，我们分别指球体或扭曲/变形的球体的表面或模型)来合成位移。注意，所述资产不一定需要显式映射到(可能变形/扭曲的)球体表面上。通过对资产的球体表示形式进行新颖的重投影变换，可以构建360°资产的合成形式，将其表示成就好像它是从一个位移位置获取的一样。请注意，不必合成完整资产，而仅合成用户正在观察的区域。此重投影变换精确地模拟了在少量移动的微小范围(即，在获取的位置与合成位置之间的位置存在小的偏移)中发生的视图变化。随着位移大小的增加，该变换变得越来越接近。然而，即使是相对较大的位移，其效果也是相当逼真。有多种可用于实现该效果的方法，下面概述了其中的三种。应当理解，下面概述的方法不是互相排斥的。例如，在某些实施例中，可将重投影方法与位置摄像机模型结合。

如图2所示，实现本发明的一种方法是考虑一个球体表面的显式重投影。将点P映射到位移球体的显式解析表达式可以如下推导：球体模型(S)的表面上的点(P)可以投影到位移球体模型(S')的表面上的点(P')处，如图2所示。从显示的球体模型S'的原点发出一条射线到原球体模型S上点P。投影点P'从该射线与球体表面S'的交点中恢复(recovery)。以这种方式，可以恢复P和P'之间的投影，并通过三角公式解析地表示。

实现本发明的另一种方法是在合成来自不同位置的模型的视图之前，显式地构建三维球体模型(或扭曲/变形球体模型)并将资产投影到球体模型上。要构建球体模型，可以考虑多种方法，例如，三维三角形网格。然后可以考虑各种标准投影，根据原资产的数据格式将资产投影到球体模型上。例如，如果资产以通常的等矩形格式存储，则可以使用标准的等角或圆柱形投影。一旦资产映射到三维球体模型，可以将合成摄像机放置在球体模型的中心，以恢复资产的原视图。对于合成摄像机模型，可以考虑各种模型，例如投影摄像机建模，诸如透视效应，CCD(电荷耦合装置)效应等。通过简单地移动合成摄像机来模仿用户的物理移动，即可获得场景中位置运动的印象。为了在实践中实施此方法，可以利用标准的图形开发编程语言或平台，例如OpenGL、Unity等。这些系统通常具有摄像机模型，例如，可以轻松部署以生成三维模型的合成视图。

实现本发明的另一种方法是通过函数S的等值线(iso-contour)(等值面(level-set))隐式表示表面，其中3D点x使得S(x)＝0定义该表面。然后，如下合成原360°资产在位移位置的新的视图。找到从要合成的新视点沿所有方向投射的射线到原隐式表面的交点。该交点可以通过解析或数值方式求解。找到交点后，计算原视点的观看方向。一旦知道该观看方向，就通过将其与针对该观看方向的原资产中的相应强度相关联(可选地插值)，对该合成视点计算要显示的适当的强度。

在一些实施例中，仅操作场景中对于佩戴VR头戴式设备的用户可见的部分。当用户在现实世界中移动时，无论是平移运动，即向前、向后、向左、向右、向上或向下，还是旋转运动，即偏航、俯仰或翻滚，都将对场景进行数字化修改，以在场景中显示用户在现实世界中体验到的等效运动。例如，基于360°内容的冒险角色扮演游戏，其中用户被分派检查某些数字人工制品以寻找线索。例如，如果该人工制品是放在桌子上或书架上，用户的倾向将是向前倾斜或向对象走去。使用传统的VR头戴式设备和软件，这种向前运动不会反映在360°内容中。使用本发明的系统和方法，用户可见的场景部分将被操作以合成或重投影场景的相关部分，并提供用户在场景内移动的效果。由场景的部分的合成或重投影提供的移动效果具有减少网络晕动症和增强用户体验的效果。用户的现实生活中的移动也可以按比例缩放，以使得用户响应于现实生活中的移动而感知到更大或更小的场景移动。例如，现实生活中向前或向后10cm的移动在场景移动中可能会放到1米。

通过至少包括耦合到存储器的处理器和存储器的计算机操作系统来实现本发明。存储器包括计算机可读指令，该计算机可读指令在被执行时使处理器接收用于虚拟环境的至少部分内容。该部分内容根据上述方法进行操作，以提供6DOF的沉浸式内容。

尽管前面的描述集中于光领域，即照片和视频，但是该同一发明可以应用于一般的360°领域，包括但不限于声领域，例如空间音频。

前面的描述仅以示例的方式提供，并且仅旨在提供实现本发明的可能方式。应当理解，所概述的三种方法不是互相排斥的，在不脱离本发明的范围的情况下可以组合每种方法的部分。