用于在沉浸式现实中提供音频内容的方法和装置

摘要

描述了提供和接收音频内容的方法(700、800)和装置(160‑1、181、184、220、600、156、105)。提供音频内容(700)的方法包括：接收(710)来自第一用户的第一音频内容，基于所述第一用户面向视听内容的至少一个区段的第一观看方向和第二用户面向所述视听内容的至少一个区段的第二观看方向处理(720)所述第一音频内容，以及提供(730)所述经处理的第一音频内容。所述视听内容可以是沉浸式现实内容。描述了一种计算机可读存储介质、计算机程序和非暂时性制品。

说明书

技术领域

本公开的至少一个实施例涉及沉浸式现实，具体地，涉及在共享沉浸式现实体验的用户之间提供和/或接收音频内容。

背景技术

本文所述的任何背景信息旨在向读者介绍可能与以下所述的本发明实施例相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应以此而被阅读。

沉浸式技术是指模糊物理世界或现实与数字或模拟世界或现实之间的界线，从而产生沉浸感的技术，并且包括虚拟现实、增强现实、增强虚拟以及类似混合现实和合并现实的变型。虚拟现实(VR)已经被定义为对三维环境的逼真和沉浸式模拟，其使用交互式软件和硬件而被创建，并且通过身体的移动而被体验或控制，或者简单而言之，其是由计算机生成的沉浸式交互式体验。使用VR设备的人通常能够“环顾”人造世界，在其中移动，并与屏幕或护目镜上所描绘的特征或项目交互。虚拟现实人工地创建感官体验，其可以包括视觉、触觉、听觉以及较不常见的嗅觉。增强现实(AR)(以及类似混合现实和合并现实的变体)是物理、真实世界环境的实况直接或间接的视图，其元件由诸如声音、视频、图形或GPS数据之类的计算机生成的感官输入来增强(或补充)。它涉及被称为介导现实的更一般的概念，其中现实的视图由计算机修改(可能甚至是被减弱而不是增强)。最终，该技术通过增强人们当前的现实感知来起作用。相反，虚拟现实用模拟的真实世界代替真实世界。下面，我们将这些各种技术共同称为沉浸式现实(IR)。沉浸式现实可以显示在计算机监视器、投影仪屏幕上，或者利用沉浸式现实头戴机或观看器(也称为头戴式显示器或HMD)来显示。HMD通常采取头戴式护目镜或在眼睛前面具有屏幕的眼镜的形式。一些模拟可以包括附加的感官信息并且通过扬声器或耳机提供声音。另外，可以利用配备有传感器的手套或手可佩戴设备。

最近，可用的大视场IR内容(高达360°)已经有了增长，其也被称为沉浸式或全景。这样的内容潜在地不能被在诸如安装式显示器、智能眼镜、PC屏幕、平板电脑、智能电话等的沉浸式显示设备上观看该内容的用户完全可见。这意味着在给定时刻，用户可能只观看所述内容的一部分。然而，用户通常可以通过各种手段(诸如头部移动、鼠标移动、触摸屏、语音等)在所述内容内浏览。

沉浸式现实系统通常被看作提供单独的体验。个体用户在体验中单独操作，而不与其他参与用户交互。在多个用户可能同时共享IR体验的情况下，每个用户占据该IR内的唯一位置。该位置是建立个体用户的视点的基础，从该视点渲染该用户的视图，即，向用户示出的IR的图像。这类似于许多多用户计算机渲染的模拟(例如，视频游戏)，其中为每个用户渲染的视图看起来来自很高的有利地位；或者类似于在大规模多人在线游戏(MMOG)中那样，其中每个用户的视图是从其角色的视点以大致人类尺度来渲染的。

然而，一些种类的沉浸式现实内容可能不适合于具有多个用户，其中每个用户具有离散的视点。这样的一个示例是三自由度(3DoF)VR。一种3DoF VR通常被称为“360°视频”或“360°图像”。通常，3DoF VR是从一组面向(facing)外的相机中导出的，其中来自该组中的相机的图像(或视频)被扭曲和拼接以形成单个合成图像(或合成视频)，该图像(或合成视频)表示围绕视点(或中心点)的所有方向上的视图，该视点(或中心点)是相机组的位置。在360°视频的情况下，该视点可以移动，例如在过山车列车上移动，在这种情况下，所得到的360°视频捕获过山车乘坐者的有利地位。可以扭曲和修剪所得到的合成图像或视频以给出来自该有利地位的一个方向上的视图，但是当用户转向面向不同的方向时，所述扭曲和修剪被更新，使得呈现来自该新方向的视图。当用户使用VR观看器或HMD(例如中国台湾HTC公司的Vive或Google公司的Cardboard)通过适当配置的智能电话进行观看时，则仅通过用户转动他们的头以面向新的方向，所述视图就被更新到新的方向。作为替代，这种360°媒体可在智能电话或计算机工作站上被观看，其中通过移动鼠标或在触摸屏或其他用户界面上拖动来实现面向的改变，使得显示通过来自新面向的视点的视图而被更新。

在一些情况下(其中相机的数量和覆盖足够)，这样的360°沉浸式媒体可以是立体的(即，3D)。当使用立体观看器观看时，可产生两个视图，这两个视图都基于相同的面向，但是一个面向用户的左眼，一个面向用户的右眼，产生在所述面向方向上来自有利地位的3D视图。360°视频的许多示例出现在由加利福尼亚州Mountain View的Google公司的YouTube网站提供的虚拟现实频道上。

所述3D DOF VR不限于360°图像或由相机捕获的视频。这样的内容可以是动画的或计算机生成的。这样的沉浸式媒体可以是交互式的。例如，(可能在特定时间)在VR中面向特定方向可以改变表现，如在动画或非动画场景中，其可以保持相当静态直到用户面向VR中提供路径视图的方向，在该点，视点可以沿着该路径前进，可能直到需要某种决定，或者直到需要路径选择处的某个下一个特定面向或其他交互。

发明内容

根据本公开的一个方面，提供了一种方法，该方法包括：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段(section)的第一观看方向并且基于第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。

根据本公开的一个方面，提供了一种装置，该装置包括处理器和耦合到处理器的至少一个存储器，所述处理器被配置为：接收来自第一用户的第一音频内容；基于第一用户面向视听内容的至少一个第一区段的第一观看方向和基于第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。

根据本公开的一个方面，提供了一种方法，该方法包括：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及，输出所述经处理的第一音频内容以用于音频回放。

根据本公开的一个方面，提供了一种装置，该装置包括处理器和耦合到处理器的至少一个存储器，所述处理器被配置为接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及，输出所述经处理的第一音频内容以用于音频回放。

根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，所述软件程序包括用于以下操作的程序代码指令：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。

根据本公开的一个方面，提供了一种携带软件程序的计算机可读存储介质，所述软件程序包括以下操作的程序代码指令：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。

根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，所述计算机可读程序代码指令在被执行时使计算机：接收来自第一用户的第一音频内容；基于第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。

根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，当执行所述计算机可读程序代码指令时，所述计算机可读程序代码指令使计算机：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。

根据本公开的一个方面，一种计算机程序产品，其包括可由处理器执行的代码指令，用于：接收来自第一用户的第一音频内容；基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向，处理所述第一音频内容；以及提供所述经处理的第一音频内容。

根据本公开的一个方面，一种计算机程序产品，其包括可由处理器执行的代码指令，用于：接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向；以及输出所述经处理的第一音频内容以用于音频回放。

以上给出了本主题的简化概述，以便提供对本主题实施例的一些方面的基本理解。本发明内容不是对本主题的详尽综述。其并非旨在标识实施例的关键或重要元件或界定本主题的范围。其唯一目的是以简化形式给出本主题的一些概念，作为稍后给出的更详细描述的序言。

从以下参照附图进行的对说明性实施例的详细描述中，本公开的附加特征和优点将变得显而易见。

附图说明

根据下面简要描述的示例性附图，可以更好地理解本公开：

图1示出了根据本公开的实施例的示例性沉浸式现实系统的简化框图；

图2示出了根据本公开的实施例的与头戴式显示设备的用户交互；

图3示出了根据本公开的实施例的适合于作为沉浸式现实内容呈现的360°平面视图的图；

图4示出了根据本公开的实施例的在沉浸式现实系统中的用户交互的图；

图5示出了根据本公开的实施例的在沉浸式现实系统中的用户交互的图；

图6示出了根据本公开的实施例的示例性沉浸式现实设备的简化框图；

图7示出了根据本公开的实施例的提供音频内容的示例性方法的流程图；以及

图8示出了根据本公开的实施例的接收音频内容的示例性方法的流程图。

实施例的详细讨论

应当理解，图中所示的元件可以以硬件、软件或其组合的各种形式来实现。优选地，这些元件在一个或多个适当编程的通用设备上以硬件和软件的组合来实现，所述通用设备可以包括处理器、存储器和输入/输出接口。在此，词语“耦合”被定义为表示直接连接或通过一个或多个中间组件间接连接。这样的中间组件可以包括基于硬件和软件的组件。

本说明书示出了本公开的原理。因此，将理解，本领域技术人员将能够设计出虽然未在本文中明确描述或示出但体现本公开的原理并且被包括在其范围内的各种布置。

本文所叙述的所有示例和条件语言旨在用于教育目的，以帮助读者理解本公开的原理和由发明人贡献以促进本领域的概念，并且应被解释为不限于此类具体叙述的示例和条件。

此外，本文中叙述本公开的原理、方面和实施例及其具体示例的所有陈述旨在涵盖其结构等同者和功能等同者这两者。另外，这些等同者旨在包括当前已知的等同者以及将来开发的等同者，即，所开发的执行相同功能的任何元件，而不管结构如何。

因此，例如，本领域技术人员将理解，本文呈现的框图表示体现本公开的原理的说明性电路的概念视图。类似地，将理解，任何流程图、流程示意图、状态转移图、伪代码等表示可基本上在计算机可读介质中表示并因此由计算机或处理器执行的各种过程，而不管是否明确示出了这样的计算机或处理器。

可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当所述功能由处理器提供时，该功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中一些可以被共享)提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为排他性地指代能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。

也可以包括其它常规和/或定制的硬件。类似地，图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地来执行，如从上下文中更具体地理解的，特定技术可由实现者选择。

在其权利要求中，被表达为用于执行指定功能的装置的任何元件旨在包含执行该功能的任何方式，这其中包括例如：a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此这其中包括固件或微代码等，其与用于执行该软件的适当电路相结合以执行该功能。由这些权利要求所限定的公开内容在于以下事实：由各种所述装置提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供那些功能的任何装置都等同于这里所示的那些装置。

应当理解，附图和描述已经被简化以示出与清楚理解本公开相关的元件，同时为了清楚起见，消除了在典型的编码和/或解码设备中存在的许多其它元件。

应当理解，尽管术语“第一”和“第二”在本文中可以用于描述各种元件，但是这些元件不应当受这些术语限制。这些术语仅用于将一个元件与另一个元件区分。上文描述了各种方法，并且每个方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。

在以下部分中，词语“图像”、“图片”和“帧”可以互换使用。

本公开的至少一个实施例涉及沉浸式现实(IR)系统，由此包括虚拟现实、增强虚拟、混合现实、合并现实等中的至少一者。本公开的至少一个实施例涉及共享IR体验(例如，观看相同的IR内容)的用户之间的社交交互。具体地，本公开的至少一个实施例涉及在共享IR体验的用户之间提供和/或接收音频内容。

当两个或更多个人(每个个人具有他们自己的IR观看器或HMD)观看沉浸式媒体的同步呈现时，每个个人可以随着所述呈现的进行而独立地环顾。然而，作为社交体验，它们的交互可能是笨拙的，可能取决于内容。例如，在过山车体验中，每个人都可能保持或多或少地面向前方，从而观察过山车车辆的前方是什么。但是，情况可能不总是这样。用户中的一者或另一者可能会扫视到旁边并侦察感兴趣的东西。类似于一个用户的“看那！”的评论可能混淆其他(一个或多个)用户。在过山车的情况下，类似于“Wow，看右边！”的替代评论可以解决该问题，但是依赖于说话的用户具有关于多种类型的空间参考歧义的经验，并且特别地选择语句以最小化歧义。在此，“向右”或“向左”的粗略的相对方向可被直观地理解为相对于过山车车辆，该过山车车辆是面向前方的，并且因此也具有面向左和面向右的。

在缺少这种清楚的参考点的沉浸式媒体体验中，用户说的“Wow，向右看！”是不清楚的且不能指望(一个或多个)其他用户正在任何特定方向上观看。例如，如果第二用户已经碰巧在预期的方向上看，则该话语将导致第二用户看向其他地方(远离向右的方向)。在森林场景的中间，“Wow，看石头！”可能是清楚的或者可能是不清楚的，这取决于场景中有多少岩石以及它们中的任意者是否在由第二用户的面向或观看方向或注视方向确定的视场中。第二用户可能会很困惑：如果没有可见的岩石，那么看向哪里？或者如果有多个岩石，那么看向哪个岩石呢？或者如果单个可见的岩石是错误的岩石，则研究岩石并且找不到感兴趣的东西。

因此，诸如在3DoF VR或一般360°IR中提供的沉浸式媒体体验在被同时呈现给多个用户时，产生了对使那些用户能够更清楚地通信而具有更少歧义的方式的需要，尤其是关于与VR中呈现的环境有关的对话。本公开提供了一种尝试解决与现有技术相关联的一些缺点的技术。根据本公开，当用户与其他用户通信时，考虑IR环境中的每个用户(或观看者)的面向或观看方向。下面，使用示例性360°IR体验(一个示例是3DoF VR)来描述根据本公开的实施例，但是它们可以类似地应用于任何多用户IR系统。

图1示出了根据本公开的实施例的示例性沉浸式现实系统100的简化框图。系统100可以处理沉浸式现实内容，例如虚拟现实、增强虚拟、混合现实、合并现实等。系统100可以包括服务器或服务提供商105，其能够接收和处理来自用户设备160-1至160-n中的一个或多个的用户请求。所述服务器105可以是例如内容服务器。响应于用户对内容的请求，该内容服务器可以提供包括各种多媒体资产(例如但不限于电影或电视节目)的节目内容，以供用户使用设备160-1至160-n观看、流传输或下载，或者耦合到设备160-1至160-n。该设备160-1至160-n可以是任何消费电子设备，例如网关、机顶盒、电视、计算机、膝上型计算机、平板电脑、智能电话等。所述服务器或服务提供商可以提供除内容递送之外的其他服务。

各种示例性用户设备160-1至160-n可以通过诸如因特网、广域网(WAN)和/或局域网(LAN)的通信网络150与示例性服务器105和/或彼此通信(例如，在多用户VR游戏或AR体验中)。服务器105可以与用户设备160-1至160-n通信，以便通过网络连接向和/或从用户设备160-1至160-n提供和/或接收相关信息，诸如推荐、用户评级、元数据、网页、媒体内容、销售报价、销售请求等。当所述处理不可用和/或不能在本地用户装置160-1至160-n上进行时，服务器105还可以提供信息和数据的附加处理。作为示例，服务器105可以是具有处理器110的计算机，例如Intel处理器，其运行适当的操作系统，例如Windows2008 R2、WindowsServer2012 R2、Linux操作系统等。根据本公开，处理器110可运行软件，以执行并控制服务器105的各种功能和组件。

图1还示出了服务器或服务提供商105的进一步细节。处理器110可以经由控制总线130控制服务器105的各种功能和组件。服务器105还可以包括存储器125，其可以表示诸如RAM的暂时存储器和诸如ROM、硬盘驱动器(HDD)、光盘(CD)驱动器或数字视频盘(DVD)驱动器和/或闪存的非暂时存储器中的至少一者，用于根据需要处理和存储不同的文件和信息，这其中包括所需的计算机程序产品和软件、网页、用户界面信息、用户简档、用户推荐、用户评级、元数据、电子节目列表信息、数据库、搜索引擎软件等。搜索引擎和推荐器软件可以根据需要而被存储在服务器105的非暂时性存储器125中，使得可以例如响应于用户的简档和对某些媒体资产的兴趣和/或不感兴趣的评级来提供媒体推荐，和/或使用用户使用文本输入指定的标准(例如，使用“体育”、“安吉莉娜朱力”等的查询)来搜索。

此外，服务器管理员可以使用本领域公知的不同用户输入/输出(I/O)设备115而与服务器105交互并对其进行配置以运行不同的应用。示例性服务器105的用户I/O或接口设备115可以表示例如鼠标、显示器的触摸屏能力、用于输入用户数据的触摸板和/或物理键盘。示例性服务器105的用户接口设备115还可以包括一个或多个扬声器和/或其他用户指示器设备，用于输出视觉和/或音频声音、用户数据和反馈。

此外，服务器105可以通过通信接口120连接到网络150，以便与其它服务器或网站(未示出)以及一个或多个用户设备160-1到160-n通信，如图1所示。在内容提供商105代表电视台、有线或卫星电视提供商或其它无线内容提供商的情况下，所述通信接口120还可以代表电视信号调制器和RF发射器。此外，本领域技术人员将容易理解，也可能需要其他公知的服务器组件，诸如例如电源、冷却风扇等，但为了简化附图未在图1中对其进行示出。

用户设备160-1至160-n可以是包括一个或多个显示器的沉浸式现实视频渲染设备。该设备可以在每个显示器的前面采用诸如透镜的光学器件。所述显示器还可以是所述沉浸式显示设备的一部分，例如在智能电话或平板电脑的情况下。在另一实施例中，显示器和光学器件可以嵌入在头盔中、眼镜中或者可穿戴护目镜中，其是所述设备的一部分或者耦合到所述设备。所述沉浸式视频渲染或用户设备160-1至160-n还可以包括一个或多个传感器和/或外部辅助设备，如下面进一步描述的。

用户设备160-1至160-n可以是但不限于例如PC、膝上型计算机、平板电脑、智能电话、智能手表、视频接收器、智能电视(TV)、HMD设备或智能眼镜(诸如，例如，Oculus Rift(来自Oculus VR)、PlayStation VR(来自Sony)、Gear VR(来自Samsung)、Google Glass(来自Google)、Moverio BT-200(来自Epson)、CastAR、Laster SeeThru等)、机顶盒、网关等中的一个或多个。这种设备的示例可以是例如Microsoft Windows10计算机/平板电脑/膝上型计算机、Android电话/平板电脑、Apple IOS电话/平板电脑、或Sony TV接收器等。根据本公开的示例性用户设备的简化框图在图1的框160-1中被示为设备1，并且在下面进一步描述。类似的组件和特征也可以出现在图1中的其他用户设备160-2至160-n中。

用户设备160-1可以通过连接或链路155、或通过网关156以及连接或链路154和158，利用有线或无线方式直接耦合到网络/因特网150。用户设备160-1可以包括处理器172，其表示用于处理各种数据和信号以及用于控制所述设备160-1的各种功能和组件的至少一个处理器，所述功能和组件包括视频编码/解码和处理能力，以便播放、显示和/或传输视频内容。所述处理器172可经由控制总线171与所述设备160-1的各种功能和组件通信并控制所述各种功能和组件。

用户设备160-1还可以包括显示器179，其在处理器172的控制下经由显示器总线178由显示驱动器/总线组件177驱动。所述显示器179可以是触摸显示器。此外，所述显示器179的类型可以是例如液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)等。另外，根据本公开的示例性用户设备160-1可以使其显示器在用户设备之外，或者可以使用附加的或不同的外部显示器来显示由显示驱动器/总线组件177提供的内容。这例如由通过设备160-1的外部显示器连接195连接的示例性外部显示器185来示出。该连接可以是有线或无线连接。

示例性用户设备160-1还可以包括存储器176，其可以表示诸如RAM的暂时存储器和诸如ROM、HDD、CD驱动器、DVD驱动器和/或闪存的非暂时存储器中的至少一者，用于根据需要处理和存储不同的文件和信息，这其中包括所需的计算机程序产品和软件(例如，如稍后详细描述的图7的流程图700和图8的800所表示的)、网页、用户界面信息、数据库等。另外，设备160-1还可以包括通信接口170，用于使用链路155经由例如网络150耦合到服务器105和/或其它设备和/或与它们通信。通信接口170还可以使用链路158将设备160-1耦合到网关156。链路155和158可以表示通过例如以太网、电缆网络、FIOS网络、Wi-Fi网络和/或蜂窝电话网络(例如，3G、4G、LTE、5G)等的连接。

沉浸式内容渲染或用户设备160-1的一个功能可以是控制虚拟相机，该虚拟相机捕获被结构化为虚拟体积的内容的至少一部分。该系统可包括一个或多个姿态跟踪传感器，其完全或部分地跟踪用户的姿态，例如用户头部的姿态或用户的面向、查看或注视方向，以便处理所述虚拟相机的姿态。可以提供一个或多个定位传感器以跟踪用户的位移，例如，识别沉浸式现实内的用户的位置或定位。然后，标识姿态、观看方向和/或位置的传感器数据被处理以将物理或真实空间(用户的动作实际发生的地方)与虚拟或沉浸式空间(用户的动作想要或意图发生的地方)相关联(或将所述物理或真实空间转换到所述虚拟或沉浸式空间)。该系统还可以包括与环境相关的其他传感器，例如用于测量光线条件、温度条件或声音条件。这样的传感器还可以与用户的身体相关，例如，以检测或测量出汗或心率。通过这些传感器获取的信息可以用于处理所述内容。

根据本公开，示例性设备160-1还可以包括传感器175。在示例性实施例中，传感器175可以至少是音频传感器，例如麦克风、视觉传感器(例如相机(视频或图片))、陀螺仪、磁通门罗盘、加速度计、罗盘、运动检测器、可佩戴的手/腿/臂/体带、手套、全球定位系统(GPS)传感器、Wi-Fi位置跟踪传感器、射频识别(RFID)标签(或跟踪标签)、和/或如前所述的其它类型的传感器。

在根据本公开的另一非限制性实施例中，示例性外部传感器182、183可以与用户设备160-1分离并且耦合(例如，放置在房间墙壁、天花板、门中、另一设备内部、用户身上等)。所述(一个或多个)示例性外部传感器182、183可以分别具有经由设备160-1的外部设备接口173到所述设备160-1的有线或无线连接192、193，如图1所示。(一个或多个)外部传感器182、183可以是例如麦克风、诸如相机(视频或图片)之类的视觉传感器、陀螺仪、加速度计、罗盘、运动检测器、可穿戴手/腿/臂/体带、手套、全球定位系统(GPS)传感器、Wi-Fi位置跟踪传感器、射频识别(RFID)标签(或跟踪标签)等。根据本公开，(例如，来自传感器175、182和/或183的)传感器数据可经由处理器总线171而被提供给用户设备160-1的处理器172，以进一步处理。

所述处理器172可以处理从传感器175、182、183接收的信号。来自这些传感器的测量结果中的一些测量结果可以用于计算所述设备的姿态和/或位置并且用于控制所述虚拟相机。可用于姿态或位置估计的传感器包括例如陀螺仪、加速计或罗盘。在更复杂的系统中，例如也可以使用相机的装备。所述处理器172可以执行图像处理以估计HMD的姿态。一些其它测量可用于根据环境条件或用户反应来处理所述内容。用于检测环境和用户条件的传感器包括例如一个或多个麦克风、光传感器或接触传感器。还可以使用更复杂的系统，例如跟踪用户眼睛的相机。在这种情况下，至少一个处理器172执行图像处理以执行预期测量。

另外，示例性设备160-1还可以包括用户输入/输出(I/O)设备174。所述示例性设备160-1的用户I/O或接口设备174可以表示例如鼠标、遥控器、操纵杆、触敏表面(例如触摸板或触觉屏幕)、显示器(例如显示器179和/或185)的触摸屏能力、触摸屏和/或物理键盘，以用于输入用户数据。所述示例性设备160-1的用户接口设备174还可以包括一个或多个扬声器和/或其他用户指示器设备，用于输出视觉和/或音频声音、用户数据和反馈。来自用户输入设备的信息可以用来处理所述内容、管理用户界面或控制虚拟相机的姿态。

应当理解，传感器175、182、183和用户输入设备174通过有线或无线通信接口而与所述沉浸式渲染或用户设备160-1内的处理器172通信。

在根据本公开的另一非限制性示例性实施例中，如图1所示，设备160-1可以经由外部设备接口173和链路191而被耦合到至少一个外部或辅助设备181。设备181可以是例如智能电话、平板电脑、遥控器、键盘设备等。所述外部设备181可以包括将被用作用户接口(UI)的触敏表面(例如，触摸板或触觉屏幕)。

在根据本公开的另一非限制性示例性实施例中，如图1所示，设备160-1可以经由外部设备接口173和链路194而被耦合到沉浸式现实HMD设备或智能眼镜184(诸如，例如，Oculus Rift(来自Oculus VR)、PlayStation VR(来自Sony)、Gear VR(来自Samsung)、Google Glass(来自Google)、Moverio BT-200(来自Epson)、CastAR、Laster SeeThru等)。注意，用户设备160-1本身可以是HMD设备或智能眼镜。除了固有显示器之外，在一个实施例中，所述HMD设备可以包括至少一个嵌入式相机，其可以用作传感器，例如用于定位(当观察周围环境时)或者用于当指向用户眼睛时进行用户识别(例如，虹膜识别)。在一个实施例中，所述HMD设备还可以包括嵌入式麦克风，该嵌入式麦克风可以用作传感器或用作语音接口以接收语音命令。在一个实施例中，所述HMD设备还可以包括用于提供音频的耳机或耳塞。

典型的HMD具有一个或两个小型显示器，其中透镜和半透明镜嵌入在眼镜(也称为数据眼镜)、护目镜或头盔中。显示单元被小型化，并且可以包括阴极射线管(CRT)、液晶显示器(LCD)、硅上液晶(LCos)或有机发光二极管(OLED)。一些供应商采用多个微显示器来增加总分辨率和视场。

HMD的不同之处在于：它们是仅能够显示计算机生成的影像(CGI)或VR内容，还是仅能够显示来自物理世界的实况影像，还是能够显示这两者的组合。大多数HMD仅能显示计算机生成的图像，其有时被称为虚拟图像。一些HMD可允许CGI叠加于真实世界视图(AR、混合现实、合并现实等)上，将真实世界视图与CGI组合可通过经由部分反射镜投影所述CGI且直接观看所述真实世界来完成。这种方法通常被称为光学透视。将真实世界视图与CGI相组合也可以通过从相机接收视频并将其与CGI电子地混合来电子地完成。这种方法通常被称为视频透视。

继续图1，示例性用户设备160-1至160-n可以使用例如超文本传输协议(HTTP)来访问由服务器105提供的不同的媒体资产、推荐、网页、服务或数据库。可以由服务器105运行以服务于HTTP协议的公知的Web服务器软件应用是Apache HTTP服务器软件。同样，用于提供多媒体节目的公知的媒体服务器软件应用的示例包括例如Adobe媒体服务器和AppleHTTP直播流(HLS)服务器。通过使用如上所述的媒体服务器软件和/或其他开放或专有服务器软件，服务器105可以提供类似于例如如前所述的Amazon、Netflix或M-GO的媒体内容服务。服务器105还可以使用流协议，例如Apple HTTP直播流(HLS)协议、Adobe实时消息传送协议(RTMP)、Microsoft Silverlight平滑流传输传输协议等，以将包括各种多媒体资产(例如电影、TV节目、软件、游戏、电子书、电子杂志等)的各种节目发送到终端用户设备160-1，以便经由流、下载、接收等来购买和/或观看。

在本公开的一个非限制性示例性实施例中，所述一个或多个传感器175、182和/或183还可以通过有线(例如，以太网电缆)或无线(例如，802.11标准或蓝牙)装置(例如，LAN或WAN网络)连接到服务器或服务提供商105，并且处理器110可以远程处理一些或全部所述传感器数据。

应了解，图1中的连接或链路(包括140、155、154、158和191-195)可各自独立地为有线或无线连接。

应当理解，图1中的系统100的各个单独的部件可以是相关领域的普通技术人员公知的电路或机械部件，并且将不进行详细描述。还应当理解，图1中描述的示例不是穷举的，并且可以选择其他布置而不脱离本公开的范围。

图2示出了根据本公开的实施例的用户210与HMD设备或IR眼镜220交互的绘图200。HMD设备220可以类似于图1的设备184并且耦合到设备160-1，或者可以类似于设备160-1本身，其包括HMD功能184，如先前所解释的。可选地，用户210可以利用耦合到和/或控制HMD 220的操作的手持设备260(例如，遥控器、操纵杆、棒等)。手持设备260可以是类似于设备181、用户I/O设备174或传感器182、183的设备。可选地，用户210还可以利用头戴式耳机、耳机或耳塞280和麦克风290。此外，扬声器可以代替耳机并且被放置在房间中的其他地方。此外，所述麦克风290也可以放置在房间中的其他地方。

所述手持设备260和HMD 220可以耦合到服务器(图2中未示出)，该服务器可以控制HMD 220上显示的内容。所述HMD 220上显示的IR内容可以取决于所述HMD的相对位置和朝向(orientation)。用户210观看IR内容230的至少一区段240(或在增强、合并或混合现实内容的情况下的视野245)。随着HMD 220被移动，其新的位置或朝向可以被发送到服务器，并且服务器可以更新所显示的内容。线250表示通向虚拟点270的观看或注视方向，该虚拟点在观看方向250和观看部分240的交叉处。注意，线250可以被看作指向虚拟点270的向量。虚拟点270可以是观看区段240的中心，或者它可以通过其它方式来确定。例如，虚拟点270可以是用户210正在观察的观看区段240上的对象。所述确定可以基于来自聚焦于用户210的眼睛运动的传感器的数据。

关于图1，反映图2的设备的许多组合是可能的。例如，所述服务器可以是设备160-1，HMD 220可以是设备184，并且手持设备260可以是外部设备181。在另一示例中，所述服务器可以是网关156，HMD 220可以是设备160-1，并且手持设备230可以是传感器182或183。在又一示例中，所述服务器可以是远程服务器105，HMD 220可以是设备181或184，并且手持设备230可以是设备160-1。在不脱离本公开的范围的情况下，其他组合也是可能的。

所述服务器可以跟踪HMD 220的运动。通过使用HMD 220的位置和朝向或方向(例如，观看方向)，服务器可以计算需要在HMD 220上显示的IR视场的部分(位置和比例)。应当理解，服务器可以是单独的设备，或者其可以是HMD 220。

图2包括HMD 220的视场240，其表示IR内容230的一部分。用户210可以移动其头部，以便在IR内容的更宽视场230内移动视场“窗口”240。此外，用户210可以经由设置和/或手势(例如，使用手持设备260)或在期望的方向上移动HMD 220(或用户的身体)来放大/缩小内容。在一个实施例中，在视场240的确定中可以实时地考虑放大/缩小。在一个实施例中，在视场240确定中可以不考虑放大/缩小，并且可以根据所确定的缩放量来进行HMD 220的视场240确定。所确定的缩放量可以由用户建立。

应当理解，所述视场240可以由至少一个视频相机的图像和/或来自附接到或包括在HMD 220中的传感器的数据来检测或确定，或者由耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)来检测或确定。类似地，所述视场240可以由至少一个视频相机的图像和/或来自附接到或包括在手持设备260中的传感器的数据来检测或确定，或者由耦合到系统的其他相机或传感器(例如，图1中的传感器182、183和175)来检测或确定。所述IR内容230和240中的图像可以是2D或3D图像。所述传感器可以检测相应设备和/或用户的方向、移动和/或位置。

所述IR内容可以是VR内容、AR内容、混合内容、合并内容等。HMD设备220可以取决于IR内容的类型而不同地操作。另外，HMD设备220可以以以下模式之一操作：光学透视模式、视频透视模式或混合的光学-视频透视模式。利用光学透视HMD，通过放置在用户眼睛前方的半透明镜来观看真实世界。这些镜子还用于将计算机生成的图像反射到用户的眼睛中，从而组合真实世界视图和虚拟世界视图。利用视频透视HMD，利用安装在头盔上的两个微型视频相机来捕获真实世界视图，并且将计算机生成的图像与真实世界的视频表示电子地组合。

根据本公开，当用户与其他用户通信时，考虑IR环境中的每个用户(或观看者)的面向、观看或注视方向。在一个实施例中，当第一用户讲话时，可以捕获该第一用户的语音以及表示该第一用户在IR环境内的当前面向或观看方向的数据。向第二用户呈现所捕获的语音可以基于所述第一用户和第二用户的面向之间的差异，使得所捕获的语音对于第二用户而言看上去来自IR环境中与第一用户当前面向的位置相对应的方向。更具体地说，所捕获的语音对于第二用户可以表现为来自一表示第一用户的观看方向250与第一用户210观看的IR内容区段240的交点的虚拟点270。注意，与第一用户210相关联的虚拟点270可以不被包括在第一用户讲话时第二用户所观看的IR内容的区段中。如果第一用户在他说话之后移动或转动他的头部，则确定新的观看方向250和新的虚拟点270，并且任何新捕获的语音将与新的虚拟点270相关联。

图3示出了根据本公开的实施例的适合于作为沉浸式现实内容呈现的360°视图的图300。沉浸式媒体300可以是静止图像或360°视频的单个帧。已知有许多360°媒体的格式。图3通过示例而非限制的方式示出了“等矩形”格式的媒体300，其中媒体300的每个像素位于由水平轴标记310指示的特定方位角和由垂直轴标记311指示的特定仰角。在媒体300中，正如在头顶光束312变粗并且在顶部附近横跨图像的一半的情况下所看到的，等矩形表示给予了被映射到仰角的高和低极值的视图的部分不成比例的大份额的图像。已知其他格式，这其中包括立方体格式(未示出)，其中围绕视点的合成视图被映射到以所述视点为中心的立方体的六个面，从而导致所述视图(例如，在立体角方面)到所述媒体(例如，在像素方面)的更均匀分布。其它形式还包括四面体、十二面体等。但是为了解释的简单和清楚，而不是代表性的效率，选择了等矩形来进行解释。

在媒体300的情况下，感兴趣中心301是特定名人，其接收好莱坞星光大道星星302。在该示例中，感兴趣中心301位于方位角0°处，在约-20°的仰角处。作为示范，媒体300表示360°环境：在-105°方位角的分裂处，第一个柱子303B的右手部分在媒体300的左边缘处可见。第一个柱子303A的左手部分在媒体300的右边缘处是可见的。感兴趣的附加项目(即，第二个柱子304)位于约90°的方位角。另一个感兴趣的项目是名人301后面的面板305。注意，在该示例中，所述方位角在顺时针方向上增加，并且180°至360°的范围分别等同于-180°至0°。

在一个实施例中，感兴趣中心401的位置可以在媒体300中由元数据表示。在其他实施例中，按照惯例，所述感兴趣中心可以在方位角＝0°和仰角0°或其他预定值处被建立。在通过常规或利用元数据建立感兴趣中心的那些实施例中，所述感兴趣中心表示VR环境内的用户的初始面向或观看方向。在其他实施例中，元数据可以建立VR环境的绝对朝向，例如，这可出现在天空中的基于VR的星图将被呈现为与头顶上的天球实际对准的情况下。对于根据本公开的增强现实(AR)实施例以及混合和合并现实实施例，也可以是如此。

图4示出了根据本公开的实施例的在沉浸式现实系统中用户交互的图400。两个用户411和461参与共享IR体验400，这其中包括第一用户体验410和第二用户体验460，这两者都基于媒体300。用户体验410和460可以在物理上非常接近，例如在同一房间或建筑物中，尽管可能不如图4中所示的那样接近(这是出于说明的方便而进行的)。作为替代，这两个用户体验410和460可以是任意远程的，例如，通过利用因特网上的连接而进行。用户体验410和460可各自类似于图2中所描绘的用户210的IR体验。此外，图4示出了在类似于图1的系统的IR系统中的用户体验。

为了简单起见，在该示例中，假设在物理空间和虚拟空间中，仰角始终是0°，然而，朝向或观看方向可以包括如图3中所描述的方位角和仰角。所述方位角考虑了用户向左或向右的注视。所述仰角考虑了用户的注视向上或向下看。最终，所述观看方向是指向虚拟点(例如270)的向量(例如250)，并且取决于内容的类型，其可以具有任何方向。例如，360°视图(例如，300)也可以在仰角或垂直轴(例如，311)上环绕。

在第一用户体验410中，第一用户411佩戴类似于HMD 184和220的HMD 412。与HMD412相关联或耦合到其的朝向传感器(未示出)(例如类似于传感器175、182或183)检测所述第一用户411在真实或物理世界或空间中的朝向。在图4的示例中，第一用户411的朝向被表示为真实世界朝向检测415，其指示了距磁北-135°的方位角。该真实世界朝向检测415被记录为第一初始物理方向。在第一用户体验410中，-135°方位角的初始物理朝向被指派了由HMD 412呈现给用户411的IR环境413中的0°的初始方位角414。在图3的示例中，0°的方位角对应于IR媒体300中的初始基准301，但是可以是沉浸式媒体300内的任何预定的初始面向。通过HMD 412，用户411看到IR环境413中的视图，这其中包括感兴趣中心(名人)401(类似于301)、星星402(类似于302)和面板405(类似于面板305)。

所述HMD 412还与麦克风416相关联，该麦克风可以连接到HMD 412，或者位于房间中的其他地方以在用户411讲话时捕获用户411的语音。用户411的左耳中的耳机、听筒或耳塞417可以耦合到HMD 412(用户411的右耳机在图4中不可见)。在替代实施例中，耳机417可以被单独地提供(例如，作为一对有线或无线耳机)，其具有到HMD 412的连接。在另一个备选实施例中，可以提供由HMD 412直接或间接驱动的扬声器阵列，以向用户411递送音频。

在一个实施例中，所述朝向传感器可以包括磁通门罗盘。在其他实施例中，作为示例，所述朝向传感器可以包括振动结构陀螺仪(VSG)(也称为MEMS陀螺仪)。尽管VSG不提供绝对方位角，但它可提供表示方位角变化的读数，并且可对由该读数表示的该变化进行积分以产生针对朝向的可用值。在其他实施例中，所述朝向传感器可以包括一个或多个加速计，其也用于检测方位角的变化。在其他实施例中，所述朝向传感器可以是外部组件(即，未安装在HMD 412中或上)，例如包括观察用户411的相机，其中所述朝向传感器检测HMD 412相对于所述相机的光轴的面向。

在第二用户体验460中，第二用户461佩戴类似于HMD 184、220和412的HMD 462。与HMD 462相关联的朝向传感器(未示出)检测第二用户在真实世界中的朝向，其在图4的示例中被表示为真实世界朝向检测465，其指示了距磁北30°的方位角。该真实世界方向检测465被记录为第二初始方向。在第二用户体验460中，该30°方位角的初始朝向被指派了由HMD462呈现给用户461的IR环境463中的0°方位角464，其对应于媒体100中的0°方位角。利用HMD 462，用户461看到IR环境463中的视图，这其中包括分别类似于301、302和305的感兴趣中心(名人)451、星星452和面板455。注意，对于这两个用户而言，视图463类似于视图413(除了图4中的不同视角，其中它们被示为彼此的镜像，因为用户411和461在真实世界中面向稍微相反的方向)。

HMD 462还可以与用户4611的右耳中的耳机467耦合(在图4中看不到用户461的左耳中的另一耳机467)。在替代实施例中，耳机227可以被单独地提供(例如，作为一对有线或无线头戴式耳机)，其具有到HMD 222的连接。在另一替代实施例中，可以提供由HMD 222直接或间接驱动的扬声器阵列，以向用户221递送音频。

图5示出了根据本公开的实施例的在沉浸式现实系统中用户交互的图500。图5与图4类似，标号501-567分别对应于标号401-467。图5是图4中共享IR体验的延续，因此，用户511和411可以是同一个用户；并且用户561和461也可以是同一用户。在这个稍后时间，体验500包括第一用户体验510和第二用户体验560，两者仍基于媒体300。

如图4中所示，并且为了简单起见，在该示例中假设在物理空间和虚拟空间中，仰角始终为0°，然而，朝向或观看方向可包括如图3中所描述的方位角和仰角。

图5示出了当用户511相对于图4中的原始位置将他的头部向右移动或向右转动90°时的情况，产生相对于图4中的用户411的真实世界朝向旋转的真实世界朝向。与HMD512相关联的朝向传感器(仍然未示出)检测第一用户在真实世界中的当前朝向，产生真实世界朝向检测515，在该示例中指示距磁北-45°的方位角。在第一用户体验510中，从-45°方位角的第一当前朝向(515)减去-135°的第一初始朝向(415)。所得到的差是+90°。将该差加到指派给第一初始朝向的0°方位角414，并且导致具有90°方位角的第一当前面向514，即视图513为视图413的右侧-90°。因此，基于所述第一当前面向514，IR环境513由HMD 512呈现给用户511。

第二用户体验560同样是第二用户体验460在相同的稍后时间的延续。作为示例，在第二用户体验560中，第二用户561的头部不相对于在第二用户体验460中的第二用户461转动。与HMD 562相关联的朝向传感器(仍未示出)检测第二用户在真实世界中的当前朝向，并且产生指示距磁北+30°的方位角的真实世界朝向检测565。在第二用户体验560中，从+30°方位角的第二当前朝向(565)减去+30°的第二初始朝向(465)。所得到的差是0°，当将其添加到指派给第二初始朝向的0°方位角464时，导致具有0°的方位角的第二当前面向564(其因为用户561的头部尚未转动而与用户体验460中的面向相同)。第二当前面向564对应于媒体300中的0°方位角，因此对于HMD 562，用户561仍然看到指向感兴趣中心(名人)551的IR环境563中的视图。

在一个实施例中，每个用户的视图的初始朝向(方位角和/或仰角)可以是物理上基于的，而不是基于所存储的测量；或者可以是连续相对的。许多不同的基于物理的朝向基准是已知的。例如，磁通门罗盘可检测磁北，并且磁北(或一些其它固定的磁朝向)可被选择作为先验初始朝向的方位角。类似地，如果外部相机装备正在观看用户，则该(一个或多个)相机可以是用于确定朝向的物理基础：用户直接转向所述(一个或多个)相机之一可以是初始朝向，而在4个方向(上、下、左或右)中的任一方向上远离所述相机的任何转向将记录为不同的朝向。在一些实施方式中，所述HMD可以包括或者用户可以佩戴例如标记或信标的记号，以便于通过所述相机进行朝向确定。在其他实施例中，所述记号可以位于用户周围的物理环境中，而相机由用户佩戴(例如，在HMD上)，使得朝向的确定基于利用所述相机对环境记号的观察。

一些朝向传感器不是直接读取朝向，而是检测朝向的一阶或二阶导数。陀螺仪可以指示方向的变化，即，旋转速率。加速计可以指示该速率变化的速度。在这种情况下，使用某种形式的积分来根据朝向传感器读数确定朝向。作为示例，通过使用该选择，并且假设陀螺仪作为朝向传感器，初始朝向O(t)可以取为零，其中t＝0。下一个检测到的移动M(t)(其中t＝1)将产生与所述初始朝向的偏差，以产生当前朝向O(t)(其中t＝1)，其可以被描述为O(1)＝O(0)+b*M(1)，其中'‘b’是取决于传感器的比例因子。接着，将基于移动的累积的当前朝向可被描述为O(n+1)＝O(n)+b*M(n+1)。以这种方式累积这些增量运动M(t)提供了所述当前朝向。如果所述朝向传感器是加速度计，则将使用双积分。注意，任何真实世界的测量(例如对于朝向的变化)都将包含噪声，并且通过积分，该噪声会累积。因此，原始初始朝向和当前朝向之间的严格关系可能发散。处理这种积分(和二重积分)中的噪声的方法是本领域技术人员可获得的并且是公知的，例如抑制表示低于预定阈值的变化或加速度的任何读数。此外，对于无限积分的所有问题，必须提供初始常数(“积分常数”)。所述初始朝向是一个这样的常数。在二重积分的情况下(如当使用加速计时)，需要第二常数，其描述初始旋转速率。如果当测量过程开始时用户相对不动，则零是适当的选择。

在图4和5的共享IR体验中，当第一用户511(或411)讲话时，第一用户511的语音被检测到(例如，由话筒516检测)并以基于共享IR体验500内的面向514和564的方式被呈现给第二用户561(例如，通过耳机567呈现)，以便看上去是来自IR环境563中的方向570，该方向在共享IR环境500中对应于第一用户511在IR环境513中所面向的方向514。更特别地，第一用户511的语音对于第二用户561看起来是来自用户511的视图513中的虚拟点518，其位于用户511的观看方向和IR视图513的交叉处。

所述共享IR体验开始于以下情况：当第一(411,511)和第二(461,561)用户已经确定哪个沉浸式媒体(例如300)是他们的共享IR体验400/500的基础时；当对应的第一HMD(412,512)和第二HMD(462,562)能够访问该媒体时；每个HMD已经建立了真实世界中的对应的第一和第二初始朝向(例如，在真实世界面向检测415和465时分别检测到从“N”的-135°和30°的读数)，这可发生在其被需要以用于随后确定当前朝向的情况下；当每个都已经关联了所述初始朝向以对应于所述媒体内的预定面向(在示例媒体300中，与感兴趣中心301对应的0°方位角)时；以及当两个HMD之间的通信(包括如果需要的同步(例如，对于视频))已经被建立时。

在共享IR体验开始之后，确定虚拟环境413中的第一面向当前414。在一个实施例中，这是第一当前真实世界朝向检测515与对应的第一初始朝向415之间的差异。例如，在通常在智能电话中提供以确定朝向的磁通门罗盘的情况下，从磁北(图4中所示)的-135°的方位角读数被建立为所述第一初始朝向，并且对应于沉浸式媒体300中的0°的方位角。随后，-45°的第一当前朝向读数(图5中)产生90°的第一当前面向514方位角，其是所述第一当前朝向514减去所述第一初始朝向414的差。

基于第一当前面向514，向第一用户呈现沉浸式内容300，其由第一HMD512渲染为虚拟环境513，使得在该示例中，第一当前面向514被指向柱子504和其后面的建筑物。

类似地，基于第二当前朝向读数565和第二初始朝向465，确定虚拟环境563中的第二用户561的第二当前面向564。所述第二HMD 562基于该第二当前面向564来呈现沉浸式内容(例如，300)，并且向第二用户561呈现IR环境563，使得在该示例中，第二当前面向564朝向感兴趣中心(名人)501。

当第一用户511说话时，音频(语音)内容例如用麦克风516而被捕获。基于第一面向514减去第二面向564之间的差571(在图5中是(90°-0°)＝90°)，来自第一用户的音频内容被处理并以强加的方向性570呈现给第二用户。通过这样做，用户511的语音对于用户561看起来是从VR环境563中的方向570发起的，该方向对应于IR环境513中的第一用户511的第一面向514。用户511的语音的声音由此向第二用户561指示该第一用户511在第一用户的话语时正看哪里。特别地，用户511的语音的声音向第二用户561指示了所述虚拟点518。如果用户511在相同位置时继续讲话，则用户561可朝向相同位置移动且最终在虚拟空间中与用户511对准。类似地，用户561的语音可指导用户511转动其头部以便在虚拟空间中将其自身与用户561对准，使得其可同时观察IR内容的同一区段。当两个用户在虚拟空间中对准时，如图4中所示(用户411和461面向IR内容的同一区段)，另一用户听到用户的语音，就好像来自该用户前方的虚拟点(例如，用户210的虚拟点270)，这将结合图6被进一步解释。

在一个实施例中，取决于IR体验的类型，也可捕捉表示第一用户在IR环境内的位置或方位的数据。例如，当允许用户在IR环境内独立移动时，除了独立地改变他们的观看方向之外，每个用户的位置或地点对于理解3D环境中的用户之间的地理关系可能是必要的。因此，取决于IR体验的类型，向第二用户呈现所捕捉的语音可进一步基于第一用户和第二用户在IR环境内的位置。换句话说，用户的多个观看方向表示了多个向量，该多个向量不具有图3、4和5的示例中相同原点。

应当理解，在不脱离本公开的范围的情况下，可以利用其他类型的系统和视频内容。例如，该系统可以是具有多个围绕至少一个用户的显示设备或面板的沉浸式系统，以给出与结合图3至图5描述的体验相似的体验。结果，该至少一个用户可能不需要HMD，但是该至少一个用户的移动和视觉体验是类似的。此外，具有多个显示设备或面板的所述系统可以不覆盖360°，而仅覆盖一个角区段，例如180°。此外，所述视频内容可以包括其他格式，并且可以不覆盖360°，而仅覆盖一角区段，例如180°。

图6示出了根据本公开的实施例的示例性沉浸式现实设备600的简化框图。IR设备或用户站600可以类似于设备160-1、160-2、…、160-n、181、184、220、412、462、512或562。设备600可以用于根据本公开共享IR体验，并且可以访问沉浸式媒体(例如，300)。设备600可以包括朝向传感器610、面向转换模块620、图像渲染器模块625、显示模块630、麦克风635、面向差异模块640、音频渲染器模块645、音频输出模块650、处理器660和存储器670。

用户站600可以与至少一个第二用户站(例如，160-1与160-2…160-n，412与462，512与562)通信，这其中可包括至少通过当前通信信道(例如，155、191、193)发送表示音频和面向当前输出622的数据。如果需要，例如如果两个站(例如160-1和160-2)分开很远(例如在不同的家庭中)，则所述通信可以经由因特网(例如150)进行。

用户站600如下工作。朝向传感器610可以向面向转换模块620提供朝向更新。如先前所论述，朝向传感器610可依赖于绝对朝向(例如，磁北、相对于相机或环境的面向等)或相对朝向(例如，对于检测朝向的改变的传感器)。面向转换模块620可以基于与沉浸式媒体680相关联的元数据602(例如，类似于IR内容300)来操作。面向转换模块620可产生当前面向622，其被供应到图像渲染器模块625。还可以通过通信信道将所述当前面向622发送(当前面向输出)到第二用户站(例如，系统100中的160-1到160-n、181和184)或另一设备(例如，105、156)以进行处理。图像渲染器625可以获取沉浸式内容680的至少一部分或区段601，并且结合来自面向转换模块620的当前面向622，可以向显示模块630提供第一视图，该显示模块向设备600的用户(例如，210、411、461、511、561)呈现第一视图，以便创建VR体验(例如，200、410、460、510、560)。由麦克风635检测到的音频也可以通过通信信道被发送(音频输出637)到第二用户站或另一设备(例如，105、156)以用于处理。应当理解，在其他实施例中，所述朝向传感器610和/或显示模块630可以通过有线或无线装置外部耦合到设备600，如先前结合系统100的设备160-1所描述的。

在一个实施例中，沉浸式媒体680的所述至少一个区段601可以基于所述当前面向622而被确定，例如，其中部分601表示媒体680的120°宽度(例如，从+30°至+150°，其表示以方位角＝+90°的当前面向为中心的120°)。该示例提供了用于将部分601传递到图像渲染器625的带宽要求大约是1/3的用于传递整个媒体680的要求，且预期用户将不知道该差异，因为媒体680的未发送部分无论如何将不会被渲染到视图中并被看到。

用户站600可以要求访问沉浸式媒体680。在一个实施例中，该访问可以作为流来提供，对于被广播的体育赛事或其它现场表演便可如此，否则可以以IR格式或其它格式分发的。在一个实施例中，用户站600和至少一个第二用户站(例如160-1到160-n)可以选择相同内容680的不同副本以彼此同步地播放。尽管图6中未示出，但是对诸如媒体680的公共内容的独立访问的同步回放在本领域中是公知的(例如，参见Scott的美国专利号7,669,219中的同步网络)。在一个实施例中，沉浸式内容680的单独副本可以对于多个用户站(例如160-1到160-n)中的每一个是本地的，例如，这可发生在沉浸式内容680被提供为蓝光盘或被加载到本地硬盘驱动器上的情况下，这将非常适合于高质量、高带宽内容。在另一实施例中，这些副本可以位于远程，这可发生在当媒体680要通过因特网(例如，150)从服务器(例如，105)被流传送时。

来自第二用户站(或第二用户)的表示当前面向642的数据由面向差异模块640接收，并被从自面向转换模块620接收的当前面向622中减去，从而产生提供给音频呈渲染器模块645的音频方向信息644。音频渲染器模块645使用音频方向信息644来渲染从第二用户站接收的音频数据647，以表现为好像来自由所述面向差异模块识别的音频方向。所得到的经渲染的音频652通过音频输出模块650被呈现给第二用户，该音频输出模块可以驱动耳机、耳塞或扬声器。

适合与耳机一起使用的一个示例音频渲染器模块是双耳渲染器。最简单地，双耳渲染器将采用单声道声音并以立体声呈现该声音以通过两个耳机传递，其中，向一个或另一个通道提供小于1ms的轻微延迟，以模拟来自不同方向的声音。来自正前方的声音(即，声音所来自的视在方向(apparent direction)具有0°的方位角)将同时到达双耳，因此延迟是0ms。来自适当的右侧(即，来自+90°的方位角)的声音将首先到达右耳，并且因为左耳远离该视在声源，所以它将以大约等于头部周围的附加距离(大约10英寸，尽管精确的答案取决于个体形态)除以声速(在海平面处大约340米/秒，或者大约13400英寸/秒)的时间量或延迟量，稍后到达左耳。所述时间量或延迟量大约是10/13400＝0.75毫秒(ms)。0.0ms与0.75ms之间的其它延迟似乎以大致正弦函数关系将声音放置在收听者周围的各种角度处，即，0.75ms*sin(0°)＝0.0ms，而0.75ms*sin(90°)＝0.75ms。对于来自左侧的声音，0.75ms*sin(-90°)＝-0.75ms，其是一表示需要将右耳延迟0.75ms的负延迟，即，对左耳的音频施加正延迟，并且对右耳的音频施加负延迟(在取绝对值之后)。所计算的延迟总是被提供给更远的耳朵的音频渲染。

在一个实施例中，所述音频处理可以在不同设备之间分开。例如，第二用户站可以从第一用户站接收当前面向输出622和音频输出637，并且执行与面向差异模块640、音频渲染器模块644和音频输出模块650相关联的功能。作为示范性实施方案，对麦克风说话的第一用户使其语音被记录且编码为立体混响编码，其中其语音的方向性被设定为相对于虚拟点的第一观看方向(例如，图3、4和5中的az＝0°方向)。在接收到此经立体混响编码呈现后，第二用户设备执行将所述立体混响编码渲染为双耳呈现，但立体混响场会旋转一对应于相对于所述虚拟点的第二观看方向的量。

注意，在上述的简化渲染中没有什么东西来区分在收听者前面而不是后面的声音，即，0°和180°的音频方向都产生0.0ms的延迟；对于左耳，+45°(前方，向右)和+135°(后方，向右)的方向都产生0.53ms的延迟。更复杂的双耳渲染是已知的，其基于更详细的头部相关传递函数(HRTF)，其考虑了在每个耳朵处听到的声音的频谱差异、由耳壳(也称为“耳廓”)引起的差异、头发、头部周围到远耳(例如，前方周围相对于顶部上)的各种路径的长度差异、以及其他甚至更微妙的源。个人的HRTF可以被直接测量并被提供给更复杂的渲染器，但是也有可能的是一个个人的HRTF对于其他人而言可以充分工作。在一些情况下，可以组合多个受试者的HRTF，以合成对于一般群体充分工作的通用HRTF(尽管通常不如定制HRTF那样好)。此外，对于人脑，高度通常可以由频率来区分，其中具有较低频率的声音可以被感知为来自收听者的下方，并且较高频率的声音可以被感知为来自收听者的上方。此外，距离可以由音量或幅度来区分，其中大声可以被感知为近，而弱声可以被感知为远。因此，关于所述音频的处理也可利用这些已知规则。

在一个实施例中，所述音频输出652可以是位于用户头部周围的扬声器阵列(未示出)。例如，如果在HMD的头带(例如，220、184)上，可以有四个扬声器，其中两个扬声器安装在用户的头部(例如，210)的每一侧上(其中，一个位于右耳的稍前面，一个位于右耳的稍后面)，并且两个类似地布置在左侧上，音频渲染器模块645可以将声音引导到这些扬声器中的任何一个。正前方的声音(即，具有方位角为0°的音频方向)可以被同时播放到它们各自耳朵前面的两个扬声器。来自左前方的声音可能仅在左前方扬声器上播放，尽管也可以通过向右前方播放声音来增强性能，但是具有上述简单的延迟。相应地，可以使用后扬声器将后方的声音播放到任一侧。在又一实施例中，扬声器阵列可以位于用户周围的环境中，而不是由用户携带。例如，7.1音响系统的扬声器(未示出，但是诸如用于家庭娱乐系统的扬声器)可以用于在坐在它们之间的用户周围呈现声音。

在其他实施例中，并非不是佩戴HMD(例如，220)，用户可能正在使用非佩戴HMD，例如，其可以利用台式个人计算机(PC)、膝上型计算机、平板电脑或智能电话来实现。尽管PC和膝上型计算机通常缺少朝向传感器，但是这样的设备能够提供设备600的所有模块。对于HMD没有朝向传感器的情况，或者所提供的朝向传感器(例如，根据用户偏好)不被使用的情况，所述当前面向可以基于指向输入设备，例如，鼠标、飞行鼠标、跟踪板、触摸屏、或游戏控制器等，其允许用户命令改变面向。这种命令由面向转换模块接收并按照其动作，否则面向转换模块如本文所述那样操作。相机也可用于识别用户的面向方向。任一用户或两个用户可以采用非佩戴的HMD来参与共享VR体验。

应了解，用户站600的至少一些模块可实施于存储于存储器670中且由处理器660执行的软件中，例如，面向转换模块620、图像渲染器模块625、面向差异模块640、音频渲染器模块644。尽管图6中未示出，但是处理器660可以控制设备600的所有其他模块的操作。

图7示出了根据本公开的提供音频内容的示例性方法的流程图700。该方法可以包括：在步骤710，接收来自第一用户的第一音频内容。然后，在步骤720，该方法可以包括：基于第一用户面向视听内容的至少一个第一区段的第一观看方向和基于第二用户面向所述视听内容的至少一个第二区段的第二观看方向来处理所述第一音频内容。最后，在步骤730，该方法可以包括提供所述经处理的第一音频内容。所述视听内容的所述至少一个第一区段被显示给第一用户。所述视听内容的所述至少一个第二区段被显示给第二用户。该方法的步骤可以由处理器(例如172、660、110)执行。作为替代，所述处理步骤可由例如面向差异模块640和音频渲染器模块644执行。所述提供步骤可以由例如音频输出模块650执行。所述提供步骤可以提供音频回放、存储在存储器(例如176、670、125)中、提供给第二用户和/或提供给第一用户。

在该方法的一个实施例中，所述第一音频内容基于所述第一观看方向和所述第二观看方向之间的角度差而被处理。该角度差可以由例如面向差异模块640确定。所述音频处理可由(例如)音频渲染器模块645执行。

在该方法的一个实施例中，第二用户感觉到所述经处理的第一音频内容是源自所述视听内容的所述至少一个第一区段中的虚拟点的，该虚拟点是所述第一观看方向与所述视听内容的所述至少一个第一区段之间的交叉点。

在该方法的一个实施例中，所述经处理的第一音频内容的左音频分量和右音频分量根据角度差而被调整。该音频处理可(例如)在音频渲染器模块645中执行。

在该方法的一个实施例中，当所述第一观看方向和所述第二观看方向之间的角度差在零度(0°)和一百八度(180°)之间时，所述左音频分量相对于所述右音频分量在时间上被延迟。换句话说，所述虚拟点或所述第一观看方向在所述第二观看方向的右侧。

在该方法的一个实施例中，当所述第一观看方向和所述第二观看方向之间的角度差在负一百八十度(-180°)和零度(0°)之间，或者等同地在一百八十度(180°)和三百六十度(360°)之间时，所述右音频分量相对于所述左音频分量幅度被延迟。换句话说，所述虚拟点或所述第一观看方向在所述第二观看方向的左侧。

在该方法的一个实施例中，所述经处理的第一音频内容被提供给所述第二用户以进行音频回放。该提供可以在例如音频输出模块650中执行。

在该方法的一个实施例中，观看方向是用户的头部移动和眼睛移动中的至少一者的函数。

在该方法的一个实施例中，所述视听内容是沉浸式现实内容。

在该方法的一个实施例中，所述视听内容是360度内容。

在该方法的一个实施例中，所述视听内容是3DoF沉浸式现实内容。

在一个实施例中，该方法可以由第一用户的设备、第二用户的设备和第三设备(例如，服务器)中的一者来执行。

所述方法700可由例如装置160-1、160-2、…160-n、181、184、220、600、156或105(其包括先前描述的实施例中的任一者)执行。特别地，该方法的步骤可以由例如处理器172、660或110执行。

重要的是注意，在仍实现本公开的各方面的同时，在一些实施例中，所述过程700中的一个或多个元素可被组合、以不同的次序被执行、或被排除。

根据本发明的一个实施例，提供一种用于提供音频内容的设备160-1、181、184、220、600、156、105，其包含处理器172、660、110和耦合到所述处理器的至少一个存储器176、670、125，所述处理器经配置以执行所述方法700的实施例中的任一者。

应当理解，术语“处理器”可以表示以联合体系结构、串行、并行或混合的方式执行上述功能的至少一个处理器。

图8示出了根据本公开的接收音频内容的示例性方法的流程图800。该方法可以包括：在步骤810，接收来自第一用户的经处理的第一音频内容，该经处理的第一音频内容基于所述第一用户面向视听内容的至少一个第一区段的第一观看方向和第二用户面向所述视听内容的至少一个第二区段的第二观看方向。然后，在步骤820，该方法可以包括：输出所述经处理的第一音频内容以用于音频回放。所述视听内容的所述至少一个第一区段被显示给所述第一用户。所述视听内容的所述至少一个第二区段被显示给所述第二用户。该方法的步骤可以由处理器(例如172、660、110)执行。作为替代，所述提供步骤可以由例如音频输出模块650执行。

在该方法的一个实施例中，所述第一音频内容基于所述第一观看方向和所述第二观看方向之间的角度差而被处理。该角度差可以由例如面向差异模块640确定。所述音频处理可由(例如)音频渲染器模块645执行。

在该方法的一个实施例中，所述第二用户感觉到所述经处理的第一音频内容是源自所述视听内容的所述至少一个第一区段中的虚拟点，该虚拟点是所述第一观看方向与所述视听内容的所述至少一个第一区段之间的交叉点。

在该方法的一个实施例中，所述经处理的第一音频内容的左音频分量和右音频分量根据所述角度差而被调整。所述音频处理可(例如)在音频渲染器模块645中执行。

在该方法的一个实施例中，当所述第一观看方向和所述第二观看方向之间的所述角度差在零度(0°)和一百八度(180°)之间时，所述左音频分量相对于所述右音频分量在时间上被延迟。换句话说，所述虚拟点或所述第一观看方向在所述第二观看方向的右侧。

在该方法的一个实施例中，当所述第一观看方向和所述第二观看方向之间的所述角度差在负一百八十度(-180°)和零度(0°)之间，或者等同地在一百八十度(180°)和三百六十度(360°)之间时，所述右音频分量相对于所述左音频分量幅度被延迟。换句话说，所述虚拟点或所述第一观看方向在所述第二观看方向的左侧。

在该方法的一个实施例中，所述经处理的第一音频内容被提供给所述第二用户以进行音频回放。该提供可以在例如音频输出模块650中执行。

在该方法的一个实施例中，观看方向是用户的头部移动和眼睛移动中的至少一者的函数。

在该方法的一个实施例中，所述视听内容是沉浸式现实内容。

在该方法的一个实施例中，所述视听内容是360度内容。

在该方法的一个实施例中，所述视听内容是3DoF沉浸式现实内容。

在一个实施例中，该方法可以由第一用户的设备、第二用户的设备和第三设备(例如，服务器)中的一者来执行。

所述方法800可由例如设备160-1、160-2、…160-n、181、184、220、600、156或105(其包括先前描述的实施例中的任一者)执行。特别地，该方法的步骤可以由例如处理器172、660或110执行。

重要的是注意，在一些实施例中，所述过程800中的一个或多个元素可以被组合、以不同顺序被执行或被排除，同时仍实现本公开的各方面。

根据本发明的一个实施例，提供一种用于接收音频内容的设备160-1、181、184、220、600、156、105，其包含处理器172、660、110和耦合到所述处理器的至少一个存储器176、670、125，所述处理器经配置以执行所述方法800的实施例中的任一者。

应当理解，术语“处理器”可以表示以联合体系结构、串行、并行或混合的方式执行上述功能的至少一个处理器。

此外，方法700和800可以被实现为包括可以由处理器执行的计算机可执行指令的计算机程序产品。所述具有计算机可执行指令的所述计算机程序产品可以存储在相应的上述设备的相应的非暂时性计算机可读存储介质中，例如176、670、125。

根据本公开的一个方面，提供了一种非暂时性计算机程序产品，其包括用于执行提供音频内容的方法700的任何实施例的程序代码指令。

根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，所述计算机可读程序代码指令在被执行时使计算机执行提供音频内容的方法700的实施例中的任意者。

根据本公开的一个方面，提供了一种计算机程序产品，其包括可由处理器执行的代码指令，用于实现提供音频内容的方法700的任何实施例。

根据本公开的一个方面，提供了一种非暂时性计算机程序产品，其包括用于执行接收音频内容的方法800的任何实施例的程序代码指令。

根据本公开的一个方面，提供了一种有形地体现计算机可读程序代码指令的非暂时性制品，所述计算机可读程序代码指令在被执行时使计算机执行接收音频内容的方法800的实施例中的任意者。

根据本公开的一个方面，提供了一种计算机程序产品，其包括可由处理器执行以实现接收音频内容的方法800的任何实施例的代码指令。

此外，本公开的各方面可以采取计算机可读存储介质的形式。可以利用关于一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品包含在一个或多个计算机可读介质中，并且具有包含在其上的计算机可读程序代码，该计算机可读程序代码可由计算机执行。如本文所使用的计算机可读存储介质被认为是非暂时性存储介质，其被赋予在其中存储信息的固有能力以及提供从其检索信息的固有能力。计算机可读存储介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。

应当理解，尽管提供了本公开可以应用于其的计算机可读存储介质的更具体的示例，但是如本领域普通技术人员容易理解的，以下仅是说明性的而非穷举性的列举：便携式计算机磁盘、HDD、ROM、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备、或前述的任何合适的组合。

根据本公开的一个方面，提供了一种计算机可读存储介质，其承载包括用于执行提供音频内容的方法700的任何实施例的程序代码指令的软件程序。

根据本公开的一个方面，提供了一种计算机可读存储介质，其承载包括用于执行接收音频内容的方法800的任何实施例的程序代码指令的软件程序。

应当理解，对本公开的“一个实施例”或“实施例”或“一个实现”或“实现”及其它变型的引用意味着结合实施例描述的特定特征、结构、特性等被包括在本公开的至少一个实施例中。因此，在整个说明书中的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指相同的实施例或单个实施例。

另外，本公开或其权利要求可能会出现“确定”各种信息。确定该信息可以包括例如以下中的一者或多者：估计该信息、计算该信息、预测该信息或从存储器检索该信息。

此外，本公开或其权利要求可能会出现“提供”各种信息。提供该信息可以包括例如以下中的一者或多者：输出该信息、存储该信息、传输该信息、发送该信息、显示该信息、示出该信息或移动该信息。

此外，本公开或其权利要求可能会出现“访问”各种信息。访问该信息可以包括例如以下中的一者或多者：接收该信息、检索该信息(例如，从存储器检索)、存储该信息、处理该信息、移动该信息、复制该信息、擦除该信息、计算该信息、确定该信息、预测该信息或估计该信息。

此外，本公开或其权利要求可能会出现“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收所述信息可以包括例如以下中的一者或多者：访问所述信息或(例如从存储器)检索所述信息。此外，在诸如存储所述信息、处理所述信息、发送所述信息、移动所述信息、复制所述信息、擦除所述信息、计算所述信息、确定所述信息、预测所述信息或估计所述信息的操作期间，通常以一种方式或另一种方式涉及“接收”。

应当理解，本公开中示出和描述的各种特征是可互换的。除非另有说明，一个实施例中所示的特征可以被结合到另一个实施例中。此外，在各个实施例中描述的特征可以被组合或分离，除非另外指示为不能分离或不能组合。

如前所述，可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供图中所示的各种元件的功能。而且，当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中一些可以被共享)提供。

还应当理解，因为附图中描述的一些组成系统组件和方法优选地以软件实现，所以系统组件或处理功能块之间的实际连接可以根据本公开被编程的方式而不同。在这里给出的教导的情况下，相关领域的普通技术人员将能够设想本公开的这些和类似的实现或配置。

尽管这里已经参考附图描述了说明性实施例，但是应当理解，本公开不限于这些精确的实施例，并且相关领域的普通技术人员可以在其中实现各种改变和修改，而不脱离本公开的范围。此外，在不脱离本公开的范围的情况下，可以组合各个实施例。所有这些改变和修改都旨在包括在如所附权利要求中阐述的本公开的范围内。