首页> 中国专利> 用于具有灵活像差选择的三维内容递送的方法和系统

用于具有灵活像差选择的三维内容递送的方法和系统

摘要

公开了用于通过网络递送三维内容的方法和系统。根据这些方法和系统,通过使得接收机能够根据用户偏好在若干对左和右视域之间进行动态选择,可以进行三维视频流的像差调整。另外,公开了多视域视频编码方法和系统,其中通过将增强视域的依从性配置为只参照基本视域,帮助了动态选择和调整。

著录项

  • 公开/公告号CN102667911A

    专利类型发明专利

  • 公开/公告日2012-09-12

    原文格式PDF

  • 申请/专利权人 汤姆逊许可证公司;

    申请/专利号CN200980162536.0

  • 申请日2009-11-18

  • 分类号G09G5/00(20060101);

  • 代理机构11258 北京东方亿思知识产权代理有限责任公司;

  • 代理人宋鹤

  • 地址 法国伊西莱穆利欧市

  • 入库时间 2023-12-18 06:28:50

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-11-05

    未缴年费专利权终止 IPC(主分类):G09G5/00 授权公告日:20151216 终止日期:20181118 申请日:20091118

    专利权的终止

  • 2015-12-16

    授权

    授权

  • 2012-12-26

    实质审查的生效 IPC(主分类):G09G5/00 申请日:20091118

    实质审查的生效

  • 2012-09-12

    公开

    公开

说明书

技术领域

本发明概括而言涉及三维内容的发送和显示,更具体而言涉及形成三维内容的视域(view)之间的像差(disparity)的调整。

背景技术

三维图像是通过把从场景或对象的不同视点或视角记录或生成的图像显示给用户的每只眼睛来形成的:右视域被显示给用户的右眼,而左视域被显示给用户的左眼。“像差”是这两个视点或视角之间的水平位移。具体地,正是两个视点之间的像差使得观看者能够以三维感知到视频内容;像差越高,三维效果的强度就越高,因为感知到的图像的深度越大。

用于递送三维(3D)立体内容的一些现有方法使用固定像差,例如封装介质和采用ColorCode 3D技术的电视广播中使用的基于补色立体图(anaglyph)的方案。这些方案与传统的二维(2D)视频递送相比具有最低限度的复杂度提高。然而,它们不允许调整立体内容的像差。结果,它们可提供低劣的观看体验。例如,如果像差太低,则3D效果将丧失;相反,如果像差太高,则其可导致视觉不适。

诸如2d+深度视频格式之类的其他方案通过发送带有深度信息的2D视频来递送3D视频内容并且在接收机侧生成立体对(左和右视域)。虽然此方案允许利用在接收机处生成的视域实时调整像差,但其大幅提高了接收机的复杂度和成本。此外,因为第二视域必须从2D视频插补而来,所以所得到的3D图像可具有视觉伪影,尤其是在较大的前景对象周围更是如此。

其他已知的方法是基于3D模型的,例如Nvidia 3D Vision。与前述基于2D+深度的方案类似,这些基于3D模型的方法在接收机侧生成3D立体对,但不引入视频伪影,因为场景的完整3D模型是可用的。需要场景的完整3D模型是这些方法的主要局限,因为其大幅提高了复杂度并且将其应用限制到已经基于3D模型的视频游戏。

如上所述,3D效果的强度取决于所显示的视域的像差。强度还取决于观看条件,例如屏幕大小和观看距离,以及每个观看者的视觉系统的响应。从而,3D立体内容的像差应当被调整以适应于观看者和观看条件。

发明内容

从而,需要允许调整内容的像差并同时维持高视觉质量的用于递送3D立体内容的高效且低复杂度的方法和系统。给出了根据各种示例性实施例的方法和系统,它们通过使能为三维内容动态选择和调整视域的像差来解决了当前的缺陷。这提供了低复杂度,并且不要求使用3D模型。此外,可以利用多视域视频编码(MVC)方案,其允许以迅速且高效的方式发送三维内容的视域。MVC方案通过将增强视域的依从性配置为仅参照基本视域而帮助了像差的动态选择和调整。

在一个示例性实施例中,一种用于通过网络递送三维媒体内容的方法包括:为内容存储多个不同视域,其中视域的不同组合产生不同的像差;接收对于发送具有在接收机处选择的相应像差的至少一对视域的请求;选择具有所选像差的至少一对视域;以及响应于接收到请求,通过网络将具有所选像差的至少一对视域发送到接收机。

在替换的示例性实施例中,一种用于通过网络接收三维媒体内容的方法包括:为三维内容选择像差;向服务器发送对于具有所选像差的至少一对视域的请求;以及通过网络接收具有所选像差的至少一对视域。

在另一示例性实施例中,一种用于通过广播网络递送三维媒体内容的系统包括:服务器,被配置为为内容存储和广播多个不同视域,其中视域的不同组合产生不同的像差;以及接收机,被配置为接收多个不同视域,为内容选择像差,并且输出具有所选像差的一对视域以供显示。

在一不同的示例性实施例中,一种用于通过采用多视域视频编码来通过网络递送三维媒体内容的方法包括:为内容接收基本视域和多个增强视域,其中基本视域和增强视域的不同组合产生不同的像差;对基本视域和增强视域进行MVC编码,以使得增强视域参照基本视域,而不参照任何其他增强视域;以及将至少一对经MVC编码的视域发送到接收机,其中基本视域被包括在至少一对中。

附图说明

通过结合附图考虑以下详细描述可容易理解本发明的教导,附图中:

图1是根据本发明的示例性实施例的用于通过网络递送三维媒体内容的方法的框图/流程图。

图2是根据本发明的示例性实施例的用于通过网络接收三维媒体内容的方法的框图/流程图。

图3是根据本发明的示例性实施例的用于通过网络递送三维媒体内容的系统的框图/流程图。

图4是根据本发明的其他示例性实施例的用于通过广播网络递送三维媒体内容的方法的框图/流程图。

图5是根据本发明的其他示例性实施例的用于通过广播网络接收三维媒体内容的方法的框图/流程图。

图6是根据本发明的示例性实施例的用于利用多视域视频编码(MVC)技术通过网络递送三维媒体内容的更具体系统的框图/流程图。

图7是根据本发明的示例性实施例的用于通过采用多视域视频编码来通过网络递送三维媒体内容的方法的框图/流程图。

图8是图示根据本发明的示例性实施例的增强视域的插补的示图。

图9是根据本发明的示例性实施例的图示基本视域和增强视域的编码的MVC编码系统/方法的框图/流程图。

图10是图示根据本发明的示例性实施例的增强视域和基本视域之间的依从关系的示图。

应当理解,附图是用于图示本发明的概念的,而不一定是用于图示本发明的唯一可能配置。为了帮助理解,在可能时使用了相同的标号来称呼各附图共同的相同元件。

具体实施方式

示例性实施例提供了用于递送三维立体内容的方法和系统,这些方法和系统通过使得用户或接收机能够在若干对左和右视域之间进行选择而允许了像差调整。所提出的实施例可定制3D体验以适应于观看者的偏好和观看条件,例如屏幕大小和观看距离,而不降低图像视频质量或者显著提高接收机和显示器的复杂度。

应当理解,附图中所示的各种元件的功能能够通过使用专用硬件以及能够使用能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供时,这些功能可由单个专用处理器提供、由单个共享处理器提供、或者由多个个体处理器提供,这些个体处理器中的一些可被共享。另外,对术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件,而是可隐含包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)以及非易失性存储装置。另外,这里记载本发明的原理、方面和实施例及其具体示例的所有陈述都意欲涵盖其结构和功能的等同物。此外,希望这种等同物既包括当前已知的等同物,也包括将来开发的等同物(即被开发来执行相同功能的任何元件,无论结构如何)。

从而,例如,本领域技术人员将会明白,这里给出的框图表示体现本发明的原理的例示性系统组件和/或电路的概念性视图。类似地,将会明白,任何流程图、状态转变图、伪代码等等都表示能够基本上在计算机可读存储介质中表示并由计算机或处理器如此执行的各种处理,无论这种计算机或处理器是否被明确示出。

现在具体参考附图,其中相似的标号在几幅图中始终标识相似或相同的元件,并且首先参考图1,描述了根据本发明的示例性实施例的用于通过网络递送三维内容的方法100。此外,还参考图示用于递送三维内容的系统300的图3以便易于理解方法100。系统300可包括服务器302和接收机304,它们可通过递送信道306通信。如本领域普通技术人员所理解的,递送信道306可利用多种方案和介质来实现。例如,递送信道306可实现为使用互联网的单播或多播网络的一部分。此外,递送信道306可以是光广播网络中的光信道或卫星广播网络中的射频信道。另外,递送信道306可在线缆服务提供商广播或双向数据网络等等中实现。服务器302可包括存储设备311,该存储设备311可存储一组立体对视域308和/或独立视域310。视域的不同组合产生不同的像差。进而,接收机304可包括3D立体播放器312,该3D立体播放器312可被配置为播放3D视频内容并且从用户接收观看偏好316。另外,接收机304可经由信道306向服务器302发送观看偏好,而服务器302作为响应可发送具有不同的相应像差的一个或多个视域对。或者,服务器302可向若干个接收机广播多个视域或视域对并且对于视域对的选择可在接收机304处作出。在另一特征中,接收机304可通过单独的反向信道307向服务器302发送观看偏好。应当理解,这里公开的所有系统元件都可在专用硬件上实现,或者系统元件可在层叠于包括处理器和程序存储设备的硬件平台上的软件中实现。如本领域普通技术人员所理解的,也可利用应用程序接口和操作系统来实现系统元件。

返回到方法100,方法100可开始于步骤102,在该步骤中服务器302为同一三维媒体内容存储多个不同的视域。例如,服务器302可在存储设备311中存储M个独立视域310,以使得响应于用户请求,它们随后可被组合和/或插补以根据用户偏好生成具有期望像差的一对。作为替换或附加,服务器302可为视频内容组合和/或插补不同的多个左和右视域以生成具有不同像差的对,并且所生成的这些对可被存储在存储设备311。例如,所生成的对可对应于在服务器302处存储的不同的(N个)立体对308。在此情形中,接收机304可选择任何存储的一对或多对310来用于从服务器302在递送信道306上发送。

可选地,在步骤103,服务器302可接收来自接收机304的对于默认立体对的流式传输请求。该请求可简单地提及“默认”或者可为默认立体对指定期望像差。另外,该请求可通过反向信道307来发送。

可选地,在步骤104,服务器可向接收机发送视域的默认立体对。此步骤在用户可基于默认对请求具有不同像差的对的示例性实施例中是有用的。例如,用户可向接收机304指示服务器应当发送相对于默认对具有更高或更低像差的对。应当注意,默认立体对可通过递送信道306被广播给若干个接收机。在此情形中,下文更详细描述的对于替换视域的用户请求(或接收机请求)可经由反向信道307被发送到服务器。例如,如果默认立体对是经由卫星广播的,则反向信道307可以是连接到诸如因特网或某个其他服务提供商网络之类的广域网的硬线或光信道。

在步骤106,服务器302可接收对于发送具有在接收机处选择的相应像差的至少一对视域的请求。例如,对于特定视域对的选择可在接收机处在系统启动时作出。此外,对于特定的视域对的选择可在接收机处由用户作出。另外,对于视域对的选择可基于默认的视域对。例如,该请求可包括指出服务器应当发送具有比默认对更大或更小像差的视域对的指示。另外,在流式传输情形中,不同立体对之间的切换可实时发生,只要通过向服务器发送新请求即可。对于实时切换的新请求可指示出服务器应当发送一对或多对视域,该一对或多对视域具有与服务器发送的任何先前对、例如接收机发送的最后一对相比更大或更小的像差。此外,在接收机下载三维视频内容而不是接收流式内容的情形中,可在下载开始时请求适当的立体对;或者,可以请求下载若干个立体对以提供若干个观看选项。还应当注意,这里所用的“所选像差”可对应于所选像差范围。例如,在下载情形中,用户可请求某个范围的像差,并且服务器可提供具有在指定范围内的像差的若干对视域。在这里描述的任何情形中,如上所述,都可沿着反向信道307接收请求。

在步骤108,服务器302可选择具有所选像差的视域对。例如,如上所述,服务器302可在接收到来自接收机304的请求之前生成具有不同像差的不同对视域308。这里,响应于接收到请求,服务器302中的对选择器314可选择所请求的视域对来发送到接收机304。作为替换或附加,可响应于用户请求而实时生成对。例如,接收机304可发送对于具有比默认视域对更大或更小像差的一对或多对视域的请求。另外,接收机304可发送对于根据用户偏好具有指定像差的一对或多对视域的请求。响应于接收到该请求,对选择器314可通过在步骤108从存储设备311中存储的独立视域310中“选择”具有所选像差的一对或多对视域来生成所请求的一对或多对以便发送到接收机304。

在步骤110,响应于接收到来自接收机304的请求,服务器302可通过网络向接收机304发送具有所选像差的一对或多对视域。

可选地,在步骤112,服务器302可判定是否从接收机304接收到了对于对发送的新请求。如果接收到了新请求,则该方法可进行到步骤110,在该步骤中与该请求中所指示的像差相对应的新的一对或多对视域被发送到接收机304。或者,如果未存储相应的对,则该方法可进行到步骤108,在该步骤中可生成具有所指示的像差的对。该新请求例如可以是上述实时切换方案的一部分。否则,该方法可进行到步骤114,在该步骤中服务器302判定是否满足终止条件。例如,终止条件可对应于下载情形中所有内容的发送的完成。在流式传输情形中,终止条件可对应于所有内容例如视频点播内容的发送,或者其可对应于接收机处于关机状态中。如果满足了终止条件,则该方法可结束。否则,服务器可继续根据步骤110发送具有相应像差的一对或多对视域。

方法100允许了观看者在流式传输或下载视频内容时根据他或她的偏好来定制三维观看体验。另外,该方法是经济的,因为对生成是在服务器处进行的,从而允许了通过网络服务的大量客户使用简单、低复杂度的接收机。

应当理解,方法100可通过本领域普通技术人员所理解的多种方式来实现。例如,关于立体对创建和存储、立体对/像差选择和三维内容的编码,实现方式可以有变化。下面在这里描述示例性的变化。

立体对创建

根据本发明的各种示例性实现方式,如以上针对步骤102和108所述的视域对的生成可按若干不同方式来执行。例如,根据一个示例性实施例,可以采用多视域3D内容方案来生成立体视域的对。此方案利用多视域系统来生成3D视频内容,该多视域系统或者将多个相机用于实景真人内容,或者将多个渲染用于计算机生成的内容。因此,生成不同的立体对可以就简单地包括配对所生成的不同视域以使得每一对具有不同的像差。此方案提供了最佳视频质量,但也具有最高的内容创建负担。

可以采用来执行步骤102或步骤108的另一方案包括2D内容创建和视域插补。这里,只有2D视频内容被采用并插补来生成多个视域,其中可选地带有额外的信息,例如深度数据。虽然此方案大幅简化了内容创建处理,但其要求复杂的、耗时的手动视频处理来进行视域插补。其也可能提供比真正多视域内容更低的质量,考虑到只有2D视频可用于插补。

根据本发明的其他示例性方面,可利用3D立体内容创建和视域插补来执行步骤102或步骤108。在此方案中,3D立体内容被插补以人为地生成多个不同的视域。通过使用单个3D立体对,与真正多视域3D内容方案相比大幅简化了内容创建。此方案达不到与多视域3D内容创建相同的质量水平,但其相对于2D内容创建质量水平有所改善。并且对于立体对,此方案提供了与多视域情况相同的质量。

多视域3D内容创建和视域插补是可采用来在步骤102或步骤108生成不同视域的另一方案。这里,上述多视域3D内容被插补以生成额外的不同视域。通过向多视域3D内容创建添加视域插补,可以降低内容创建处理的复杂度,代价是略微降低的图像质量和视域插补的额外成本。

存储

根据示例性实现方式,如以上针对步骤102所述,视域的存储可由服务器按多种方式来执行。存储视域的方式可基于复杂度和容量约束来选择。

如上所述,在步骤102,服务器302可采用基于立体对的存储。在此模式中,存储整对的左和右视域,例如对308。从而,切换到新的像差只是简单地包括切换到所存储的新对。虽然此模式要求的复杂度最低,但其也要求最多的存储,因为不同的立体对实际上可共享两个视域之一。

作为替换或附加,在步骤102,视域可根据基于视域的存储方案被独立地存储在服务器302中。在此模式中,独立地存储若干个不同的视域,例如视域310,并且基于所请求的像差实时生成完整立体对。此方案提高了复杂度,但使空间要求达到最低限度,并且允许发送2D视频。在特定实施例中,在步骤102可存储单个左视域L(基本视域)和多个右视域(额外视域){R1,...,RN};在步骤108可通过将左视域与每个右视域相组合来形成立体对(L,Rn)。

视频编码

在步骤110发送一对或多对视域可由服务器利用许多不同的编码策略来实现。同播(simulcasting)提供了在步骤110发送视域的一种可行的选项。根据同播,每个视域被编码在独立的视频流中并被发送到接收机。此方案使用更大量的带宽,因为所使用的带宽与2D视频相比大约加倍了。然而,其具有低复杂度,因为其不要求使用新的编码或后期处理算法。此外,因为每个视域被编码在独立的视频流中,所以视域的任何组合都是可能的,这可能对于相同数目的视域产生更多的像差选项。此方案支持基于立体对的和基于视域的存储,并且其与2D内容是后向兼容的。

在步骤110可采用的另一种技术包括空间交织。这里,两个视域可被空间上交织在一起,然后被编码为单个2D流。从而,其使用与常规2D视频的情况相同量的带宽。然而,该方案也导致了更低的图像质量,因为每个视域被二分之一下采样。例如,视域可在水平维度上被下采样以便进行并排空间交织。空间交织具有比同播更低的编码和解码复杂度,但其要求在接收机侧有额外的后期处理来重建全分辨率立体对。此方案只支持基于立体对的存储,并且打破了与仅限2D的系统的兼容性。

在步骤110也可采用多视域视频编码(MVC)来向接收机304发送视域。具体地,可利用MVC标准来对在服务器302上可用的不同视域编码。取决于编码配置,例如跨视域的依从性,此方案可实现编码效率(即带宽使用)和复杂度之间的不同折衷。根据示例性方面,当根据上述的基于视域的存储方案采用基本视域和额外视域时,编码依从性将只发生在基本视域和额外视域之间,而不发生在额外视域之间-这将允许只发送基本视域和任何单个额外视域。此方案既支持基于立体对的存储也支持基于视域的存储,不过具有比同播更少的视域组合,并且其是与仅限2D的系统后向兼容的。根据本发明的示例性实施例的特定MVC方案在下文中更充分论述。

应当理解,在步骤110可采用其他编码方案。例如,可以采用可扩展视频编码(SVC)标准来对视域编码以便发送,或者对于在接收机处具有视域插补的系统,可以采用2D视域和深度信息的组合来对视域编码以便发送。

其他示例性像差选择实施例

现在参考图2,并继续参考图1和3,图示了根据本发明的一个示例性实现方式的用于接收三维媒体内容的方法200。方法200可与方法100同时并与方法100结合执行。

可选地,方法200可开始于步骤202,在该步骤中接收机304接收视域的默认立体对。该默认立体对可对应于以上针对步骤104所述的默认对。如上所述,在示例性实施例中,默认立体对可被广播到多个接收机。

在步骤204,接收机304或用户可根据以上提供的描述为三维内容选择像差。例如,对特定视域对的选择可在接收机处在系统启动时作出。此外,用户可在接收机处选择特定的视域对。接收机也可基于观看条件来选择像差。例如,接收机可检测显示设备的屏幕大小并且选择适合于该屏幕大小和观看距离的像差。观看距离参数可由用户预设或者可以就简单地是存储在接收机设备的软件中的默认观看距离参数。另外,选择处理可以是直接的或间接的。在直接模式中,接收机确切知道在服务器上有哪些像差可用。从而,接收机可向用户呈现可用的指定像差,并且用户可选择期望的像差。在间接模式中,接收机接收默认立体对并且向用户提供选择大于或小于该默认立体对的像差的选项。另外,在间接模式中,可通过参考接收机接收的最新近的一个或多个立体对来反复地作出选择。还应当注意,“所选像差”如上所述可对应于所选像差范围。

在步骤206,接收机304可向服务器发送对于具有所选像差的至少一对视域的请求。例如,在直接模式中,为了请求立体对或新的立体对,该请求可包括要发送的左和右视域的标识符(ID)。在间接模式中,该请求可包括对于相对于服务器先前发送的任何其他的一对或多对视域更高或更低的像差的指示。如上所述,服务器侧的对选择器314可选择适当的视域对来满足该请求。另外,对于默认对的请求可在步骤206作出。如上所述,对于默认对的请求可提及“默认”或者可为默认立体对指定期望的像差。还应当注意,直接模式将许多智能放在接收机侧,简化了对选择器314。间接模式要求使用更复杂的对选择器314,但其允许从存储中添加或去除视域,而不要求接收机侧的任何改变。另外,应当理解,该请求可以是以上针对步骤106描述的请求。如上所述,该请求在某些示例性实施例中可沿着反向信道307来发送。

在步骤208,接收机可通过网络从服务器接收具有所选像差的至少一对视域并且可利用具有所选像差的视域对来显示三维内容。所选对可对应于以上针对步骤108和110所述的所选对。

如上所述,视域的切换可通过提交新请求来实时地或者反复地执行。可选地,在步骤210,接收机可判定用户是否选择了新像差。如果用户尚未选择新像差,则接收机可继续接收服务器发送的一对或多对并且维持内容的当前显示。否则,方法可进行到步骤212。

可选地,在步骤212,接收机可发送指示新的所选像差的新请求。该请求可包括以上针对步骤206所述的任何特征。例如,该请求可指定新的所选像差大于或小于接收到的视域对中的至少一对的像差。此外,该请求可指定特定视域对的一个或多个标识符。另外,该新请求可包括以上对步骤112和106所述的请求的特征。

在步骤214,接收机可通过网络从服务器接收具有新的所选像差的至少一对视域并且可利用具有新的所选像差的视域对来显示三维内容。然后,方法200可进行到步骤210。

应当理解,视域的实时切换可在任何时间发生。例如,在用户希望根据视频点播方案播放三维内容的流式传输情形中,视频可作为默认视域对或作为某种接收机/用户指定的视域对被发送到接收机。在视频被呈现给用户的同时,用户可利用上述实时切换特征反复地调整所显示的内容的像差,直到在视频播放的同时实现视频的期望像差为止。调整如上所述可通过允许用户选择特定的像差并且利用标识符发送对于具有所选像差的视域对的请求来实现。或者,调整可基于用户对于比先前在接收机处接收的视域对的像差更大或更小的像差的选择。

现在参考图4,并继续参考图1-3,图示了根据本发明的示例性实施例的用于广播三维视频内容的替换方法400。不同于以按需方式发送视域,三维内容的多个不同的视域或视域对可被广播并在接收机处选择。方法400可由以上已经详细描述的系统300的服务器302实现。方法400可开始于步骤402,在该步骤中服务器302可为同一三维内容存储多个不同的视域。步骤402可等同于上述的步骤102。例如,如上所述,服务器302可在存储设备311中存储具有不同的相应像差的不同立体对308。作为替换或附加,服务器302可在存储设备311中存储独立视域310。如上所述,独立视域的不同组合产生不同的相应像差。

在步骤404,服务器302可将多个视域广播到多个接收机。例如,多个立体对和/或多个独立视域可如上所述通过在广播网络中实现的递送信道306被发送到多个接收机。任何广播的立体对都具有不同的相应像差。类似地,任何广播的独立视域例如至少三个独立视域在被组合时都具有不同的相应像差。此外,多个视域中的每一个可与像差指示符一起被发送。例如,像差指示符可指示出与基本视域的距离以允许接收机选择具有期望像差的视域对。基本视域可以是任何视域并且指示符可以是指示出在基本视域的左侧或右侧的距离的负或正值。或者,例如,如果立体对被广播308,则指示符可以就简单地提及特定像差。更多的像差距离和特定的像差值可利用代码和与三维内容一起发送或者被预存储在接收机304处的查找表来实现。

现在参考图5,并继续参考图1-4,图示了根据本发明的示例性实施例的用于接收三维视频内容的方法500。方法500可在接收机304处实现并且可补充方法400。方法500可开始于步骤502,在该步骤中接收机可接收三维内容的多个视域。所接收的视域可以就是在步骤404广播的那些视域。例如,视域的不同组合产生同一内容的不同像差。此外,视域可对应于不同的独立视域310和/或不同的立体对308。

在步骤504,接收机304的可选的像差选择器315可为三维内容选择像差。例如,所接收的一对独立视域或立体对可附加有指示出该对视域或立体对是默认的一对视域或立体对的指示符。从而,像差选择器315可被配置为使用与内容一起接收的或者预存储在接收机304的存储器中的查找表来确定默认视域对并输出该默认视域对以供显示。此外,用户可向接收机304指示出应当显示相对于该默认视域对具有更高或更低像差的视域对。此选择/显示处理可被反复执行,直到达到期望像差为止,例如像以上针对图2的步骤208-210所述那样。作为替换或附加,用户可以响应于由接收机呈现在显示设备上的提示而简单地指定并输入期望的像差。例如,接收机可向用户呈现可用的、指定的像差并且用户可选择期望的像差。在任一种或两种情况中,响应于用户对期望像差的选择,像差选择器315可使用查找表来从所接收的多个视域和/或立体对中确定/选择具有用户选择的相应像差的那对视域。

此外,应当注意,如上所述,对于特定视域对的选择可在接收机处在系统启动时作出。接收机也可基于观看条件来选择像差。例如,接收机可检测显示设备的屏幕大小并且选择适合于该屏幕大小和观看距离的像差。观看距离参数可由用户预设或者可以就简单地是存储在接收机设备的软件中的默认观看距离参数。

在步骤506,接收机304可对具有所选像差的视域对解码并输出以供显示。

应当理解,虽然为了易于理解,方法400和500是与方法100和200分开描述的,但方法400/500的任何一个或多个步骤可与方法100/200包括在一起,反之亦然。例如,系统300可将方法400/500与方法100/200同时执行,因为方法400/500可对接收机的一个子集执行,而方法100/200可对接收机的另一不同子集执行。作为替换或附加,方法400/500可对某些三维内容执行,而方法100/200对于其他三维内容执行。

利用MVC的实施例

现在参考图6和7,并且继续参考图1和3,分别图示了根据本发明的示例性实施例的通过采用多视域视频编码来通过网络递送三维媒体内容的系统600和方法700。所公开的MVC编码方法和系统帮助了在流式传输或下载三维视频内容时的动态像差切换。这里,MVC编码被配置成使得增强视域只参照一个或多个基本视域,而不参照任何其他增强视域。基本视域应当被理解为指的是无论用户或接收机选择了哪个像差都被从服务器发送到接收机的视域。然而,应当注意,增强视域可与基本视域一起被发送来提供用户选择的像差。

例如,根据本发明的一个示例性实现方式,单个左视域L和N个右视域{R1,...,RN}可在服务器302处被存储在存储设备311上。这些视域可被利用MVC标准来编码,其中左视域L将是基本视域,并且右视域Rn将是增强视域,在右视域之间没有编码依从性。为了发送特定的立体对(L,Rn),基本视域L和增强视域Rn将被组合成单个MVC流,然后被流式传输或下载。然而,应当注意,可以采用其他方案。例如,可以假定将始终发送两个视域,例如默认或基本左视域和默认或基本右视域,因此两者都可被用作参照来对剩余视域编码。

如上所述,图6图示了根据本发明的示例性实施例的使用MVC编码方案的系统600。系统600可包括存储设备311、对选择器314、递送信道306和接收机304,该接收机304包括立体播放器312。元件311、314、306、304和312可执行与以上针对方法100和200详细论述的功能完全相同的功能。此外,系统600与系统300基本上相同,除了关于多个不同的视域如何被编码以存储在存储设备311中并通过信道306发送以外。从而,以上针对方法100和200所述的任何或所有步骤可利用系统600中的相应元件来实现。另外,以上针对方法100和200所述的任何或所有步骤可与以下在这里论述的方法700相组合。此外,MVC解码特征可被添加到方法200和接收机304以允许对根据方法700发送的视域和/或视域对的处理。

方法700可开始于可选的步骤702,在该步骤中可选的视域插补器602可插补基本视域和/或所捕捉的增强视域以生成多个增强视域。例如,所捕捉的左基本视域L 604、所捕捉的右视域R2 606和所捕捉的右视域R5608可被输入到视域插补器602以经由基本视域604、增强视域606和/或增强视域608的插补来为所捕捉的三维场景616生成视域R1 610、R3 612和R4 614,如例如图8中所示。应当注意,立体对(L 604,R1 610)具有最低像差,而立体对(L 604,R5 608)具有最高像差。这里,不是捕捉视域L和{R1,...,RN},而是只捕捉左视域L和两个右视域R2和R5。在图8中,所捕捉的视域由实线箭头表示,而插补的视域由虚线箭头表示。通过限制要捕捉的视域(或者对于计算机生成的内容是要渲染的视域)的数目,内容创建处理变得更简单。然后,为了仍提供充分的像差配置,在服务器中利用“真实”的视域作为参照来插补额外的视域,如上所述。许多方案可用于该插补处理,例如为了速度使用自动方案,或者为了质量使用用户辅助的方案。还应当注意,虽然这里只示出了一个基本视域,但一个或多个额外的基本视域也可被输入到视域插补器602以便进行插补来生成增强视域。

一旦还可包括一个或多个其他基本视域的所有多个不同视域609都可用了,例如L和{R1,...,R5},则它们可被传递到MVC编码器620。然而,应当理解,插补器602是可选的,并且该多个不同视域可以是被传递到MVC编码器620的捕捉到的视域。这样,如何生成该多个视域不需要影响MVC编码处理。

在步骤704,MVC编码器620可接收内容的基本视域和多个增强视域。另外,如上所述,MVC编码器620还可接收至少一个其他基本视域。这里,基本视域和增强视域中的一个或多个的不同组合产生不同的像差。

在步骤706,MVC编码器620可对(一个或多个)基本视域和增强视域编码,以使得增强视域参照(一个或多个)基本视域,而不参照任何其他增强视域。例如,在图6和图8所示的特定实施例中,可利用MVC标准对视域编码,以使得左视域L 604将是基本视域,并且右视域Rn将是增强视域。这里,右视域Rn全都是相对于基本视域来编码的,而在右视域Rn之间没有参照。图9示出了图示此编码方案的MVC编码器的框图/流程图。例如,MVC编码器620可分别根据编码块902-912对基本视域604和增强视域610、606、612、614和608编码,以使得增强视域只参照基本视域604。然而,可以实现其他变化。

例如,参考图10,并继续参考图6和7,提供了图示根据本发明的一个示例性实施例的增强视域与基本视域之间的MVC编码依从关系的示图。示图1000包括第一组增强视域1002、第二组增强视域1010和基本视域β1 1018和β2 1020,其中第一组增强视域1002包括增强视域A 1004、B1006和C 1008,第二组增强视域1010包括增强视域D 1012、E 1014和F1016。当然,在本发明的示例性实施例中,可以去除这些视域中的任何一个,并且可以添加任一类型的更多视域。第一组增强视域1002、第二组增强视域1010和基本视域β1 1018和β2 1020在步骤704可被MVC编码器接收,如上所述。另外,任何视域的任何对组合可为三维内容产生一种不同的像差。如该示图中所示,MVC编码器620可对增强视域编码,以使得它们参照两个基本视域。例如,增强视域C 1008和D 1012在示图1000中参照基本视域β1 1018和β2 1020两者。此外,MVC编码器620可对增强视域进行MVC编码,以使得仅参照基本视域之一。例如,增强视域A1004和B 1006可以仅参照基本视域β1 1018,而增强视域E 1014和F 1016参照基本视域β2 1020。另外,如示图1000中所示,增强视域不需要参照其他增强视域。虽然这里只描述了两个基本视域,但原理可容易扩展到任何数目的基本视域,这是本领域普通技术人员考虑到这里公开的教导可以理解的。

还应当注意,经MVC编码的视域可作为对和/或独立视域被存储在存储设备311中,如以上针对方法100的步骤102所述。

在步骤708,服务器601可接收对于通过网络发送具有在接收机304处选择的相应像差的至少一对视域的请求。步骤708可根据以上详细论述的步骤106执行。例如,该请求可包括以上针对方法100所述的任何和所有特征。或者,应当注意,在使用MVC编码的某些实施例中,该请求可以就简单地是对于内容的请求,如以下更详细论述。

在步骤710,服务器601可将至少一对经MVC编码的视域发送到接收机304。例如,步骤710可根据以上针对方法100所述的步骤110实现。例如,所发送的一对或多对经MVC编码的视域可具有在请求中指示的所选像差。或者,如果该请求就简单地是对于内容的请求,则服务器601可响应于接收到该请求而选择经MVC编码的视域中的一些或全部,以使得接收机可具有利用具有不同像差的不同对来显示三维内容的若干个选项。

应当注意,在方法700中,无论在接收机304处选择了任何像差,所有的一个或多个基本视域都被发送到接收机。从而,为了将具有指定像差的视域对发送到接收机304,对选择器314可通过选择一个或多个适当的增强视域用于与一个或多个基本视域组合来选择或生成视域对。例如,参考图8,服务器601可根据以上详细论述的步骤104将默认的视域对(L604,R2 606)发送到接收机304。然后,接收机304可根据以上针对方法100和200所述的步骤106以及步骤204和206发送对于接收具有比默认视域对更低的像差的视域对的请求。作为响应,服务器601可组合并发送视域L 604和R1 610。对(L 604,R1 610)具有比默认对更低的像差。或者,接收机304可发送对于接收具有比默认视域对更大的像差的视域对的请求,响应于此,服务器601可发送具有比默认视域对更大的像差的视域对(L 604,R3 612)。此外,根据下载情形或用户/接收机选择包括像差范围的像差的情形,一个或多个基本视域和一个或多个增强视域可被从服务器601发送到接收机304。例如,所选像差范围可通过如下方式来提供:发送两个基本视域和一个或多个增强视域,以使得基本视域和增强视域的不同组合具有落在指定范围内的像差。

已描述了用于递送三维媒体内容的方法和系统的优选实施例(它们意欲是例示性的而不是限制性的),注意到本领域技术人员按照上述教导可作出修改和变化。因此要理解,在所公开的本发明的特定实施例中可以作出在所附权利要求限定的本发明的范围内的改变。虽然以上针对的是本发明的各种实施例,但在不脱离其基本范围的情况下可以设计出本发明的其他和另外的实施例。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号