帧兼容三维传输中全分辨率图形、菜单和字幕的支持

摘要

描述了可伸缩系统的帧兼容3D传输中的全分辨率图形覆盖(例如，图片信息中的图片、横幅、标题、按钮、箭头、菜单、图形)和字幕。

说明书

相关申请的交叉引用

本申请要求2009年7月4日提交的美国专利临时申请61/223,027号 和2009年8月26日提交的美国专利临时申请61/237,150号的优先权，这 二者各自整体经引用合并于此。

技术领域

本公开涉及可伸缩的三维(3D)视频应用。更具体地，其涉及用于 在可伸缩3D视频应用中嵌入字幕和/或图形覆盖的方法。

附图说明

图1示出多层3D编码系统的图。

图2示出视频图像的并排打包。

图3示出视频图像的上下打包。

图4示出在并排打包视频图像中嵌入字幕的传统方式。

图5示出在上下打包视频图像中嵌入字幕的传统方式。

图6示出在并排打包视频图像中嵌入字幕和图形覆盖二者的传统方 式。

图7示出在上下打包视频图像中嵌入字幕和图形覆盖二者的传统方 式。

图8示出并排帧打包排列的基础层图像。

图9示出并排帧打包排列的增强层图像。

图10示出根据本公开实施例的具有字幕的基础层。

图11示出根据本公开实施例的具有字幕的增强层。

图12示出本公开的实施例，其中，示出了可伸缩、全分辨率、帧兼 容3D系统中字幕和/或图形覆盖的支持。在将数据复用到单独、左和右视 图中之前，在每层中通过适当偏移量分别添加字幕和/或图形覆盖。

图13示出本公开的另一实施例，其中，通过与基础层覆盖生成器相 关联的预测模块提供一个或更多增强层的覆盖生成。

图14示出具有字幕文本(再混合之后)的最终左视图。

图15示出具有字幕文本(再混合之后)的最终右视图。

具体实施方式

本公开描述支持可伸缩系统的帧兼容3D传输中全分辨率图形覆盖 (例如，图片信息中的图形、菜单、箭头、按钮、标题、横幅、图片)和 字幕的系统和方法。

根据第一方面，提供了用于在包括基础层和至少一个增强层的帧兼容 3D视频编码系统中嵌入字幕和/或图形覆盖的方法，该方法包括：对基础 层和至少一个增强层单独提供字幕和/或图形覆盖。

根据第二方面，提供了用于在包括多个层和至少一个增强层的帧兼容 3D视频编码系统中嵌入字幕和/或图形覆盖的方法，该方法包括：对每一 层单独提供字幕和/或图形覆盖，其中，根据一个或更多其它层提供的字 幕和/或图形覆盖预测从一些层提供的字幕和/或图形覆盖。

根据第三方面，提供了用于在包括基础层和一个或更多增强层的帧兼 容3D视频可伸缩系统中嵌入字幕和/或图形覆盖的系统，该系统包括：基 础层字幕和/或图形覆盖生成器；以及针对各个一个或更多增强层的一个 或更多增强层字幕和/或图形覆盖生成器。

根据第四方面，提供了用于在包括基础层和一个或更多增强层的帧兼 容3D视频可伸缩系统中嵌入字幕和/或图形覆盖的系统，该系统包括：基 础层字幕和/或图形覆盖生成器；与基础层字幕和/或图形覆盖生成器连接 的预测器，该预测器处理基础层字幕和/或图形覆盖并生成一个或更多增 强层的增强层字幕和/或图形覆盖。

可伸缩系统包括多个层，基础和若干(一个或更多)增强层，其中， 基础层可以实现视频信号在解码时的第一表示。在此场景中，基础层表示 基于两个立体视图的帧复用(例如，并排或上下(帧兼容3D))，并在给 定每个立体视图的采样过程的情况下实质上分辨率为一半。在可用和被解 码的情况下，附加的增强层允许进一步的质量增强和实质上这两个视图的 全分辨率信号重建的进一步质量增强。在2009年7月4日提交的美国临 时申请61/223,027号中描述了这种系统，其整个内容通过引用合并于此。

可以将本公开的教导应用于视频著作系统、视频编码器和解码器(诸 如蓝光播放器、机顶盒、软件播放器等)、显示器以及编码器/解码器芯片。 视频著作系统是允许DVD、蓝光或者其它多媒体存储格式(包括在线多 媒体格式)编辑和创建的工具。编辑过程可以包括对视频和音频信号的任 何修改，诸如不同转变的创建、调整、修剪等，在不同时间间隔对视频剪 辑的布置，以及以不同语言对菜单、图形以及字幕的创建等。

按照本公开的实施例，可以使用包括多个层(诸如形成本申请说明书 一部分的附录A中所述的基础层和一个或更多增强层)的可伸缩视频编 码系统向顾客提供3D视频内容。在基础层中将来自两个单独、子采样视 图的3D视频信息使用各种排列(诸如并排、隔行或者上下等)一起复用 到单个帧中。

可能使用各种采样方法(诸如水平、竖直以及五点梅花形等)进行了 子采样。该层中的复用帧实质上特性与2D视频帧非常相似，并可以使用 诸如视频编码标准和编解码器(如，MPEG-2、MPEG-4AVC/H.264以及 VC-1等)的传统方法进行编码。可以在没有任何其它硬件辅助的情况下 使用单个解码器系统，并使用诸如微极化(micropolarized)显示器的适 当显示设备解码该层，使得即使在减小的分辨率，观看者也能够体验3D 影片。

如附录A中所示，然而，使用该系统的增强层，可以使得能够进行 全分辨率3D信号的重建。实质上，一个或多个增强层包含基础层的创建 期间丢失了的来自基础层的缺失信息，诸如样本或频率信息。为了效率的 目的，一个或多个增强层由于在当前增强层样本与其它层样本之间存在很 高的相关性所以使用基础、和/或先前编码的增强层作为预测器。该过程 可以包括可以进一步增加相关性的附加机制，诸如插值滤波器、运动估算 和补偿以及加权预测等。在解码器处，在增强层的重建之后，执行将基础 层的该数据与增强层的数据组合的附加过程以重建全分辨率3D图像。在 本申请的图1中示出了整个过程，在整体经引用并入本文的2009年7月 4日提交的美国临时申请61/223,027号中也描述了它。特别是参见说明书 的有关部分和图11。

虽然视频信息在该系统中的重要性最高，但其它信息也可以具有高重 要性并可以影响用户的3D体验。特别是，可能期望使用可以与视频相关 联的适当图形信息向用户提供视频上的图形覆盖和/或字幕信息，包括3D 字幕，或加亮显示的特定内容。在要将视频内容封装在诸如DVD或蓝光 盘的媒体设备上的情况下，或者甚至在互联网、线缆或者卫星系统上传输 的情况下尤其如此。用户将会预期到包括用以通过适当2D和甚至3D菜 单导航的能力和存在的这种功能将会在只使用基础层时或在使用所有可 用层时可用。

对于基础层，提供这种功能的最简单方法是在著作过程期间，在考虑 帧打包方法(例如，并排(见图2、4和6)或上下(见图3、5和7))的 同时，创建图形覆盖和/或字幕。

根据本公开的实施例，内容创建器通过考虑使用的3D视频格式著作 内容，并复制每个片段的该信息，其中，片段在此处表示对应于某个视图 (即，左或右视图)的帧中的区域。也可以在可选地考虑允许对内容创建 器进一步灵活性的深度信息的同时呈现(render)这些图形。例如，与左 片段相关联的字幕文本(subtitle text)对与右片段相关联的字幕文本的不 同偏移量造成文本在与视频信号中其它信息相对的不同深度水平的观看 者错觉。事实上可以通过修改这种偏移量向景象内的不同对象分配不同深 度。

虽然已经对诸如并排(图2和4)和上下打包(图3和5)信息的帧 兼容信号进行了此内容，但按照本公开的实施例，非常期望在使用附录A 中涵盖和先前讨论的多层系统时也保留同样功能。

即使在增加这种信息的一个方法会是全分辨率图像的重建之后单独 图形引擎的增加的情况下，这也由于如下内容所以使得系统的设计较昂贵 和较不灵活：它将会意味着在给定保存不同格式化的基础层图形信息的情 况下，在视频内存在附加字幕轨迹，并且在系统中存在附加控制和处理， 而使得实施这种解决方案较昂贵。再次可能太复杂的不同方法将会是重新 处理基础层信息并且单独提取左和右图像的图形并将它们增加回全分辨 率图像。

代替地，按照本公开的教导，提出了在不显著破坏系统设计的情况下， 也实现图形信息全分辨率重建的较简单方法。

特别地，代替直接在最终、重建的左和右图像上增加图形元素，在最 终视图重建过程以前单独地在基础和增强层信息这二者上增加图形元素。 这意味着根据用于视频信号的打包排列在这些层的顶部再次增加图形。更 具体地，如果使用并排打包排列生成视频信号，则使用同样排列创建图形， 并在基础层和增强层这二者上增加图形(例如，字幕、标题等)。

对于基础层在图8中示出了实例，对于增强层在图9中示出了实例。 如图10和图11中也所示，通过只在这两个图像上添加了所有图形之后执 行视图重建来合成具有适当全分辨率图形(即，通过与也如何合成实际图 像类似地组合基础层和增强层图形生成的图形)的最终单独视图图像。

图12中示出根据本公开的系统和方法，其中，基础层或增强层被解 码之后，还创建并在视频数据的上部添加适当图形(例如，交互式图形 IG和/或演示图形PG)。然后，将具有覆盖图形的新视频数据复用在一起 以生成最终、单独的3D图像，如也在图14和图15中示出的。

转到图12的描述，应当注意：可以分别在图1中示出的系统的地点 (1110)、(1120)、(1130)处提供覆盖生成器(710)、(720)、(730)。特 别地，如图12中所示，覆盖生成器(710)、(720)、(730)在视频解码器 (770)、(780)和(790)的输出处分别作用于图形平面(740)、(750)、 (760)。因此，按照本公开的实施例，对基础层和至少一个增强层中的每 一个单独提供字幕和/或图形覆盖。

此外，根据本公开的进一步实施例，如本公开中稍后也注意到的，可 以通过对基础层数据进行插值提供一个或多个增强层的字幕和/或覆盖图 形的生成。

根据本公开的实施例，也将针对基础层对增强层执行的不同采样考虑 在内。特别是，对于基础层和对于并排打包，可以通过跳过从列0开始的 每隔一个水平像素采样了左视图，而可以通过跳过从列-1开始的每隔一 个水平像素采样了右视图。另一方面，反转增强层的采样，即，采样对于 左视图从列-1开始且对于右视图从列0开始。在给定基础层和增强层的 这些特性的情况下，将会期望也使用确切一样的方法对图形进行采样。

另外，在一些系统中，可以通过禁用抗混叠和/或滤波进行字幕和/或 图形覆盖的采样以允许使用基础层和增强层的同样采样方法对字幕和/或 图形覆盖进行采样，这将会确保图形的全分辨率重建未丢失任何信息。

在不同实施例中，将可以根据基础层的图形数据，以与视频数据类似 的方式预测或重建增强层图形数据。特别是，代替需要多次发送信息，在 基础层和增强层这二者中，可以只在基础层中存在数据。然而，图12的 覆盖生成器(710)、(720)、(730)或基础层和增强层图形单元这二者可 以在不需要执行任何附加呈现的情况下使用同样数据生成或合成图形覆 盖信息，诸字幕文本。然后，分别将基础层和合成的增强层图形覆盖添加 到基础和增强视频层。

在单独实施例中，增强层单元(720)、(730)可以执行附加的处理(例 如，不同滤波或插值/采样)以在不需要单独呈现图形覆盖的情况下，使 用基础层的图形的不同采样生成图形。例如，可以通过简单地拷贝来自基 础层的数据或通过使用诸如H.264六抽头插值滤波器、双线性插值、双三 次插值或lanczos插值的水平插值滤波器对基础层数据进行插值，来生成 增强层图形覆盖。

在图13中示出了本公开的进一步的实施例，其中，示出了与基础层 覆盖生成器(810)相连的预测模块(895)，其中，预测模块(895)作为 一个或更多增强层的覆盖生成器工作。如果期望，则预测模块(895)可 以执行基础层数据的插值并将插值数据提供给增强层。

根据进一步的实施例，在具有多个层的系统的情形下，可以根据某个 层或某些层进行预测。换言之，生成N个层，预测M个层。对于多视图 编码的情形会尤其如此。

可以添加的图形可以包括字幕信息、标题、按钮、箭头以及其它图形， 但是也可以包括纹理和/或图像。这些图形可以是静止或运动的，2D和3D。 在特殊情形中，这可能涉及解码器可能希望在3D视频的顶部覆盖不同节 目的画中画信号的添加。在此情形中，将会需要在左和右视图这二者上恰 当呈现该视频。对于基础层，这意味着信号将需要被适当地采样(即，使 用用来生成视频基础层的相同采样)，并在使用的帧打包排列的左和右子 图像这二者上呈现，并且该信号应当在基础层和增强层这二者的顶部上被 覆盖。

除了解码器以外，本公开的实施例提供如先前章节中所讨论的允许这 种适当图形信息的创建的著作(author)和编码方法和系统。这种著作方 法和系统的目的可以是创建和著作诸如蓝光盘的盘存储介质，或者用于诸 如广播、卫星和/或互联网的其它发布系统。

本公开的教导还应用于景象的多于两个视图可用的多视图情形。

可以在硬件、软件、固件或其组合中实施本公开中描述的方法和系统。 可以一起(例如，在诸如集成逻辑器件的逻辑器件中)或单独(例如，作 为单独连接的逻辑器件)实施作为块、模块或部件描述的特征。本公开方 法的软件部分可以包括：包括在执行时至少部分地执行所描述方法的指令 的计算机可读介质。计算机可读介质可以包括例如随机存取存储器 (RAM)和/或只读存储器(ROM)。可以通过处理器(例如，数字信号 处理器(DSP)、专用集成电路(ASIC)或者现场可编程逻辑阵列(FPGA)) 执行指令。

以上叙述的实例提供成为本领域普通技术人员给出如何做出和使用 用于公开内容的帧兼容3D传输中全分辨率图形、菜单和字幕支持的方法 实施例的完整公开内容和描述，并且并非旨在限制发明人视为他们公开内 容的范围。用于执行公开内容的上述模式的变型可以由视频领域技术人员 使用，并旨在以下权利要求的范围内。说明书中提到的所有专利和出版物 可以表明公开内容所属领域技术人员的技术水平。本公开中引述的所有参 考在如同每个参考各自整体经引用并入了的同样程度上经引用并入。

应该理解：公开内容不限于特定方法或系统，它们当然可以变化。还 应该理解：本文中使用的术语只用于描述特定实施例的目的，并非旨在限 制。如本说明书和所附权利要求中所使用的，单数形式“一”、“一个”以 及“该”如非内容清楚地另作规定则包括复数指示物。术语“多个”如非 内容清楚地另作规定则包括两个或更多指示物。如非另作定义，则本文中 使用的所有技术和科学术语的含义与公开内容所属领域普通技术人员通 常理解的一样。

描述了公开内容的大量实施例。然而，将会理解：可以在不脱离本公 开精神和范围的情况下做出各种变形。相应地，其它实施例在所附权利要 求的范围内。