用信号传递多视角视频译码操作点的特性

摘要

源视频装置和目的地视频装置可使用用信号传递MPEG-2(动画专家组)系统位流的操作点的细节的数据结构。在一个实例中，一种设备包括：多路复用器，其构造对应于MPEG-2(动画专家组)系统标准位流的多视角视频译码MVC操作点的数据结构，其中所述数据结构用信号传递描述接收装置使用所述MVC操作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述MVC操作点待满足的解码能力的解码能力值、以及描述所述MVC操作点的位速率的位速率值；且将所述数据结构作为所述位流的一部分而包括在内；以及输出接口，其输出包含所述数据结构的所述位流。

说明书

本申请案主张2009年8月7日申请的第61/232,272号美国临时申请案、2009年10 月5日申请的第61/248,738号美国临时申请案和2009年12月4日申请的第61/266,861 号美国临时申请案的权益，所述临时申请案中的每一者的相应全部内容在此以引用的方 式并入本文中。

技术领域

本发明涉及经编码的视频数据的传送。

背景技术

数字视频能力可并入到广泛装置中，包括数字电视、数字直播系统、无线广播系统、 个人数字助理(PDA)、膝上型或台式计算机、数码相机、数字记录装置、数字媒体播 放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电传会议装置 等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分先进视频译码(AVC)所定义的标准和此类标准的扩展版中描 述的技术，以更有效地发射和接收数字视频信息。

视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对 于基于块的视频译码，可将视频帧或片段分割成宏块。每一宏块可经进一步分割。帧内 译码(I)帧或片段中的宏块使用相对于相邻宏块的空间预测来编码。帧间译码(P或B) 帧或片段中的宏块可使用相对于同一帧或片段中的相邻宏块的空间预测或相对于其它 参考帧的时间预测。

在已编码视频数据后，视频数据可由多路复用器来包化以供发射或存储。MPEG-2 包括“系统”部分，其定义用于许多视频编码标准的传送层。MPEG-2传送层系统可由 MPEG-2视频编码器或其它符合不同视频编码标准的视频编码器使用。举例来说， MPEG-4指定不同于MPEG-2的编码和解码方法的编码和解码方法，但实施MPEG-4标 准的技术的视频编码器仍可利用MPEG-2传送层方法。

一般来说，本发明中对“MPEG-2系统”的提及指代由MPEG-2所指定的视频数据 的传送层。由MPEG-2所指定的传送层在本发明中也称为“MPEG-2传送流”或简称为 “传送流”。同样，MPEG-2系统的传送层还包括节目流。传送流和节目流通常包括用于 传递类似数据的不同格式，其中传送流包含包括音频数据与视频数据两者的一个或一个 以上“节目”，而节目流包括包含音频数据与视频数据两者的一个节目。

已努力基于H.264/AVC开发新的视频译码标准。一个此类标准为可调视频译码 (SVC)标准，其为H.264/AVC的可调扩展。另一标准为多视角视频译码(MVC)，其成 为H.264/AVC的多视角扩展。MPEG-2系统规范描述可如何将经压缩的多媒体(视频和 音频)数据流与其它数据一起多路复用以形成适合于数字发射或存储的单一数据流。在 2006年5月的“信息技术-动画和相关联音频的一般译码：系统，推荐H.222.0；国际标 准化组织，ISO/IEC JTC1/SC29/WG11；动画和相关联音频的译码(Information  Technology-Generic Coding of Moving Pictures and Associated Audio：Systems， Recommendation H.222.0；International Organisation for Standardisation，ISO/IEC  JTC1/SC29/WG11；Coding of Moving Pictures and Associated Audio)”中指定MPEG-2系 统的最新规范。MPEG最近针对MPEG-2系统设计了MVC的传送标准，且此规范的最 新版本为“ISO/IEC 13818-1的研究：MVC的2007/FPDAM4传送(Study of ISO/IEC  13818-1：2007/FPDAM4 Transport of MVC)”，MPEG doc.N10572，MPEG of ISO/IEC  JTC1/SC29/WG11，美国夏威夷毛伊岛(Maui，Hawaii，USA)，2009年4月。

发明内容

大体来说，本发明描述用于改进MPEG-2(动画专家组)系统中的多视角视频译码 的技术。特定来说，本发明的技术针对用于MPEG-2系统位流的操作点的数据结构，其 中所述数据结构用信号传递接收装置的呈现能力、接收装置的解码能力和(在一些实例 中)操作点的位速率。所述数据结构可对应于包括于所述MPEG-2系统位流中的操作点 描述符。

为了适当解码并显示操作点的视频数据，接收装置应满足由在数据结构中用信号传 递的呈现能力和解码能力所描述的性质。MPEG-2系统位流可包括对应于节目的各个视 角的多个操作点。使用节目的不同操作点允许各种客户端装置执行调适。即，具有不同 呈现和解码能力的客户端装置可从同一节目提取视角以显示二维或三维视频数据。客户 端装置还可与服务器装置协商以检索具有变化的位速率的数据，以适合于具有各种带宽 能力的传送媒体。

在一个实例中，一种方法包括：通过源装置构造对应于MPEG-2系统标准位流的多 视角视频译码(MVC)操作点的数据结构，其中所述数据结构用信号传递描述接收装置 使用所述MVC操作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述 MVC操作点待满足的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位 速率值，且其中所述数据结构经包括作为所述位流的一部分；以及输出包含所述数据结 构的所述位流。

在另一实例中，一种设备包括：多路复用器，其构造对应于MPEG-2系统标准位流 的MVC操作点的数据结构，其中所述数据结构用信号传递描述接收装置使用所述MVC 操作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述MVC操作点待满 足的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位速率值，且将所 述数据结构包括作为所述位流的一部分；以及输出接口，其输出包含所述数据结构的所 述位流。

在另一实例中，一种设备包括：用于构造对应于MPEG-2系统标准位流的MVC操 作点的数据结构的装置，其中所述数据结构用信号传递描述接收装置使用所述MVC操 作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述MVC操作点待满足 的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位速率值，且其中所 述数据结构经包括作为所述位流的一部分；以及用于输出包含所述数据结构的所述位流 的装置。

在另一实例中，一种计算机可读存储媒体包含指令，所述指令使源装置的处理器构 造对应于MPEG-2系统标准位流的MVC操作点的数据结构，其中所述数据结构用信号 传递描述接收装置使用所述MVC操作点待满足的呈现能力的呈现能力值、描述所述接 收装置使用所述MVC操作点待满足的解码能力的解码能力值，以及描述所述MVC操 作点的位速率的位速率值，且其中所述数据结构经包括作为所述位流的一部分；且使输 出接口输出包含所述数据结构的所述位流。

在另一实例中，一种方法包括：通过目的地装置接收对应于MPEG-2(动画专家组) 系统标准位流的MVC操作点的数据结构，其中所述数据结构用信号传递描述接收装置 使用所述MVC操作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述 MVC操作点待满足的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位 速率值；确定所述目的地装置的视频解码器是否能够基于通过所述数据结构用信号传递 的所述解码能力而解码对应于所述MVC操作点的视角；确定所述目的地装置是否能够 基于通过所述数据结构用信号传递的所述呈现能力而呈现对应于所述MVC操作点的所 述视角；以及在所述目的地装置的所述视频解码器经确定能够解码并呈现对应于所述 MVC操作点的所述视角时，将对应于所述MVC操作点的所述视角发送到所述目的地装 置的所述视频解码器。

在另一实例中，一种设备包括：输入接口，其经配置以接收对应于MPEG-2系统标 准位流的MVC操作点的数据结构，其中所述数据结构用信号传递描述接收装置使用所 述MVC操作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述MVC操 作点待满足的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位速率值； 视频解码器，其经配置以解码视频数据；以及多路分用器，其经配置以确定所述视频解 码器是否能够基于通过所述数据结构用信号传递的所述解码能力而解码对应于所述 MVC操作点的视角，确定所述设备是否能够基于通过所述数据结构用信号传递的所述 呈现能力而呈现对应于所述MVC操作点的所述视角，且在所述视频解码器经确定能够 解码并呈现对应于所述MVC操作点的所述视角时，将对应于所述MVC操作点的所述 视角发送到所述视频解码器。

在另一实例中，一种设备包括：用于接收对应于MPEG-2系统标准位流的MVC操 作点的数据结构的装置，其中所述数据结构用信号传递描述接收装置使用所述MVC操 作点待满足的呈现能力的呈现能力值、描述所述接收装置使用所述MVC操作点待满足 的解码能力的解码能力值，以及描述所述MVC操作点的位速率的位速率值；用于确定 所述设备的视频解码器是否能够基于通过所述数据结构用信号传递的所述解码能力而 解码对应于所述MVC操作点的视角的装置；用于确定所述设备是否能够基于通过所述 数据结构用信号传递的所述呈现能力而呈现对应于所述MVC操作点的所述视角的装 置；以及用于在所述设备的所述视频解码器经确定能够解码并呈现对应于所述MVC操 作点的所述视角时将对应于所述MVC操作点的所述视角发送到所述设备的所述视频解 码器的装置。

在另一实例中，一种计算机可读存储媒体包含指令，所述指令使目的地装置的处理 器进行以下操作：接收对应于MPEG-2系统标准位流的MVC操作点的数据结构，其中 所述数据结构用信号传递描述接收装置使用所述MVC操作点待满足的呈现能力的呈现 能力值、描述所述接收装置使用所述MVC操作点待满足的解码能力的解码能力值，以 及描述所述MVC操作点的位速率的位速率值；确定所述目的地装置的视频解码器是否 能够基于通过所述数据结构用信号传递的所述解码能力而解码对应于所述MVC操作点 的视角；确定所述目的地装置是否能够基于通过所述数据结构用信号传递的所述呈现能 力而呈现对应于所述MVC操作点的所述视角；以及在所述目的地装置的所述视频解码 器经确定能够解码并呈现对应于所述MVC操作点的所述视角时，将对应于所述MVC 操作点的所述视角发送到所述目的地装置的所述视频解码器。

附图和下文描述中阐述一个或一个以上实例的细节。其它特征、目标和优点将从描 述内容和图式以及从权利要求书而显而易见。

附图说明

图1为说明其中音频/视频(A/V)源装置将音频和视频数据传送到A/V目的地装置 的实例系统的框图。

图2为说明符合本发明的多路复用器的组件的实例布置的框图。

图3为说明符合本发明的节目特定信息表的实例集合的框图。

图4-6为说明可包括于操作点描述符中的数据的集合的各种实例的概念图。

图7为说明实例MVC预测图案的概念图。

图8为说明用于使用用信号传递操作点的特性的数据结构的实例方法的流程图。

具体实施方式

本发明的技术大体来说针对增强MPEG-2(动画专家组)系统(即，就传送层细节 来说符合MPEG-2的系统)中的多视角视频译码(MVC)。举例来说，MPEG-4提供用 于视频编码的标准，但通常假定遵从MPEG-4标准的视频编码器将利用MPEG-2传送层 系统。因此，本发明的技术适用于符合MPEG-2、MPEG-4、ITU-T H.263、ITU-T  H.264/MPEG-4或利用MPEG-2传送流和/或节目流(program stream)(也拼写为“节目 流(programme stream)”)的任何其它视频编码标准的视频编码器。

特定来说，本发明的技术可修改用于MPEG-2传送流和节目流的传送层处的语法元 素。举例来说，本发明的技术包括描述符，其在传送流中发射以描述操作点的特征。举 例来说，服务器装置可在MPEG-2传送层位流中提供各种操作点，所述操作点中的每一 者对应于多视角视频译码视频数据的特定视角的相应子集。即，操作点大体上对应于位 流的视角的子集。在一些实例中，操作点的每一视角包括在相同帧速率下的视频数据。

目的地装置可使用包括于位流中的操作点描述符来选择待解码的操作点中的一者 并最终向用户呈现(例如，显示)。目的地装置可仅将选定操作点的视角发送到视频解 码器，而非在接收后将关于所有视角的数据传递到视频解码器。以此方式，目的地装置 可丢弃将不被解码的视角的数据。目的地装置可基于位流的操作点中具有所支持的最高 质量的一者来选择操作点。

服务器装置可在单一传送流或节目流中发送多个子位流(所述子位流中的每一者可 对应于一操作点)。虽然在各个部分中本发明可个别地提及“传送流”或“节目流”，但 应理解，本发明的技术大体来说适用于MPEG-2传送流和节目流中的任一者或两者。大 体上，本发明描述使用描述符作为实例数据结构来执行本发明的技术。描述符用以扩展 流的功能性。本发明的描述符可由传送流与节目流两者使用以实施本发明的技术。虽然 本发明主要聚焦于可用以用信号传递操作点的呈现能力值、操作点的解码能力值和操作 点的位速率值的作为实例数据结构的描述符，但应理解，还可使用其它数据结构来执行 这些技术。

根据本发明的技术，源装置20可构造描述操作点的特性的操作点描述符。所述特 性可包括(例如)哪些视角包括于操作点中以及所述操作点的所述视角的帧速率。操作 点描述符可指定应由视频解码器支持以便接收并解码操作点的呈现能力、应由视频解码 器支持以便接收并解码操作点的解码能力，以及操作点的位速率。

本发明的技术可大体上将每一操作点表示为似乎所述操作点为通过传送流中的节 目映射表或节目流中的节目流映射来用信号传递的其自身的节目。或者，当节目含有多 个操作点时，本发明的技术提供关于所述操作点应如何在操作点描述符中重新汇编的信 息。操作点描述符可进一步用信号传递操作点的相依性，这可节省位。

图1为说明其中音频/视频(A/V)源装置20将音频和视频数据传送到A/V目的地 装置40的实例系统10的框图。图1的系统10可对应于视频电传会议系统、服务器/客 户端系统、广播装置/接收器系统，或将视频数据从源装置(例如，A/V源装置20)发 送到目的地装置(例如，A/V目的地装置40)的任何其它系统。在一些实例中，A/V源 装置20和A/V目的地装置40可执行双向信息交换。即，A/V源装置20和A/V目的地 装置40可能能够编码与解码(以及发射和接收)音频和视频数据。在一些实例中，音 频编码器26可包含语音编码器，也称为声码器。

在图1的实例中，A/V源装置20包含音频源22和视频源24。音频源22可包含(例 如)麦克风，其产生表示待由音频编码器26编码的所俘获音频数据的电信号。或者， 音频源22可包含存储先前记录的音频数据的存储媒体、例如计算机化合成器等音频数 据产生器，或任何其它音频数据源。视频源24可包含产生待由视频编码器28编码的视 频数据的视频相机、编码有先前记录的视频数据的存储媒体、视频数据产生单元或任何 其它视频数据源。

原始音频和视频数据可包含模拟或数字数据。模拟数据可在由音频编码器26和/或 视频编码器28编码之前经数字化。音频源22可在发言参与者发言的同时从所述发言参 与者获得音频数据，且视频源24可同时获得发言参与者的视频数据。在其它实例中， 音频源22可包含包括所存储的音频数据的计算机可读存储媒体，且视频源24可包含包 括所存储的视频数据的计算机可读存储媒体。以此方式，本发明中所描述的技术可应用 于直播串流实时音频和视频数据或应用于归档的预先记录的音频和视频数据。

对应于视频帧的音频帧通常为含有与由视频源24俘获的含于视频帧中的视频数据 同时由音频源22俘获的音频数据的音频帧。举例来说，在发言参与者通常通过发言而 产生音频数据的同时，音频源22俘获音频数据，且视频源24同时(即，在音频源22 正俘获音频数据的同时)俘获发言参与者的视频数据。因此，音频帧可在时间上对应于 一个或一个以上特定视频帧。因此，对应于视频帧的音频帧通常对应于其中音频数据和 视频数据被同时俘获且音频帧和视频帧分别包含同时被俘获的音频数据和视频数据的 情境。

在一些实例中，音频编码器26可在每一经编码音频帧中编码时间戳，所述时间戳 表示记录经编码音频帧的音频数据的时间，且类似地，视频编码器28可在每一经编码 视频帧中编码时间戳，所述时间戳表示记录经编码视频帧的视频数据的时间。在此类实 例中，对应于视频帧的音频帧可包含包括时间戳的音频帧和包含相同时间戳的视频帧。 A/V源装置20可包括内部时钟，音频编码器26和/或视频编码器28可从所述内部时钟 产生时间戳，或音频源22和视频源24可使用所述内部时钟来分别使音频数据和视频数 据与时间戳相关联。

在一些实例中，音频源22可对应于记录音频数据的时间而将数据发送到音频编码 器26，且视频源24可对应于记录视频数据的时间而将数据发送到视频编码器28。在一 些实例中，音频编码器26可在经编码音频数据中编码序列识别符以指示经编码音频数 据的相对时间定序，而无需指示记录音频数据的绝对时间，且类似地，视频编码器28 也可使用序列识别符来指示经编码视频数据的相对时间定序。类似地，在一些实例中， 序列识别符可与时间戳映射或以其它方式与所述时间戳相关。

本发明的技术大体来说针对经编码多媒体(例如，音频和视频)数据的传送，以及 所传送多媒体数据的接收和随后解译以及解码。本发明的技术尤其适用于多视角视频译 码(MVC)数据(即，包含多个视角的视频数据)的传送。如图1的实例中所示，视频 源24可将场景的多个视角提供到视频编码器28。MVC对于产生将由三维显示器(例如， 立体或自动立体三维显示器)使用的三维视频数据可为有用的。

A/V源装置20可将“服务”提供到A/V目的地装置40。服务通常对应于MVC数 据的可用视角的子集。举例来说，MVC数据可用于定序为零到七的八个视角。一个服 务可对应于具有两个视角的立体视频，而另一服务可对应于四个视角，且又一服务可对 应于全部八个视角。大体上，一服务对应于可用视角的任何组合(即，任何子集)。一 服务还可对应于可用视角以及音频数据的组合。操作点可对应于服务，以使得A/V源装 置20可向由A/V源装置20提供的每一服务进一步提供操作点描述符。

根据本发明的技术，A/V源装置20能够提供对应于视角的子集的服务。通常，视 角由视角识别符(也称为“view_id”)表示。视角识别符通常包含可用以识别视角的语 法元素。当编码视角时，MVC编码器提供所述视角的view_id。view_id可由MVC解码 器使用以用于视角间预测或由其它单元使用以用于其它用途(例如，用于呈现)。

视角间预测是一种用于参考在共同时间位置处的一个或一个以上帧将帧的MVC视 频数据译码为不同视角的经编码帧的技术。图7(下文较详细论述)提供用于视角间预 测的实例译码方案。通常，在空间上、在时间上和/或参考在共同时间位置处的其它视角 的帧来预测性地编码MVC视频数据的经编码帧。因此，参考视角(从其预测其它视角) 通常在参考视角充当其参考的视角之前被解码，以使得这些经解码的视角可在解码参考 视角时用于参考。解码次序无需对应于view_id的次序。因此，使用视角次序索引描述 视角的解码次序。视角次序索引为指示接入单元中的相应视角分量的解码次序的索引。

每一个别数据流(无论是音频还是视频)被称为基本流。基本流为节目的单一经数 字译码(可能经压缩)的分量。举例来说，节目的经译码视频或音频部分可为基本流。 基本流可在经多路复用成节目流或传送流之前转换成包化基本流(PES)。在同一节目内， 流ID用以区分属于一个基本流的PES包与其它包。基本流的数据的基本单位为包化基 本流(PES)包。因而，MVC视频数据的每一视角对应于相应基本流。类似地，音频数 据对应于一个或一个以上相应基本流。

可MVC译码的视频序列分离成若干子位流，所述子位流中的每一者为基本流。可 使用MVC view_id子集来识别每一子位流。基于每一MVC view_id子集的概念，定义 MVC视频子位流。MVC视频子位流含有在MVC view_id子集中所列出的视角的NAL 单元。节目流大体上仅含有来自基本流的NAL单元的NAL单元。还设计使得任何两个 基本流不能含有相同视角。

在图1的实例中，多路复用器30接收包含来自视频编码器28的视频数据的基本流 和包含来自音频编码器26的音频数据的基本流。在一些实例中，视频编码器28和音频 编码器26可各自包括用于由经编码数据形成PES包的包化器。在其它实例中，视频编 码器28和音频编码器26可各自与用于由经编码数据形成PES包的相应包化器介接。在 另外其它实例中，多路复用器30可包括用于由经编码音频和视频数据形成PES包的包 化器。

如本发明中所使用，“节目”可包含音频数据与视频数据(例如，由A/V源装置20 的服务传递的音频基本流与可用视角的子集)的组合。每一PES包包括识别PES包所 属的基本流的stream_id。多路复用器30负责将基本流汇编成构成性节目流或传送流。 节目流和传送流为以不同应用程序为目标的两个交替多路复用流。

通常，节目流包括一个节目的数据，而传送流可包括一个或一个以上节目的数据。 多路复用器30可基于所提供的服务、流将传递到的媒体、待发送的节目的数目或其它 考虑因素来编码节目流或传送流中的一者或两者。举例来说，当待于存储媒体中编码视 频数据时，多路复用器30可能更可能形成节目流，而当待经由网络、广播来串流或作 为视频电话的一部分而发送视频数据时，多路复用器30可能更可能使用传送流。

多路复用器30可倾向于使用节目流来存储和显示来自数字存储服务的单一节目。 节目流希望用于无错误环境或对遭遇错误较不敏感的环境，因为节目流对错误相当敏 感。节目流仅包含属于其的基本流，且通常含有具有可变长度的包。在节目流中，从组 成性基本流导出的PES包经组织成“封装(pack)”。封装包含封装标头、可选系统标头 和以任何次序从组成性基本流中的任一者取得的任何数目的PES包。系统标头含有节目 流的特性的概述，例如节目流的最大数据速率、组成性视频和音频基本流的数目、进一 步的定时信息，或其它信息。解码器可使用系统标头中含有的信息来确定解码器是否能 够解码节目流。

多路复用器30可使用传送流来用于在可能易出错的信道上同时传递多个节目。传 送流为针对多节目应用(例如，广播)而设计的多路复用流，使得单一传送流可容纳许 多独立节目。传送流可包含一连串传送包，其中所述传送包中的每一者为188字节长。 短的固定长度包的使用致使传送流与节目流相比较不容易出错。此外，可通过经由标准 错误保护过程(例如，里德-所罗门(Reed-Solomon)编码)来处理包而向每一188字节 长的传送包给出额外错误保护。举例来说，传送流的改进的错误恢复意味着其具有较好 机会存活于广播环境中发现的易出错信道中。

可能看起来传送流由于其增加的错误恢复和同时载运许多节目的能力而比节目流 好。然而，传送流为比节目流更复杂的多路复用流，且因此与节目流相比更难以建立且 多路分用时更复杂。传送包的第一字节可为具有值0x47(十六进制47，二进制 “01000111”、十进制71)的同步字节。单一传送流可载运许多不同节目，每一节目包含 许多包化基本流。多路复用器30可使用13位包识别符(PID)字段来区分含有一个基 本流的数据的传送包与载运其它基本流的数据的传送包。多路复用器负责确保每一基本 流被授予唯一PID值。传送包的最末字节可为连续性计数字段。多路复用器30使属于 同一基本流的连续传送包之间的连续性计数字段的值递增。此使得解码器或目的地装置 (例如，A/V目的地装置40)的其它单元能够检测传送包的损失或增益且有希望消除原 本可能从此事件产生的错误。

多路复用器30从音频编码器26和视频编码器28接收节目的基本流的PES包，且 由PES包形成相应网络抽象层(NAL)单元。在H.264/AVC(高级视频译码)的实例中， 经译码的视频区段被组织成NAL单元，其提供“网络友好”视频表示寻址应用，例如 视频电话、存储、广播或串流。NAL单元可经分类成视频译码层(VCL)NAL单元和 非VCL NAL单元。VCL单元含有核心压缩引擎且可包含块、宏块和/或片段级。其它 NAL单元为非VCLNAL单元。

多路复用器30可形成包含识别NAL所属的节目的标头以及有效负载(例如，音频 数据、视频数据或描述NAL单元所对应的传送流或节目流的数据)的NAL单元。举例 来说，在H.264/AVC中，NAL单元包括1字节标头和具有变化的大小的有效负载。在 一个实例中，NAL单元标头包含priority_id元素、temporal_id元素、anchor_pic_flag元 素、view_id元素、non_idr_flag元素，和inter_view_flag元素。在常规MVC中，保留 由H.264定义的NAL单元，前置NAL单元和MVC译码的片段NAL单元(其包括4 字节MVC NAL单元标头和NAL单元有效负载)除外。

NAL标头的priority_id元素可用于简单单程位流调适过程。temporal_id元素可用于 指定相应NAL单元的时间层，其中不同时间层对应于不同帧速率。

anchor_pic_flag元素可指示图片为锚定图片还是非锚定图片。锚定图片和以输出次 序(即，显示次序)继其之后的所有图片可在不以解码次序(即，位流次序)解码先前 图片的情况下被正确地解码，且因而可用作随机接入点。锚定图片与非锚定图片可具有 不同的相依性，两者均在序列参数集合中以信号通知。将在本章的以下部分中论述并使 用其它旗标。此锚定图片也可称为开放GOP(图片群组)接入点，而在non_idr_flag元 素等于零时也支持封闭GOP接入点。non_idr_flag元素指示图片为瞬时解码器再新(IDR) 图片还是视角IDR(V-IDR)图片。通常，IDR图片和以输出次序或位流次序继其之后 的所有图片可在不以解码次序或显示次序解码先前图片的情况下被正确地解码。

view_id元素可包含可用以识别视角的语法信息，其可用于MVC解码器内部的数据 交互(例如，用于视角间预测)和解码器外部的数据交互(例如，用于呈现)。inter_view_flag 元素可指定相应NAL单元是否被其它视角用于视角间预测。为传达基本视角的4字节 NAL单元标头信息(其可符合AVC)，在MVC中定义前置NAL单元。在MVC的情形 下，基本视角接入单元包括视角的当前时间例项的VCL NAL单元以及其前置NAL单元， 所述前置NAL单元仅含有NAL单元标头。H.264/AVC解码器可忽略前置NAL单元。

有效负载中包括视频数据的NAL单元可包含各种粒度级的视频数据。举例来说， NAL单元可包含视频数据的块、宏块、多个宏块、视频数据的片段，或视频数据的整个 帧。多路复用器30可从视频编码器28接收呈基本流的PES包的形式的经译码的视频数 据。多路复用器30可通过将stream_id映射到相应节目(例如，在数据库或其它数据结 构(例如节目映射表(PMT)或节目流映射(PSM))中)而使每一基本流与相应节目 相关联。

多路复用器30还可由多个NAL单元汇编接入单元。通常，接入单元可包含一个或 一个以上NAL单元，其用于表示视频数据的帧以及音频数据可用时对应于所述帧的此 音频数据。接入单元大体上包括针对一个输出时间例项的所有NAL单元，例如，针对 一个时间例项的所有音频和视频数据。举例来说，如果每一视角具有20个帧/秒(fps) 的帧速率，那么每一时间例项可对应于0.05秒的时间间隔。在此时间间隔期间，可同时 呈现同一接入单元(同一时间例项)的所有视角的特定帧。在对应于H.264/AVC的实例 中，接入单元可包含在一个时间例项中的经译码的图片，其可作为主译码图片呈现。因 此，接入单元可包含共同时间例项中的所有音频和视频帧，例如，对应于时间X的所有 视角。本发明还将特定视角的经编码图片称为“视角分量”。即，视角分量可包含特定 视角在特定时间的经编码图片(或帧)。因此，接入单元可定义为包含共同时间例项的 所有视角分量。接入单元的解码次序未必需要与输出或显示次序相同。

多路复用器30还可将关于节目的数据嵌入在NAL单元中。举例来说，多路复用器 30可建立包含节目映射表(PMT)或节目流映射(PSM)的NAL单元。通常，PMT用 以描述传送流，而PSM用以描述节目流。如下文关于图2的实例较详细地描述，多路 复用器30可包含使从音频编码器26和视频编码器28接收的基本流与节目且因此与相 应传送流和/或节目流相关联的数据存储单元或与所述数据存储单元交互。

与大多数视频译码标准一样，H.264/AVC定义无错误位流的语法、语义和解码过程， 其中的每一者符合特定简档或层。H.264/AVC不指定编码器，但编码器的任务为保证对 于解码器来说所产生的位流为符合标准的。在视频译码标准的情形下，“简档”对应于 算法、特征或工具和施加到其的约束的子集。举例来说，如由H.264标准所定义，“简 档”为由H.264标准指定的整个位流语法的子集。“层”对应于解码器资源消耗的限制， 例如，与图片的分辨率、位速率和宏块(MB)处理速率有关的解码器存储器和计算。

举例来说，H.264标准认识到，在由给定简档的语法强加的界限内，依据由位流中 的语法元素所采用的值(例如，经解码的图片的指定大小)，仍有可能需要编码器和解 码器的性能的大变化。H.264标准进一步认识到，在许多应用中，实施能够处理特定简 档内的语法的所有假定用途的解码器既不实用也不经济。因此，H.264标准将“层”定 义为对位流中的语法元素的值所强加的约束的指定集合。这些约束可为对值的简单限 制。或者，这些约束可采用对值的算术组合(例如，图片宽度乘以图片高度乘以每秒所 解码的图片的数目)的约束的形式。H.264标准进一步规定，个别实施方案可支持每一 所支持的简档的不同层。

符合简档的解码器通常支持所述简档中所定义的所有特征。举例来说，作为译码特 征，B图片译码在H.264/AVC的基线简档中未被支持，但在H.264/AVC的其它简档中得 以支持。符合层的解码器应能够解码不需要超出所述层中所定义的限制的资源的任何位 流。简档和层的定义可帮助实现可解译性。举例来说，在视频发射期间，针对整个发射 会话的一对简档和层定义可经协商并实现一致。更具体来说，在H.264/AVC中，层可定 义(例如)对以下各项的限制：需要经处理的宏块的数目、经解码的图片缓冲器(DPB) 大小、经译码的图片缓冲器(CPB)大小、垂直运动向量范围、每两个连续MB的运动 向量的最大数目，以及B块是否可具有小于8×8像素的子宏块分割区。以此方式，解码 器可确定所述解码器是否能够适当地解码位流。

参数集合大体上含有序列参数集合(SPS)中的序列层标头信息和图片参数集合 (PPS)中的偶尔改变的图片层标头信息。就参数集合来说，每一序列或图片的此偶尔改 变的信息无需重复；因此，译码效率可改进。此外，参数集合的使用可致使能够带外发 射标头信息，从而避免需要冗余发射来实现错误复原。在带外发射中，将参数集合NAL 单元在与其它NAL单元不同的信道上发射。

MPEG-2系统标准借助“描述符”允许系统的扩展。PMT与PSM两者均包括描述 符循环，一个或一个以上描述符可插入于描述符循环中。大体来说，描述符可包含可用 以扩展节目和/或节目元素的定义的数据结构。本发明描述用于执行本发明的技术的操作 点描述符。大体来说，本发明的操作点描述符通过描述操作点的呈现能力、解码能力和 位速率来增强常规MVC扩展描述符。目的地装置(例如，A/V目的地装置40)可使用 每一操作点的操作点描述符来选择待解码的位流的操作点中的一者。

每一PMT或PSM可包括描述操作点的特性的操作点描述符。举例来说，源装置20 可提供操作点描述符以提供描述客户端装置40的呈现能力的呈现能力值。为了使客户 端装置40适当呈现(例如，显示)操作点的视频数据，客户端装置40应满足呈现能力 值用信号传递的呈现能力。呈现能力值可描述(例如)待显示的视角的数目(例如，以 呈现为目标的视角的数目)和/或视角的视频数据的帧速率。因此，客户端装置40可确 定，当客户端装置40的视频输出44能够在操作点描述符所指定的帧速率下显示操作点 的视角的数目时，呈现能力得以满足。

在其中源装置20使用多播或广播协议发射MVC位流的实例中，源装置20可将整 个MVC位流包化成若干传送流，其可由具有各种呈现能力的客户端装置接收。举例来 说，一些三维节目可具有不同数目个视角(例如，两个视角、四个视角、六个视角或八 个视角)，且各种装置可能能够使用一对视角与四对视角之间的任何地方。因此，每一 客户端装置可基于可由客户端装置显示的视角的所支持数目而确定将使用哪一操作点。 举例来说，客户端装置40可通过确定可由视频输出44显示的视角的数目和视频输出44 能够显示视频数据的帧速率且确定基于视频输出44的呈现能力应使用操作点中的哪一 者来确定将使用所述操作点中的哪一者。

在源装置使用单播协议发射MVC位流的实例中，客户端装置40可通过检查在对应 操作点描述符中所指定的呈现能力而建立对应于具有可接受数目个视角的节目的会话。 类似地，在MVC位流经编码于计算机可读存储媒体中以供本地重放的实例中，客户端 装置40可通过检查PMT或PSM的操作点描述符中所指定的呈现能力而选择合适的节 目。

源装置20还可在操作点描述符中提供解码能力值。待解码的视角的数目可能未必 与待显示的视角的数目相同。因此，操作点描述符可分别用信号传递操作点的待显示的 视角的数目和操作点的待解码的视角的数目。此外，操作点描述符可特定识别对应于操 作点的视角。特定客户端装置可(例如)基于检视角度而(针对各种目的)偏好于特定 视角。因此，客户端装置40可经配置以基于哪些视角可用于操作点中而选择操作点。

在一些实例中，在操作点中用信号传递的解码能力可另外或替代地指定所述操作点 所对应的简档和层。在源装置20使用多播或广播协议发射位流的实例中，具有不同解 码能力的各种客户端装置可接收所述位流。举例来说，一些解码器可能仅能够在30fps 下解码两个视角，而一些解码器可能够在60fps下解码四个视角。在源装置20使用单 播协议发射位流的实例中，客户端装置40可在检查PMT中的描述符中所指定的解码能 力之后建立合适的会话(针对特定三维节目)。类似地，针对本地重放，客户端装置40 可通过检查PMT或PSM的操作点描述符中所指定的解码能力而选择合适的节目。

源装置20可另外在操作点描述符中用信号传递位速率信息。位速率信息可描述操 作点的平均位速率和/或最大位速率中的任一者或两者。举例来说，当源装置20使用单 播协议发射位流时，可在带宽方面限制用以发射所述位流的信道。因此，客户端装置40 可选择具有通信信道的可容许最大或平均位速率的操作点。

在一些实例中，源装置20可进一步在操作点描述符中指定操作点的帧速率。操作 点的特定视角可具有与操作点的帧速率不匹配的帧速率。因此，客户端装置40可确定 操作点的帧速率和此视角的帧速率以简化为实现显示视频数据的目的而重新汇编经解 码的视频数据的过程。在各种实例中，当两个操作点的帧速率不匹配时，客户端装置40 可丢弃来自具有较高帧速率的操作点的视角的帧或内插来自具有较低帧速率的操作点 的视角的帧。

通常，基本流包括旗标“no_sei_nal_unit_present”和“no_prefix_nal_unit_present”， 其分别描述所述基本流是否包括SEI消息和前置NAL单元。本发明提议客户端装置(例 如，客户端装置40)推断SEI消息和/或前置NAL单元是否存在于操作点内，而非明确 地用信号传递操作点的这些值。为了确定SEI消息是否存在于操作点中，客户端装置40 可确定所述操作点的基本流的no_sei_nal_unit_present值的最大值是否等于一。类似地， 为了确定前置NAL单元是否存在于操作点中，客户端装置40可确定所述操作点的基本 流的no_prefix_nal_unit_present值的最大值是否等于一。

上文所论述的实例已聚焦于针对MVC位流的每一操作点所包括的操作点描述符。 作为一替代方案，源装置20可提供用信号传递类似数据的MVC扩展描述符。举例来说， 源装置20可使一个以上MVC扩展描述符与对应于基本流的MVC视频子位流相关联。 源装置20可在子位流的MVC扩展描述符中指定待显示的视角的帧速率、view_id子集 以及待解码的视角的数目。源装置20可进一步用信号传递MVC扩展描述符与对应操作 点之间的映射。

例如ITU-T H.261、H.262、H.263、MPEG-1、MPEG-2和H.264/MPEG-4第10部分 等视频压缩标准利用运动补偿时间预测来减少时间冗余。编码器使用根据一些先前编码 的图片(本文中也称为帧)的运动补偿预测来根据运动向量预测当前译码的图片。典型 的视频译码中存在三种主要图片类型。其为帧内译码图片(“I图片”或“I帧”)、预测 的图片(“P图片”或“P帧”)和双向预测图片(“B图片”或“B帧”)。P图片按时间 次序仅使用在当前图片之前的参考图片。在B图片中，B图片的每一块可从一个或两个 参考图片而加以预测。这些参考图片可按时间次序位于当前图片之前或之后。

根据H.264译码标准，作为一实例，B图片使用先前译码的参考图片的两个列表(列 表0和列表1)。这两个列表可各自含有按时间次序的过去和/或未来的译码图片。B图 片中的块可以以下若干方式中的一者来预测：根据列表0参考图片的运动补偿预测、根 据列表1参考图片的运动补偿预测或根据列表0与列表1参考图片两者的组合的运动补 偿预测。为得到列表0与列表1参考图片两者的组合，分别从列表0和列表1参考图片 获得两个运动补偿参考区域。其组合将用以预测当前块。

ITU-T H.264标准支持各种块大小(例如用于明度分量的16乘16、8乘8或4乘4 和用于色度分量的8×8)的帧内预测，以及各种块大小(例如用于明度分量的16×16、 16×8、8×16、8×8、8×4、4×8和4×4以及用于色度分量的相应按比例调整的大小)的帧 间预测。在本发明中，“×”与“乘”可互换地使用以指代根据垂直尺寸和水平尺寸的块 的像素尺寸，例如16×16像素或16乘16像素。通常，16×16块将具有垂直方向上的16 个像素(y＝16)和水平方向上的16个像素(x＝16)。同样，N×N块通常具有垂直方 向中的N个像素和水平方向中的N个像素，其中N表示非负整数值。块中的像素可布 置成行和列。

小于16乘16的块大小可称为16乘16宏块的分割。视频块可包含在像素域中的像 素数据的块，或在变换域中的变换系数的块(例如，在将例如离散余弦变换(DCT)、 整数变换、小波变换或概念上类似的变换等变换应用于表示经译码视频块与预测性视频 块之间的像素差的残余视频块数据之后)。在一些状况下，视频块可包含变换域中的量 化变换系数的块。

较小视频块可提供较好分辨率，且可用于定位包括高阶细节的视频帧。通常，可将 宏块和各种分割(有时称为子块)认为是视频块。另外，片段可被认为是多个视频块， 例如宏块和/或子块。每一片段可为视频帧的可独立解码单元。或者，帧自身可为可解码 单元，或帧的其它部分可经定义为可解码单元。术语“经译码单元”或“译码单元”可 指代视频帧的任何可独立解码单元，例如整个帧、帧的片段、也称为序列的图片群组 (GOP)或根据可适用译码技术定义的另一可独立解码单元。

术语宏块指代用于根据包含16×16像素的二维像素阵列编码图片和/或视频数据的 数据结构。每一像素包含色度分量和照度分量。因此，宏块可界定四个照度块(每一照 度块包含8×8像素的二维阵列)、两个色度块(每一色度块包含16×16像素的二维阵列) 和包含语法信息(例如经译码块型样(CBP)、编码模式(例如，帧内(I)或帧间(P 或B)编码模式)、帧内编码块的分割的分割大小(例如，16×16、16×8、8×16、8×8、8×4、 4×8或4×4)，或帧间编码的宏块的一个或一个以上运动向量)的标头。

视频编码器28、视频解码器48、音频编码器26、音频解码器46、多路复用器30 和多路分用器38各自可实施为多种合适的编码器或解码器电路中的任一者(如果适用)， 例如，一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现 场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件，或其任何组合。视频编 码器28和视频解码器48中的每一者可包括于一个或一个以上编码器或解码器中，所述 一个或一个以上编码器或解码器中的任一者可集成为组合的视频编码器/解码器 (CODEC)的一部分。同样，音频编码器26和音频解码器46中的每一者可包括于一个 或一个以上编码器或解码器中，所述一个或一个以上编码器或解码器中的任一者可集成 为组合的CODEC的一部分。包括视频编码器28、视频解码器48、音频编码器26、音 频解码器46、多路复用器30和/或多路分用器38的设备可包含集成电路、微处理器和/ 或无线通信装置(例如蜂窝式电话)。

本发明的技术可提供某些优于用于MVC子位流的常规技术的优点，常规技术不能 实现用信号传递操作点的特性。每一子位流可包括对应位流的一个或一个以上视角。在 一些状况下，操作点可对应于不同位流的视角。本发明的技术提供识别对应操作点的视 角的操作点描述符。

在多路复用器30已从所接收的数据组合NAL单元和/或接入单元后，多路复用器 30将所述单元传递到输出接口32以用于输出。输出接口32可包含(例如)发射器、收 发器、用于将数据写入到计算机可读媒体的装置，例如，光学驱动器、磁性媒体驱动器 (例如，软盘驱动器)、通用串行总线(USB)端口、网络接口或其它输出接口。输出接 口32将NAL单元或接入单元输出到计算机可读媒体34，例如，发射信号、磁性媒体、 光学媒体、存储器、快闪驱动器或其它计算机可读媒体。

最后，输入接口36从计算机可读媒体34检索数据。输入接口36可包含(例如) 光学驱动器、磁性媒体驱动器、USB端口、接收器、收发器或其它计算机可读媒体接口。 输入接口36可将NAL单元或接入单元提供到多路分用器38。多路分用器38可将传送 流或节目流多路分用成构成性PES流，将PES流解包化以检索经编码的数据，并视经 编码的数据为音频流的一部分还是视频流的一部分(例如，如流的PES包标头所指示) 而将经编码数据发送到音频解码器46或视频解码器48。音频解码器46解码经编码的音 频数据且将经解码的音频数据发送到音频输出42，而视频解码器48解码经编码的视频 数据且将经解码的视频数据(其可包括流的多个视角)发送到视频输出44。视频输出 44可包含使用场景的多个视角的显示器，例如，同时呈现场景的每一视角的立体或自动 立体显示器。

特定来说，多路分用器38可选择所接收的位流的操作点。举例来说，多路分用器 38可比较所述位流的操作点的特性以选择待由A/V目的地装置40使用的适当操作点。 大体来说，多路分用器38可试图选择所述操作点中的将向用户提供最高质量检视体验 的可由视频解码器48解码的操作点。举例来说，多路分用器38可将视频解码器48的 呈现能力和解码能力与位流的操作点描述符用信号传递的所建议呈现能力和解码能力 进行比较。在多路分用器38确定可由视频解码器48适当解码的操作点中，多路分用器 38可选择将提供最高质量视频数据(例如，最高帧速率和/或位速率)的操作点。在其 它实例中，多路分用器38可基于其它考虑(例如，电力消耗)来选择所支持的操作点 中的一者。

图2为说明多路复用器30(图1)的组件的实例布置的框图。在图2的实例中，多 路复用器30包括流管理单元60、视频输入接口80、音频输入接口82、多路复用流输出 接口84和节目特定信息表88。流管理单元60包括NAL单元构造器62、PMT构造器 64、流识别符(流ID)查找单元66和节目识别符(PID)指派单元68。

在图2的实例中，视频输入接口80和音频输入接口82包括用于用经编码的视频数 据和经编码的音频数据形成PES单元的相应包化器。在其它实例中，视频包化器和/或 音频包化器可包括于多路复用器30外部的单元或模块中。关于图2的实例，视频输入 接口80可用从视频编码器28所接收的经编码的视频数据形成PES包，且音频输入接口 82可用从音频编码器26所接收的经编码的音频数据形成PES包。

流管理单元60从视频输入接口80和音频输入接口82接收PES包。每一PES包包 括识别PES包所属的基本流的流ID。流ID查找单元66可通过查询节目特定信息表88 而确定PES包所对应的节目。即，流ID查找单元66可确定所接收的PES包对应于哪 一节目。每一节目可包含多个基本流，而通常，一个基本流对应于仅一个节目。然而， 在一些实例中，基本流可包括于多个节目中。每一PES包可包括于从多路复用器30输 出的多个流中，因为各种服务可能各自包括可用音频和视频流的各种子集。因此，流ID 查找单元66可确定PES包是否应包括于一个或一个以上输出流(例如，一个或一个以 上传送流或节目流)中，且特定来说确定在哪一输出流中包括所述PES包。

在一个实例中，每一基本流对应于一节目。多路复用器30可负责确保每一基本流 与特定节目(且因此，与节目ID(PID))相关联。当接收到包括多路复用器30不可辨 识的流ID(例如，未存储于节目特定信息表88中的流ID)的PES包时，PID指派单元 68在节目特定信息表88中建立一个或一个以上新条目以使新流ID与未使用的PID相 关联。

在确定PES包对应的节目后，NAL单元构造器62(例如)通过封装具有NAL单元 标头(包括PES包的流ID对应的节目的PID)的PES包而形成包含PES包的NAL单 元。在一些实例中，NAL单元构造器62或流管理单元60的另一子单元可形成包含多个 NAL单元的接入单元。

PMT构造器64使用来自节目特定信息表88的信息而针对多路复用器30的相应输 出流建立节目映射表(PMT)。在另一实例中，流管理单元60可包含用于针对由多路复 用器30输出的节目流建立节目流映射的PSM构造器。在一些实例中，多路复用器30 可包含PMT构造器64与PSM构造器两者，且输出传送流和节目流中的任一者或两者。 在图2的实例中，PMT构造器64可构造包括由本发明描述的新描述符(例如，操作点 描述符)以及任何其它必要描述符的PMT和所述PMT的PMT数据。PMT构造器64 可周期性地(例如，在某一时间周期后或在已发射某一数据量后)发送用于传送流的随 后PMT。PMT构造器64可将所建立的PMT传递到NAL单元构造器62以用于(例如) 通过封装具有相应NAL单元标头(包括相应PID)的PMT而形成包含PMT的NAL单 元。

PMT构造器64可建立节目的每一操作点的数据结构(例如，操作点描述符)。由 PMT构造器64建立的数据结构可用信号传递以下各者：描述接收装置使用所述操作点 待满足的呈现能力的呈现能力值、描述接收装置使用所述操作点待满足的解码能力的解 码能力值，以及描述所述操作点的位速率的位速率值。

举例来说，PMT构造器64可基于由节目特定信息表88存储的信息或经由视频输入 接口80从视频编码器28接收的信息来确定操作点的待显示的视角的数目和操作点的视 角的帧速率。PMT构造器64可使用数据结构的呈现能力值用信号传递操作点的视角的 数目和操作点的视角的帧速率中的任一者或两者。

PMT构造器64还可确定操作点的待解码的视角的数目和操作点的视角所对应的简 档的层级值。举例来说，PMT构造器64可确定需要经处理的宏块的数目、经解码的图 片缓冲器大小、经译码的图片缓冲器大小、垂直运动向量范围、每两个连续宏块的运动 向量的最大数目，和/或B块是否可具有小于8×8像素的子宏块分割区，且使用这些确 定来确定操作点的层。PMT构造器64可经由视频输入接口80从视频编码器28接收此 信息。PMT构造器64可接着使用操作点的解码能力值表示待解码的视角的数目和/或简 档的层级值。

PMT构造器64可进一步确定操作点的位速率值且将所述位速率值编码于数据结构 中。位速率值可对应于操作点的平均位速率或最大位速率。PMT构造器64可计算操作 点的位速率或从视频编码器28接收位速率的指示。

多路复用流输出接口84可从流管理单元60接收一个或一个以上NAL单元和/或接 入单元，例如，包含PES包(例如，音频或视频数据)的NAL单元和/或包含PMT的 NAL单元。在一些实例中，多路复用流输出接口84可在从流管理单元60接收到NAL 单元后由对应于共同时间位置的一个或一个以上NAL单元形成接入单元。多路复用流 输出接口84将NAL单元或接入单元作为相应传送流或节目流中的输出而发射。多路复 用流输出接口84还可从PMT构造器64接收数据结构且包括所述数据结构作为位流的 一部分。

图3为说明节目特定信息表88的实例集合的框图。可基于传送包的PID值来确定 所述传送包所属的基本流。为了使解码器正确地解码所接收数据，解码器需要能够确定 哪些基本流属于每一节目。如包括于节目特定信息表88中的节目特定信息可明确地指 定节目与组成性基本流(component elementary stream)之间的关系。在图3的实例中， 节目特定信息表88包括网络信息表100、条件接入表102、节目接入表104和节目映射 表106。对于图3的实例，假定输出流包含MPEG-2传送流。在替代实例中，输出流可 包含节目流，在所述状况下，节目映射表106可以节目流映射来替代。

MPEG-2系统规范指定传送流中所载运的每一节目具有与其相关联的节目映射表 (例如，节目映射表106)。节目映射表106可包括关于节目和节目包括的基本流的细节。 作为一个实例，节目(识别为节目编号3)可含有具有PID 33的视频基本流、具有PID 57的英语音频流和具有PID 60的中文音频流。准许PMT包括一个以上节目。

由MPEG-2系统规范所指定的基本节目映射表可以MPEG-2系统规范中所指定的许 多描述符中的一些(例如，描述符108)来修饰。描述符108可包括MPEG-2系统规范 所指定的描述符中的任一者或全部。通常，描述符(例如，描述符108)传达关于节目 或其组成性基本流或子位流的更多信息。描述符可包括视频编码参数、音频编码参数、 语言识别、摇摄和扫描信息、条件接入细节、版权信息或其它此类信息。广播员或其它 用户可定义额外私用描述符。

本发明提供一种用以描述符合MPEG-2系统的位流中的操作点的特性的操作点描述 符。描述符108可包括对应位流的每一操作点的操作点描述符。如图3中所展示，描述 符108包括MVC扩展描述符110、分级结构描述符112和操作点描述符114。操作点描 述符114中的每一者可对应于位流的特定操作点，且用信号传递关于所述操作点的以下 各者：描述接收装置使用所述操作点待满足的呈现能力的呈现能力值、描述接收装置使 用所述操作点待满足的解码能力的解码能力值，以及描述操作点的位速率的位速率值。 在视频相关的组成性基本流中，也存在分级结构描述符，其提供信息以识别含有经分级 结构式译码的视频、音频和私用流的分量的节目元素。

下表1提供包括于MVC扩展描述符110中的数据的一个实例。表1中所展示的各 种字段和所述字段的位深度仅为一个实例。在一个实例中，每一MVC视频子位流与MVC 扩展描述符110中的一对应者相关联，所述相应MVC扩展描述符指定对应MVC视频 子位流的特性。MVC视频子位流可需要汇编其它MVC视频子位流。即，为了解码并呈 现特定子位流，客户端装置可需要从包括两个子位流的共同位流的其它子位流提取并解 码视频数据。

表1-MVC扩展描述符

语法   位数目   助记码 MVC_extension_descriptor(){      descriptor_tag   8   uimsbf      descriptor_length   8   uimsbf      average_bit_rate   16   uimsbf      maximum_bitrate   16   uimsbf      reserved   4   bslbf      view_order_index_min   10   bslbf      view_order_index_max   10   bslbf      temporal_id_start   3   bslbf      temporal_id-end   3   bslbf      no_sei_nal_unit_present   1   bslbf      reserved   1   bslbf }

在表1的实例中，描述符标签字段可对应于包括于每一描述符中以特定识别所述描 述符的八位描述符标签字段，如由MPEG-2系统标准所阐述。MPEG-2系统标准定义特 定描述符标签且将其它描述符标签值(例如，值36到63)标记为“保留”。然而，MPEG-2 系统标准的修正案4提议将MVC扩展描述符设定成“49”，其对应于如MPEG-2系统规 范中所指定的保留描述符标签中的一者。因此，本发明提议将MVC扩展描述符110的 descriptor_tag的值设定成值“49”。

在此，描述符长度字段可对应于也包括于每一描述符中的八位描述符长度字段，如 由MPEG-2系统标准所阐述。多路复用器30可将描述符长度字段的值设定成等于MVC 扩展描述符110中的紧接在描述符长度字段之后的一对应者的字节的数目。因为MVC 扩展描述符的长度不改变，所以多路复用器30可将MVC扩展描述符110中的每一者的 描述符长度字段的值设定成值8，以表示在描述符长度字段之后存在信息的八个字节。

平均位速率字段可包含指示经重新汇编的AVC视频流的平均位速率(以每秒千位 计)的十六位字段。即，平均位速率字段描述当由MVC扩展描述符110中的一者所对 应的传送流或节目流的构成性部分汇编视频流时所述视频流的平均位速率。在一些实例 中，多路复用器30可将平均位速率字段的值设定成零以指示平均位速率未由MVC扩展 描述符110中的一者指示。

最大位速率字段可包含指示经重新汇编的AVC视频流的最大位速率(以每秒千位 计)的十六位字段。即，最大位速率字段描述当由MVC扩展描述符110中的一者所对 应的传送流或节目流的构成性部分汇编视频流时所述视频流的最大位速率。在一些实例 中，多路复用器30可将最大位速率字段的值设定成零以指示最大位速率未由MVC扩展 描述符110中的一者指示。

视角次序索引最小值字段可包含指示相关联的MVC视频子位流中所含有的所有 NAL单元的视角次序索引的最小值的十位字段。类似地，视角次序索引最大值字段为指 示相关联的MVC视频子位流中所含有的所有NAL单元的视角次序索引的最大值的十位 字段。

时间ID起始字段可包含指示相关联的MVC视频子位流中所含有的所有NAL单元 的NAL单元标头语法元素的temporal_id的最小值的三位字段。即，时间ID值包括于 每一NAL单元的标头中。大体来说，时间ID值对应于特定帧速率，其中相对较大时间 ID值对应于较高帧速率。举例来说，时间ID的值“0”可对应于15个帧/秒(fps)的帧 速率，时间ID的值“1”可对应于30fps的帧速率。以此方式，在此实例中，将具有0 时间ID的所有图片聚集到一集合中可用以形成具有15fps的帧速率的视频片段，而将 具有0时间ID的所有图片和具有1时间ID的所有图片聚集到不同集合中可用以形成具 有30fps的帧速率的不同视频片段。多路复用器30确定MVC视频子位流的所有NAL 单元的最小时间ID，且将时间ID起始字段的值设定成等于此经确定的最小时间ID值。

时间ID结束字段可包含指示相关联的MVC视频子位流中所含有的所有NAL单元 的NAL单元标头语法元素的时间ID的最大值的三位字段。因此，多路复用器30确定 MVC视频子位流的所有NAL单元的最大时间ID，且将时间ID起始字段的值设定成等 于此经确定的最大时间ID值。

无SEI NAL单元存在字段可包含在设定成“1”时指示无补充增强信息NAL单元存 在于相关联的MVC视频子位流中的一位旗标。多路复用器30可确定一个或一个以上补 充增强信息NAL单元是否已放置于位流中，且在位流中不存在SEI NAL单元时将无SEI NAL单元存在字段的值设定成值“1”，而在至少一个SEI NAL单元存在于位流中时可 将无SEI NAL单元存在字段的值设定成值“0”。

下表2提供包括于分级结构描述符112中的数据的一个实例。在MPEG-2系统中， 可针对含有嵌入式视频节目流的视频的节目流定义分级结构描述符。将表2中所展示的 各种字段和所述字段的位深度提供为一个实例。hierarchy_layer_index值识别当前节目流 的层索引，且hierarchy_embedded_layer_index值识别相依层。在MVC设计中，一节目 流可取决于使用分级结构描述符的另一节目流。即，可基于包括于分级结构描述符中的 数据来确定节目流之间的相依性。

表2-分级结构描述符

如上所述，MPEG-2系统规范指定每一描述符包括描述符标签字段和描述符长度字 段。因此，分级结构描述符112包括描述符标签字段和描述符长度字段。根据MPEG-2 系统规范，多路复用器30可将描述符标签字段的值设定成用于分级结构描述符112的 值“4”。

分级结构描述符112的长度可先验地确定，因为分级结构描述符112的每一例项应 包括相同量的数据。在一个实例中，多路复用器30可将描述符长度字段的值设定为值4， 其指示在描述符长度字段的末端后的分级结构描述符112的例项中的四个字节。

分级结构类型字段描述相关联分级结构与其分级结构嵌入层之间的分级结构关系。 在一个实例中，多路复用器30基于分级结构关系来设定分级结构类型字段的值，例如， 如下表3所描述。作为一个实例，当可调能力应用于一个以上维度时，多路复用器30 可将分级结构类型字段设定为值“8”(如表3中所示的“组合的可调能力”)，且多路复 用器30根据从相应流的PES包和PES包标头中所检索的数据来设定时间可调能力旗标 字段、空间可调能力旗标字段和质量可调能力旗标字段的值。通常，多路复用器30可 确定对应于各种视角的不同流和/或音频数据流之间的相依性。多路复用器30还可确定 包含增强层的相依流为空间层、信噪比(SNR)增强层、质量增强层还是另一类型的增 强层。

作为另一实例，对于MVC视频子位流，多路复用器30可将分级结构类型字段设定 为值“9”(如表3中所示的“MVC”)，且可将可调能力旗标字段、空间可调能力旗标字 段和质量可调能力旗标字段中的每一者的值设定为“1”。作为又一实例，对于MVC基 本视角子位流，多路复用器30可将分级结构类型字段的值设定为值“15”，且可将可调 能力旗标字段、空间可调能力旗标字段和质量可调能力旗标字段的值设定为“1”。作为 再一实例，对于前置MVC子位流，多路复用器30可将分级结构类型字段的值设定为值 “14”，且可将可调能力旗标字段、空间可调能力旗标字段和质量可调能力旗标字段设定 为“1”。

分级结构层索引字段可包含定义编码层分级结构表中的相关联节目元素的唯一索 引的6位字段。索引在单一节目定义中可为唯一的。对于符合ITU-T Rec.H.264|ISO/IEC 14496-10的附录G中所定义的一个或一个以上简档的AVC视频流的视频子位流，此为 节目元素索引，其以如下方式指派：如果按hierarchy_layer_index的递增次序重新组合 同一接入单元的视频子位流的相关联的SVC相依性表示，那么位流次序将为正确的。 对于符合ITU-T Rec.H.264|ISO/IEC 14496-10的附录H中所定义的一个或一个以上简档 的AVC视频流的MVC视频子位流，此为节目元素索引，其以如下方式指派：这些值中 的任一者大于前置MVC子位流的分级结构描述符中所指定的hierarchy_layer_index值。

分级结构嵌入层索引字段可包含定义在解码与分级结构描述符112的相应例项相关 联的基本流前需要接入的节目元素的分级结构层表索引的6位字段。本发明在分级结构 字段具有值15(即，对应于基本层的值)时不定义分级结构嵌入层索引字段的值。

分级结构信道字段可包含指示发射信道的有序集合中的相关联节目元素的所要信 道数目的6位字段。关于整个发射分级结构定义，由分级结构信道字段的最低值来定义 最稳健发射信道。注意，可同时将给定分级结构信道指派给若干节目元素。

表1和2的保留字段为未来标准发展的未来使用而保留。本发明的技术此时不提议 将语义含义指派给保留字段的值。

下表3说明上文所描述的分级结构类型字段的可能值：

表3-分级结构类型字段值

在一些实例中，分级结构描述符112可用于用信号传递由递增的子位流和嵌入的子 位流用信号传递的MVC子位流。嵌入子位流包括对应于hierarchy_embedded_layer_index 的直接相依性子位流和此直接相依性子位流的所有嵌入子位流。在本发明中，明确地含 有的视角被称为增强视角，而嵌入的视角被称为相依视角。

在多路复用器30的输出包含节目流的一实例中，节目特定信息表88可包括节目流 映射(PSM)。PSM可提供对应节目流中的基本流的描述和所述基本流彼此的关系。在 一些实例中，节目流映射还可对应于传送流。当载运于对应传送流中时，PSM结构不应 加以修改。多路复用器30可通过将PES包的stream_id值设定成0xBC(即，十六进制 值BC，其对应于二进制值10111100或十进制值188)而指示PSM存在于所述PES包 中。

多路复用器30将可用于传送流中的所有节目的完整列表维持于节目关联表104中。 多路复用器30还可将节目关联表嵌入于NAL单元中。多路复用器30可通过向NAL单 元指派PID值0而指示所述NAL单元包括节目关联表。多路复用器30可在节目关联表 104中列出每一节目连同含有对应节目映射表的传送包的PID值。使用上文所提及的相 同实例，指定节目号3的基本流的实例节目映射表具有为1001的PID且另一PMT具有 为1002的另一PID。此信息集合或类似信息集合可包括于节目关联表104中。

节目特定信息表88还包括网络信息表(NIT)100和条件接入表(CAT)102。如 PAT中所指定的节目号零具有特殊意义。特定来说，节目号零可用以指明到网络信息表 100的路线。所述表为任选的且当存在时，所述表可提供关于载运传送流的物理网络的 信息，例如，信道频率、卫星转频器细节、调制特性、服务发源站、服务名称和可用替 代网络的细节。

如果传送流内的任何基本流被扰乱，那么条件接入表102必须存在。条件接入表102 提供使用中的扰乱系统的细节，且提供含有条件接入管理和权利信息的传送包的PID值。 未在MPEG-2系统标准内指定此信息的格式。

图4为说明可包括于操作点描述符114(图3)中的一者中的数据的实例集合的框 图。在图4的实例中，操作点描述符118包括描述符标签字段120、描述符长度字段122、 帧速率字段124、显示视角的数目字段126、解码视角的数目字段128、视角识别符字段 130、平均位速率字段132、最大位速率字段134、时间识别符字段136，和保留拖尾位 字段138。

在图4的实例中，帧速率字段124和显示视角的数目字段126对应于实例呈现能力 值，解码视角的数目字段128对应于实例解码能力值，且平均位速率字段132和最大位 速率字段134对应于实例位速率值。操作点描述符118仅为可用以用信号传递操作点的 特性(例如，呈现能力、解码能力和位速率)的数据结构的一个实例。下文的图5和6 提供用信号传递这些特性的操作点描述符的替代实例。

如上文所描述，MPEG-2系统规范指定每一描述符具有描述符标签字段和描述符长 度字段，其各自为8位。因此，多路复用器30(图1)可将一值指派给指示MVC操作 点描述符的描述符标签字段120。多路复用器30还可确定操作点的视角的数目和操作点 描述符的保留位的数目，且接着计算(以字节计)在描述符长度字段122之后的操作点 描述符118的长度。多路复用器30可在将操作点描述符118实例化时将此所计算的长 度值指派给描述符长度字段122。

帧速率字段124可包含指示经重新汇编的AVC视频流的最大帧速率(以每256秒 的帧计)的16位字段。即，多路复用器30可计算256秒时间周期的最大帧速率以设定 帧速率字段124的值。在一些实例中，除以256可导致浮点值转换为整数值。在其它实 例中，可使用除了256秒之外的时间周期。关于帧速率字段124所描述的256秒时间周 期仅为可用于计算操作点的最大帧速率的一个可能实例。

显示视角的数目字段126可包含指示经重新汇编的AVC视频流的视角(以输出为 目标)的数目的值的十位字段。大体来说，显示视角的数目字段126表示对应操作点的 待显示的视角的数目。因为不同显示器可能够显示不同数目个视角，所以客户端装置可 使用显示视角的数目字段126的值来选择具有与客户端装置的显示器上的视角尽可能一 样多的待显示的视角的操作点。举例来说，如果客户端装置能够显示四个视角，那么所 述客户端装置可选择显示视角的数目字段具有指示对应操作点的四个视角将显示的值 的操作点。因此，显示视角的数目字段126可经包括作为呈现能力值的一部分。同样， 多路复用器30可根据针对操作点的待显示的视角的数目而设定显示视角的数目字段126 的值。

解码视角的数目字段128可包含指示解码经重新汇编的AVC视频流所需的视角的 数目的值的十位字段。此值可能不同于由显示视角的数目字段126所指示的待显示的视 角的数目。这可能是因归因于视角相依性而使解码需要特定视角但所述视角实际上未显 示所致。

简要参看图7，作为一实例，视角S0和S1可为针对操作点的待显示的视角。可在 不解码任何其它视角的情况下直接解码视角S0。然而，为了解码视角S1，还必须解码 视角S2，因为视角S1包括涉及视角S2的预测数据。因此，在此实例中，显示视角的 数目字段126将具有值2，但解码视角的数目字段128将具有值3。在一些实例中，待 显示的视角可从一个或一个以上其它视角内插，以使得待显示的视角的数目可大于待解 码的视角的数目。即，使用基础视角和深度信息，视频解码器48(图1)可内插第二视 角。视频解码器48可使用两个或两个以上视角来计算深度信息从而内插新视角，或视 频解码器48可从源装置20接收视角的深度信息。

解码视角的数目字段128可对应于解码能力值，因为客户端装置的解码器(例如， 目的地装置40的视频解码器48)应能够解码等于解码视角的数目字段128的值的视角 的数目。因此，客户端装置可选择具有代表客户端装置的视频解码器能够解码的视角的 数目的解码视角的数目字段的操作点。

图4的操作点描述符118还包括视角识别符字段130。视角识别符字段130中的每 一者可包含指示经重新汇编的AVC视频位流中所含有的NAL单元的view_id的值的十 位字段。因此，使用视角识别符字段130来用信号传递操作点的每一显示的视角的视角 识别符。即，视角识别符字段130的视角识别符对应于所显示的视角。因此，在图4的 实例中，并未通过视角识别符字段130来用信号传递经解码但未显示的视角。

平均位速率字段132可包含指示经重新汇编的AVC视频流的平均位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示平均位速率。即，平均位速率字段 132的值0暗示平均位速率字段132不应用于确定经重新汇编的AVC视频流的平均位速 率。

最大位速率字段134可包含指示经重新汇编的AVC视频流的最大位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示最大位速率。即，当最大位速率字 段134的值设定成0时，最大位速率字段134不应用于确定经重新汇编的AVC视频流 的最大位速率。

时间识别符字段136可包含指示对应于经重新汇编的AVC视频流的帧速率的 temporal_id的值的三位字段。即，temporal_id可用以确定经重新汇编的AVC视频流的 帧速率，如上文所论述。

实例操作点描述符118还包括保留拖尾位字段138。在一个实例中，(例如)如下表 4中所展示，保留拖尾位的数目可用于额外用信号传递和填补操作点描述符118两者， 以使得操作点描述符118在字节边界上结束。举例来说，如上文所论述，操作点描述符 118可使用十个位来表示每一所显示的视角的视角识别符。在此实例中，除了用于视角 识别符的位和保留拖尾位之外的位的静态数目为87。因此，为了确保操作点描述符118 在字节边界上结束(即，具有平均可被8除尽的位的数目)，多路复用器30可根据以下 公式添加拖尾位的数目：

拖尾位＝(1+6*num_display_views)％8

其中“％”表示数学模运算子。即，A％B产生A除以B的余数，以使得所述余数 在0与B-1之间的整数范围中。

表4概述可包括于图4的操作点描述符118的实例中的数据的实例集合。

表4-MVC操作点描述符

语法   位数目   助记码 MVC_op_descriptor(){      descriptor_tag   8   uimsbf      descriptor_length   8   uimsbf      frame_rate   16   uimsbf      num_display_views   10   uimsbf      num_decode_views   10   uimsbf      for(i＝0；i＜num_display_views；i++){             view_id   10   uimsbf      }      average_bit_rate   16   uimsbf      maximum_bitrate   16   uimsbf      temporal_id   3   uimsbf      for(i＝0；i＜(1+6*num_display_views)％8；i++){             reserved_bit   1   bslbf      } }

图5为说明可包括于操作点描述符114(图3)中的一者中的数据的替代实例集合 的框图。大体来说，操作点描述符114中的每一者应具有共同格式，以使得客户端装置 可经配置以接收具有单一格式的操作点描述符。因此，操作点描述符114中的每一者可 具有与图4、图5或图6的操作点描述符类似的格式，或包括类似用信号传递数据的另 一共同格式。

在图5的实例中，操作点描述符140包括描述符标签字段142、描述符长度字段144、 profile_IDC字段146、level_IDC字段148、帧速率字段149、显示视角的数目字段150、 解码视角的数目字段152、平均位速率字段154、最大位速率字段156、时间识别符字段 158、保留位字段160、视角次序索引字段162、视角识别符字段164，和保留拖尾位字 段166。IDC代表”识别符”。如下文所解释，操作点描述符140的实例明确地用信号传 递操作点的profile_idc值和level_idc值，以及关于如何汇编操作点的信息。

显示视角的数目字段150和帧速率字段149对应于通过操作点描述符140用信号传 递的呈现能力值。在图5的实例中，profile_IDC字段146、level_IDC字段148和解码视 角的数目字段152表示可对应于通过操作点描述符140用信号传递的解码能力值的数据 的实例。平均位速率字段154和最大位速率字段156对应于通过操作点描述符140用信 号传递的位速率值。

如上文所描述，MPEG-2系统规范指定每一描述符具有描述符标签字段和描述符长 度字段，其每一者的长度可为8位。因此，多路复用器30(图1)可将一值指派给指示 MVC操作点描述符的描述符标签字段142。多路复用器30还可确定操作点的视角的数 目和操作点描述符的保留位的数目，且接着计算(以字节计)在描述符长度字段144之 后的操作点描述符140的长度。多路复用器30可在将操作点描述符140实例化时将此 所计算的长度值指派给描述符长度字段144。

Profile_IDC字段146可包含指示通过在操作点描述符140中给予的信息重新汇编的 操作点的profile_idc的八位字段。Level_IDC字段148可包含指示通过在操作点描述符 140中给予的信息重新汇编的操作点的level_idc的八位字段。

帧速率字段149可包含指示经重新汇编的AVC视频流的最大帧速率(以每256秒 的帧计)的16位字段。即，多路复用器30可计算256秒时间周期的最大帧速率以设定 帧速率字段149的值。与帧速率字段124一样，在帧速率字段149的其它实例中，可使 用除了256秒之外的其它时间周期。

显示视角的数目字段150可包含指示经重新汇编的AVC视频流的视角(以输出为 目标)的数目的值的十位字段。大体来说，显示视角的数目字段150表示针对对应操作 点的待显示的视角的数目。解码视角的数目字段152可包含指示解码经重新汇编的AVC 视频流所需的视角的数目的值的十位字段。此值可能不同于由显示视角的数目字段150 所指示的待显示的视角的数目。此可能是因归因于视角相依性而使解码需要特定视角但 所述视角实际上未显示所致，例如，如上文关于解码视角的数目字段128所描述。

平均位速率字段154可包含指示经重新汇编的AVC视频流的平均位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示平均位速率。即，平均位速率字段 154的值0暗示平均位速率字段154不应用于确定经重新汇编的AVC视频流的平均位速 率。最大位速率字段156可包含指示经重新汇编的AVC视频流的最大位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示最大位速率。即，当最大位速率字 段156的值设定成0时，最大位速率字段156不应用于确定经重新汇编的AVC视频流 的最大位速率。

时间识别符字段158可包含指示对应于经重新汇编的AVC视频流的帧速率的 temporal_id的值的三位字段。即，temporal_id可用以确定经重新汇编的AVC视频流的 帧速率，如上文所论述。

操作点描述符140还包括视角次序索引字段162和视角识别符字段164。视角次序 索引字段162中的每一者可包含指示操作点中所含有的NAL单元的视角次序索引的值 的十位字段。客户端装置可重新汇编对应于所有用信号传递的view_order_index值的 NAL单元，所述所有用信号传递的view_order_index值通过视角次序索引字段162在操 作点描述符140中用信号传递。视角次序索引字段162包括待解码的视角中的每一者的 视角次序索引字段。在给予view_order_index值的情况下，客户端装置可从基本流提取 对应NAL单元，这是因为MVC扩展描述符告知所述基本流中的视角次序索引值的范围 且所述范围涵盖在操作点描述符中用信号传递的view_order_index值。

视角识别符字段164中的每一者可包含指示经重新汇编的AVC视频位流中所含有 的NAL单元的view_id的值的十位字段。因此，使用视角识别符字段164来用信号传递 操作点的每一所显示的视角的视角识别符。即，视角识别符字段164的视角识别符对应 于所显示的视角。因此，在图5的实例中，并未通过视角识别符字段164来用信号传递 经解码但未显示的视角。

操作点描述符140还包括保留拖尾位字段166。操作点描述符140可包括作为填补 的拖尾位，以使得操作点描述符140中的位的数目平均可被8除尽。因为视角次序索引 字段和视角识别符字段的数目可变化，所以多路复用器30在操作点描述符140中所包 括的拖尾位的数目可相应地变化。举例来说，可根据以下公式确定拖尾位的数目

拖尾位＝(6*(num_display_views+num_decode_views))％8

其中“％”表示模运算子。

表5概述可包括于图5的实例操作点描述符140中的数据的实例集合。

表5-MVC操作点描述符

图6为说明可包括于操作点描述符114(图3)中的一者中的数据的另一替代实例 集合的框图。在图6的实例中，操作点描述符170包括描述符标签字段172、描述符长 度字段174、profile_IDC字段176、level_IDC字段178、帧速率字段180、显示视角的 数目字段182、解码视角的数目字段184、平均位速率字段186、最大位速率字段188、 时间识别符字段190、保留位字段192、操作点识别符字段194、操作点相依旗标字段 196、任选的相依操作点识别符字段198、视角次序索引字段200、视角识别符字段202， 和保留拖尾位字段204。如下文所描述，操作点描述符170提供取决于另一操作点且用 信号传递解码所需的额外视角的操作点的实例操作点描述符。

显示视角的数目字段182和帧速率字段180对应于通过操作点描述符140用信号传 递的呈现能力值。在图6的实例中，profile_IDC字段176、level_IDC字段178和解码视 角的数目字段184表示可对应于通过操作点描述符140用信号传递的解码能力值的数据 的实例。平均位速率字段154和最大位速率字段156对应于通过操作点描述符140用信 号传递的位速率值。

如上文所描述，MPEG-2系统规范指定每一描述符具有描述符标签字段和描述符长 度字段，其各自为8位。因此，多路复用器30(图1)可将一值指派给指示MVC操作 点描述符的描述符标签字段172。多路复用器30还可确定操作点的视角的数目和操作点 描述符的保留位的数目，且接着计算(以字节计)在描述符长度字段174之后的操作点 描述符170的长度。多路复用器30在将操作点描述符140实例化时将此所计算的长度 值指派给描述符长度字段174。

Profile_IDC字段176可包含指示通过在操作点描述符170中给予的信息重新汇编的 操作点的profile_idc的八位字段。Level_IDC字段178可包含指示通过在操作点描述符 170中给予的信息重新汇编的操作点的level_idc的八位字段。

帧速率字段180可包含指示经重新汇编的AVC视频流的最大帧速率(以每256秒 的帧计)的16位字段。即，多路复用器30可计算256秒时间周期的最大帧速率以设定 帧速率字段149的值。与帧速率字段124一样，在帧速率字段180的其它实例中，可使 用除了256秒之外的其它时间周期。

显示视角的数目字段182可包含指示经重新汇编的AVC视频流的视角(以输出为 目标)的数目的值的十位字段。大体来说，显示视角的数目字段182表示针对对应操作 点的待显示的视角的数目。解码视角的数目字段184可包含指示解码经重新汇编的AVC 视频流所需的视角的数目的值的十位字段。此值可能不同于由显示视角的数目字段182 所指示的待显示的视角的数目。这可能是因归因于视角相依性而使解码需要特定视角但 所述视角实际上未显示所致，例如，如上文关于解码视角的数目字段128所描述。

平均位速率字段186可包含指示经重新汇编的AVC视频流的平均位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示平均位速率。即，平均位速率字段 186的值0暗示平均位速率字段186不应用于确定经重新汇编的AVC视频流的平均位速 率。最大位速率字段188可包含指示经重新汇编的AVC视频流的最大位速率(以每秒 千位计)的十六位字段。当其经设定成0时，不指示最大位速率。特定来说，当最大位 速率字段188的值设定成0时，最大位速率字段188不应用于确定经重新汇编的AVC 视频流的最大位速率。

时间识别符字段190可包含指示对应于经重新汇编的AVC视频流的帧速率的 temporal_id的值的三位字段。即，temporal_id可用以确定经重新汇编的AVC视频流的 帧速率，如上文所论述。保留位字段192对应于经保留以供未来使用的单一位。

操作点描述符170还包括操作点识别符字段194和操作点相依旗标字段196。操作 点识别符字段194可包含指示由操作点描述符170所描述的操作点的识别符的十位字 段。操作点相依旗标字段196为指示是否用信号传递当前操作点关于另一操作点的相依 性的单位旗标。如果操作点相依旗标196具有值1(或真)，那么用信号传递相依性；如 果操作点相依旗标196的值为0(或假)，那么不用信号传递相依性。

当操作点相依旗标196的值为真或1时，操作点描述符170另外包括相依操作点识 别符字段198。当操作点识别符字段198存在时，操作点识别符字段198可包含指示当 前描述符所取决于的操作点的识别符的十位字段。即，当多路复用器30确定操作点描 述符170对应于视另一操作点而定的操作点时，多路复用器30将操作点相依旗标的值 设定成真或1，且接着用信号传递对应于操作点识别符170的操作点所取决于的操作点 的识别符。

操作点描述符170还包括视角次序索引字段200和视角识别符字段202。视角次序 索引字段202中的每一者可包含十位字段，其指示包含于识别符为operation_point_id的 当前操作点中但未包含于识别符为dependent_operation_point_id的操作点中的NAL单 元的视角次序索引的值。客户端装置可重新汇编对应于所有用信号传递的 view_order_index值的NAL单元，所述所有用信号传递的view_order_index值通过视角 次序索引字段200在操作点描述符170中用信号传递。视角次序索引字段200包括待解 码的视角中的每一者的视角次序索引字段。在给予view_order_index值的情况下，客户 端装置可从基本流提取对应NAL单元，因为MVC扩展描述符告知所述基本流中的视角 次序索引值的范围且所述范围涵盖在操作点描述符中用信号传递的view_order_index 值。通过对应于视角次序索引字段200的所有用信号传递的view_order_index值的NAL 单元和由识别符为dependent_operation_point_id的操作点所含有的NAL单元重新汇编在 操作点描述符170中用信号传递的操作点。

视角识别符字段202中的每一者可包含指示经重新汇编的AVC视频位流中所含有 的NAL单元的view_id的值的十位字段。因此，使用视角识别符字段202来用信号传递 操作点的每一所显示的视角的视角识别符。即，视角识别符字段164的视角识别符对应 于所显示的视角。因此，在图5的实例中，并未通过视角识别符字段202来用信号传递 经解码但未显示的视角。

操作点描述符170还包括保留拖尾位字段204。操作点描述符170可包括作为填补 的拖尾位，以使得操作点描述符170中的位的数目平均可被8除尽。因为视角次序索引 字段和视角识别符字段的数目可变化，所以多路复用器30在操作点描述符170中所包 括的拖尾位的数目可相应地变化。举例来说，可根据以下公式确定拖尾位的数目

拖尾位＝(6*(num_display_views+num_decode_views))％8

其中“％”表示模运算子。

下表6概述可包括于图6的实例操作点描述符170中的数据的实例集合。

表6-MVC操作点描述符

作为又一替代方案，源装置20(图1)使用除了操作点描述符之外的数据结构来用 信号传递操作点的特性。举例来说，源装置20可使用经修改的MVC扩展描述符来用信 号传递描述接收装置使用MVC操作点待满足的呈现能力的呈现能力值、描述接收装置 使用MVC操作点待满足的解码能力的解码能力值，以及描述MVC操作点的位速率的 位速率值。下表7说明此经修改的MVC扩展描述符的实例。

表7-MVC扩展描述符

语法 位数目 助记码 MVC_extension_descriptor(){     descriptor_tag 8 uimsbf     descriptor_length 8 uimsbf

语法   位数目   助记码     frame_rate   16   uimsbf     num_display_Views   16   uimsbf     num_decode_views   10   uimsbf     for(i＝0；i＜num_display_views；i++){           view_id   10   uimsbf     }     average_bit_rate   16   uimsbf     maximum_bitrate   16   uimsbf     reserved   4   bslbf     view_order_index_min   10   bslbf     view_order_index_max   10   bslbf     temporal_id_start   3   bslbf     temporal_id_end   3   bslbf     no_sei_nal_unit_present   1   bslbf     reserved   1   bslbf }

多路复用器30(图2)可根据由表7所定义的语法构造MVC扩展描述符110。大 体来说，表7的语法元素的语义与关于上文的表1所描述的共同命名的元素相同。与表 1的那些元素相比，表7的实例包括额外元素，即，帧速率字段、显示视角的数目字段、 解码视角的数目字段和MVC扩展描述符所对应的操作点的每一视角的视角识别符字 段。

帧速率字段可包含指示经重新汇编的AVC视频流的最大帧速率(以每256秒的帧 计)的十六位字段。显示视角的数目字段“num_display_views”可包含指示经重新汇编 的AVC视频流的视角(以输出为目标)的数目的值的十位字段。解码视角的数目字段 “num_decode_views”可包含指示解码经重新汇编的AVC视频流所需的视角的数目的值 的十位字段。视角识别符字段“view_id”中的每一者可包含指示经重新汇编的AVC视 频位流中所含有的对应视角的NAL单元的view_id的值的十位字段。

在一些实例中，一个或一个以上操作点描述符可包括指示位流的所有MVC操作点 的最大时间识别符值和最大帧速率值的值。在一些实例中，可在MVC操作点描述符中 用信号传递位流的所有MVC操作点的最大时间识别符值和最大帧速率值。

图7为说明实例MVC预测图案的概念图。在图7的实例中，说明八个视角(具有 视角ID“S0”到“S7”)，且针对每一视角说明12个时间位置(“T0”到“T11”)。即， 图7中的每一行对应于一视角，而每一列指示一时间位置。

虽然MVC具有可由H.264/AVC解码器解码的所谓的基本视角，且MVC也可支持 立体视角对，但MVC的优点在于其可支持使用两个以上视角作为3D视频输入并解码 由多个视角表示的此3D视频的实例。具有MVC解码器的客户端的呈现器(renderer) 可预期具有多个视角的3D视频内容。

使用包括字母的阴影块以图7中的每一行和每一列的指示来指示图7中的帧，所述 阴影块指明相应帧是经帧内译码(即，I帧)还是在一个方向上经帧间译码(即，如P 帧)或在多个方向上经帧间译码(即，如B帧)。通常，预测由箭头指示，其中被指向 的(pointed-to)帧使用始端(point-from)对象用于预测参考。举例来说，根据时间位 置T0处的视角S0的I帧来预测时间位置T0处的视角S2的P帧。

如同单视角视频编码的情况，多视角视频译码视频序列的帧可关于不同时间位置处 的帧来预测性地编码。举例来说，时间位置T1处的视角S0的b帧具有从时间位置T0 处的视角S0的I帧指向其的箭头，从而指示b帧是从I帧而预测。然而，另外，在多视 角视频编码的情形下，帧可经视角间预测。即，视角分量可使用其它视角中的视角分量 用于参考。举例来说，在MVC中，可实现视角间预测，如同在另一视角中的视角分量 为预测间参考。在序列参数集合(SPS)MVC扩展中用信号传递可能的视角间参考，且 可通过参考图片列表构造过程来修改可能的视角间参考，其实现预测间或视角间预测参 考的灵活定序。下表8提供MVC扩展序列参数集合的实例定义。

表8

图7提供视角间预测的各种实例。在图7的实例中，视角S1的帧说明为是从视角 S1的不同时间位置处的帧加以预测，以及从同一时间位置处的视角S0和S2的帧中的 帧而加以视角间预测。举例来说，时间位置T1处的视角S1的b帧是从时间位置T0和 T2处的视角S1的B帧以及时间位置T1处的视角S0和S2的b帧中的每一者加以预测。

在图7的实例中，大写字母“B”和小写字母“b”希望指示帧之间的不同分级结构 层关系，而非不同编码方法。通常，大写字母“B”帧在预测分级结构方面与小写字母 “b”帧相比相对较高。图7还使用不同阴影程度说明预测分级结构的变化，其中较大量 的阴影(即，相对较暗)帧在预测分级结构方面高于具有较少阴影(即，相对较亮)的 帧。举例来说，图7中的所有I帧说明为具有满阴影，而P帧具有稍微较亮的阴影，且 B帧(和小写字母b帧)具有相对于彼此的各种阴影程度，但始终亮于P帧和I帧的阴 影。

通常，预测分级结构与视角次序索引有关，因为在预测分级结构方面相对较高的帧 应在解码在预测分级结构方面相对较低的帧之前解码，使得在预测分级结构方面相对较 高的那些帧可在解码在预测分级结构方面相对较低的帧期间用作参考帧。视角次序索引 为指示接入单元中的视角分量的解码次序的索引。如H.264/AVC的附录H(MVC修正 版)中所指定，SPS MVC扩展中暗含视角次序索引。在SPS中，对于每一索引i，用信 号传递相应view_id。视角分量的解码应遵循视角次序索引的递升次序。如果呈现所有 视角，那么视角次序索引处于从0到num_views_minus_1的连续次序。

以此方式，用作参考帧的帧可在解码根据参考帧编码的帧之前被解码。视角次序索 引为指示接入单元中的视角分量的解码次序的索引。对于每一视角次序索引i，用信号 传递相应view_id。视角分量的解码遵循视角次序索引的递升次序。如果呈现所有视角， 那么视角次序索引的集合可包含从0到比视角总数小1的连续定序的集合。

对于处于分级结构的相同级处的某些帧，相对于彼此的解码次序可能并不重要。举 例来说，时间位置T0处的视角S0的I帧用作时间位置T0处的视角S2的P帧的参考帧， 所述P帧又用作时间位置T0处的视角S4的P帧的参考帧。因此，时间位置T0处的视 角S0的I帧应在时间位置T0处的视角S2的P帧之前加以解码，时间位置T0处的视角 S2的P帧应在时间位置T0处的视角S4的P帧之前加以解码。然而，在视角S1与S3 之间，解码次序并不重要，因为视角S1与S3并不依赖于彼此来进行预测，而改为仅从 在预测分级结构方面较高的视角加以预测。此外，视角S1可在视角S4之前加以解码， 只要视角S1在视角S0和S2之后加以解码即可。

以此方式，分级结构定序可用以描述视角S0到S7。假设符号SA＞SB意味着视角 SA应在视角SB之前加以解码。在图7的实例中，使用此符号，S0＞S2＞S4＞S6＞S7。并 且，关于图7的实例，S0＞S1、S2＞S1、S2＞S3、S4＞S3、S4＞S5且S6＞S5。不违反这些 要求的视角的任何解码次序是可能的。因此，在仅有某些限制的情况下，许多不同解码 次序是可能的。下文呈现两个实例解码次序，但应理解，许多其它解码次序是可能的。 在下表9中所说明的一个实例中，尽快地解码视角。

表9

  视角ID   S0   S1   S2   S3   S4   S5   S6   S7   视角次序索引   0   2   1   4   3   6   5   7

表9的实例认识到视角S1可在已解码视角S0和S2后即刻解码，视角S3可在已解 码视角S2和S4后即刻解码，且视角S5可在已解码视角S4和S6后即刻解码。

下表10提供另一实例解码次序，其中解码次序使得用作另一视角的参考的任一视 角在未用作任何其它视角的参考的视角之前加以解码。

表10

  视角ID   S0   S1   S2   S3   S4   S5   S6   S7   视角次序索引   0   5   1   6   2   7   3   4

表10的实例认识到，视角S1、S3、S5和S7的帧不充当任何其它视角的帧的参考 帧，且因此，视角S1、S3、S5和S7可在用作参考帧的那些视角(即，图7的实例中的 视角S0、S2、S4和S6)的帧后加以解码。相对于彼此，视角S1、S3、S5和S7可以任 何次序来解码。因此，在表10的实例中，视角S7在视角S1、S3和S5中的每一者之前 加以解码。

应清楚，可能在每一视角的帧以及每一视角的帧的时间位置之间存在分级结构关 系。关于图7的实例，时间位置T0处的帧是从处于时间位置T0处的其它视角的帧来帧 内预测或视角间预测。类似地，时间位置T8处的帧是从处于时间位置T8处的其它视角 的帧而帧间预测或视角内预测。因此，关于时间分级结构，时间位置T0和T8在时间分 级结构的顶部。

在图7的实例中，时间位置T4处的帧在时间分级结构方面低于时间位置T0和T8 的帧，因为时间位置T4的帧参考时间位置T0和T8的帧而经B译码。时间位置T2和 T6处的帧在时间分级结构方面低于时间位置T4处的帧。最终，时间位置T1、T3、T5 和T7处的帧在时间分级结构方面低于时间位置T2和T6的帧。

在MVC中，可提取完整位流的子集以形成仍符合MVC的子位流。存在特定应用 基于(例如)由服务器提供的服务、一个或一个以上客户端的解码器的容量、支持和能 力和/或一个或一个以上客户端的偏好而可能需要的许多可能的子位流。举例来说，客户 端可能仅需要三个视角，且可能存在两种情形。在一个实例中，一个客户端可能需要平 滑观看体验(smooth viewing experience)且可能更喜欢具有view_id值S0、S1和S2的 视角，而另一其它客户端可能需要视角可调能力且更喜欢具有view_id值S0、S2和S4 的视角。如果最初关于表9的实例而定序view_id，那么在这两个实例中视角次序索引 值分别为{0，1，2}和{0，1，4}。注意，这些子位流均可解码为独立MVC位流且可同 时被支持。

可存在可由MVC解码器解码的许多MVC子位流。理论上，满足以下两个性质的 视角的任何组合可由符合特定简档或层的MVC解码器解码：(1)每一接入单元中的视 角分量以视角次序索引的渐增次序排序；以及(2)对于组合中的每一视角来说，其相 依视角也包括于组合中。

图8为说明用于使用用信号传递操作点的特性的数据结构的实例方法的流程图。即， 图8的方法包括使用源装置(例如，源装置20(图1))构造MPEG-2系统位流的每一 操作点的数据结构。图8的方法还包括使用所接收的数据结构来选择操作点，从所述操 作点检索多媒体数据以由目的地装置(例如，目的地装置40(图1))解码并显示。

最初，在图8的实例中，源装置20确定节目的操作点(210)。举例来说，源装置 20可选择节目的视角的各种子集以建立表示具有各种能力(例如，呈现和解码能力)的 客户端装置的各种操作点。管理员可与源装置20交互(例如)以选择视角且建立表示 具有变化的呈现和解码能力的客户端装置的操作点或可由源装置20自动建立的不同操 作点。

在确定节目的操作点之后，(例如)在位流将作为MPEG-2系统传送流被广播时， 源装置20可在节目映射表中产生操作点中的每一者的数据结构(212)。或者，在位流 将作为MPEG-2系统节目流被广播时，源装置20可在节目流映射中产生数据结构。在 任何状况下，源装置20可针对每一操作点产生表示对应操作点的特性的数据结构。举 例来说，所述数据结构可包含对应于图4-6的实例中的一者的操作点描述符。以此方式， 数据结构可用信号传递对应操作点的呈现特性、解码特性和位速率。

源装置20可接着将(例如)图8的实例中的PMT内的数据结构输出(214)到客 户端装置(例如，目的地装置40(图1))。以此方式，源装置20可输出所述数据结构 作为位流的一部分。源装置20可以广播、单播、多播、任意传播(anycast)或经由网 络(例如，经由无线或有线网络)的其它通信协议或(例如)根据符合美国高级电视制 式委员会(ATSC)标准或美国国家电视制式委员会(NTSC)标准的信号经由电视频率 的广播的形式来输出位流。或者，源装置20可将位流编码到例如DVD-ROM、蓝光光 盘、快闪盘、磁盘或其它存储媒体等计算机可读存储媒体中，在此状况下，源装置20 可形成包括操作点的数据结构的PSM且将所述PSM编码到所述计算机可读存储媒体 中。

目的地装置40可最终从源装置20接收PMT(或PSM)(216)。目的地装置40可 接着基于通过包括于PMT或PSM中的数据结构用信号传递的操作点的特性而选择操作 点中的一者(218)。大体来说，目的地装置40可选择目的地装置40满足通过对应数据 结构用信号传递的呈现和解码能力的操作点。举例来说，目的地装置40可确定视频输 出44是否能够在符合通过操作点的数据结构用信号传递的呈现能力值的帧速率下将由 数据结构指示的视角的数目呈现为待显示的视角的数目。同样，目的地装置40可确定 视频解码器48是否能够解码如通过操作点的解码能力值数据结构用信号传递的操作点 的待解码的视角的数目。此外，在一些实例中，目的地装置40可使用在数据结构中用 信号传递的位速率以(例如)基于传送媒体(目的地装置40从其接收位流)的带宽限 制而选择适于所述传送媒体的操作点。

当目的地装置40确定目的地装置40能够呈现并解码一个以上操作点时，目的地装 置40可选择用于解码和呈现的最高质量操作点。举例来说，目的地装置40可选择具有 最高数目个视角、最高位速率、最高帧速率或操作点的其它质量指示的操作点来确定要 选择哪一操作点。

在选择操作点之后，目的地装置40可从位流检索所述操作点的数据(220)。即， 目的地装置40可从包括于位流中的节目提取对应于操作点的视角中的每一者的数据。 在一些实例中，目的地装置40从位流中的一个或一个以上子位流选择数据以提取关于 操作点的数据。在提取数据之后，目的地装置可解码并显示选定操作点的数据(222)。 视频解码器48可解码操作点的待解码的视角中的每一者，而视频输出44可显示操作点 的待显示的视角中的每一者。所显示的视角可能未必为经解码的视角，如上文所描述。

在一个或一个以上实例中，所描述的功能可实施于硬件、软件、固件或其任一组合 中。如果以软件实施，那么所述功能可作为一个或一个以上指令或代码存储在计算机可 读媒体上或经由计算机可读媒体发射。计算机可读媒体可包括例如数据存储媒体等计算 机可读存储媒体或通信媒体，通信媒体包括促进将计算机程序从一处传送到另一处的任 何媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以 检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。作为 实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或 其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈 指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，任何 连接被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、 数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远 程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波 等无线技术包括于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体 不包括连接、载波、信号或其它暂时性媒体。如本文中所使用，磁盘(Disk)和光盘(disc) 包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝 光光盘，其中磁盘通常以磁性方式再现数据，且光盘使用激光以光学方式再现数据。上 述各物的组合也应包括在计算机可读媒体的范围内。

指令可由一个或一个以上处理器执行，例如，一个或一个以上数字信号处理器 (DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它 等效集成电路或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代前述结 构中的任一者或适于实施本文中所描述的技术的任何其它结构。另外，在一些方面中， 可在经配置以用于编码和解码的专用硬件和/或软件模块内提供本文中描述的功能性，或 本文中描述的功能性可并入于组合的编解码器中。并且，所述技术可完全实施于一个或 一个以上电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包括无线手持机、集成电路(IC) 或一组IC(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执 行所揭示的技术的装置的功能方面，但各种组件、模块或单元不必需要由不同硬件单元 实现。事实上，如上文所描述，各种单元可组合于编解码器硬件单元中或结合合适的软 件和/或固件由可互操作硬件单元(interoperative hardware unit)(包括如上文所描述的一 个或一个以上处理器)的集合来提供。

已描述各种实例。这些和其它实例在所附权利要求书的范围内。