提供立体视频广播服务的数据流的发送方法和接收方法

摘要

一种提供立体视频广播服务的数据流的发送方法和接收方法。提供了一种产生用于提供三维(3D)多媒体服务的数据流的方法以及用于接收所述数据流的方法和设备。所述产生方法包括：从用于提供二维(2D)多媒体服务或3D多媒体服务的节目产生包括每个视点的视频数据的至少一个基本流(ES)；产生关于所述节目的节目映射表(PMT)信息，PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息；通过对所述至少一个ES和PMT信息进行打包而产生打包的基本流(PES)包，并对PES包进行复用，来产生至少一个传输流(TS)。

说明书

本申请是向中国知识产权局提交的申请日为2011年1月28日、申请号 为201180016819.1、发明名称为“产生用于提供三维多媒体服务的数据流的 方法和设备以及用于接收所述数据流的方法和设备”的申请的分案申请。

技术领域

与示例性实施例一致的设备和方法涉及用于提供三维(3D)多媒体服务 的数据流的发送和接收。

背景技术

在基于运动图像专家组(MPEG)传输流(TS)的数字广播方法中，发送 终端将未压缩的视频数据和未压缩的音频流插入各个基本流(ES)中，对每 个ES进行复用以产生TS，并经由信道发送TS。

TS包括与ES一起的节目说明信息(PSI)。PSI典型地包括节目关联表 (PAT)信息和节目映射表(PMT)信息。提供单个节目信息的PMT信息描述针 对每个ES的包标识符(PID)，PAT信息描述用于每条PMT信息的PID。

接收终端经由信道接收TS，并通过与在发送终端中执行的处理相反的处 理来从TS提取ES。由显示装置恢复和再现包含在ES中的数字内容。

发明内容

技术问题

3D附加信息和参考信息(或3D描述符信息)被附加地插入现有技术的 MPEG TS系统的PMT信息中的视频描述符信息中，并且3D附加信息和参考信 息(或3D描述符信息)被识别和提取以被用于再现3D视频。

技术方案

根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的 数据流的方法，所述方法包括：从用于提供二维(2D)多媒体服务和3D多媒 体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES；产 生关于所述节目的节目映射表(PMT)信息，所述PMT信息包括关于所述至少 一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息； 通过对经由对所述至少一个ES进行打包而产生的打包的基本流(PES)包以 及所述PMT信息进行复用，来产生至少一个传输流(TS)。

有益效果

包括PMT信息的数据流被发送，其中，PMT信息包括3D附加信息和参考 信息(或3D描述符信息)，由于接收所述数据流的接收系统能够不管3D附加 信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务，因此所述接 收系统保持与现有技术MPEG TS系统的兼容性，另外，所述接收系统能够提 供3D多媒体服务。

此外，由于本发明可通过使用由现有技术MPEG TS系统定义的流类型信 息来设置每个ES的流类型信息，因此，与现有技术MPEG TS系统的数据流结 构相比，新的流类型可不被附加地指定附加比特，也不被分配附加比特。

附图说明

图1是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据 流的设备的框图；

图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备 的框图；

图3是根据示例性实施例的基于运动图像专家组(MPEG)传输流(TS) 系统发送数字广播的设备的框图；

图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备的框 图；

图5是根据示例性实施例的根据产生数据流的设备发送用于发送多个视 频基本流(ES)的MPEG TS的设备的框图；

图6是根据示例性实施例的根据接收数据流的设备接收用于接收多个视 频ES的MPEG TS的设备的框图；

图7是用于描述根据示例性实施例的3D复合格式的表；

图8是示出根据示例性实施例的形成3D视频的多个视点中的视频数据的 ES的各种组合的表；

图9a示出根据示例性实施例的在节目映射表(PMT)信息的3D附加信息 中的关于主ES的3D视频描述符信息中包括的关于子ES的3D视频描述符信 息的示例；

图9b示出图9a的PMT信息的流结构；

图10a示出根据示例性实施例的在PMT信息的3D附加信息中被顺序包括 的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的示例；

图10b示出图10a的PMT信息的流结构；

图11示出根据示例性实施例的使用模式转换信息的示例；

图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点 视频时的示例；

图13示出根据示例性实施例的使用宽高比信息的示例；

图14是根据示例性实施例的用于传输3D视频数据流的系统的框图，在 所述系统中，实现了用于发送数据流的设备和用于接收数据流的设备；

图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流 的方法的流程图；

图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流 的方法的流程图。

最佳实施方式

根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的 数据流的方法，所述方法包括：从用于提供二维(2D)多媒体服务和3D多媒 体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES；产 生关于所述节目的节目映射表(PMT)信息，所述PMT信息包括关于所述至少 一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息； 通过对所述至少一个ES和节目映射表信息进行打包而产生打包的基本流 (PES)包，并对PES包进行复用，来产生至少一个传输流(TS)。

产生节目映射表信息的步骤可包括：将关于主视频数据的3D附加信息插 入PMT信息的主ES的描述符信息，其中，主视频数据被插入所述至少一个 ES的主ES；将关于子视频数据的3D附加信息和参考信息中的至少一个插入 主ES的描述符信息，其中，子视频数据包括在所述至少一个ES中的子ES中， 其中，主视频数据和子视频数据可分别是第一视点视频数据和第二视点视频 数据的组合。

关于主视频数据的3D附加信息还可包括关于子ES的参考信息，所述子 ES包括子ES的流类型信息和子ES的包标识符(PID)信息中的至少一个。

插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可 包括：将来自关于子ES的参考信息的子ES的流类型信息设置为由MPEG系统 指定的补充视频流的值。

插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可 包括：如果所述至少一个ES中子ES的数量为二或更多，则根据每个子ES设 置3D附加信息和参考信息中的至少一个。

关于主视频数据的3D附加信息可包括主视频数据的图像格式信息、主视 频数据的图像格式的视点排列顺序信息、关于子ES的数量的信息中的至少一 个。

关于子视频数据的3D附加信息可包括子ES的子视频数据的图像格式信 息、主视频数据和子视频数据的显示顺序信息、针对小孩或成人的3D效果调 整信息和指示每个视点的视频数据的子视频数据的子视频索引信息。

产生PMT信息的步骤可包括：根据所述至少一个ES，将ES信息顺序地 插入PMT信息，其中，ES信息包括各ES的流类型信息、PID信息和视频流描 述符信息。

产生PMT信息的步骤还可包括：将3D视频描述符信息插入PMT信息，其 中，3D视频描述符信息包括关于包括在所述至少一个ES的主ES中的主视频 数据的3D附加信息.

插入3D视频描述符信息的步骤可包括：将关于所述至少一个ES的数量 的信息和所述至少一个ES的图像格式信息插入3D视频描述符信息。

如果所述至少一个ES的数量为1，则所述至少一个ES的图像格式信息 可指示每个视点的视频数据中的主视点视频数据和子视点视频数据被复合的 3D复合格式，如果所述至少一个ES的数量等于或大于2，则所述至少一个 ES的图像格式信息可指示每个视点的视频数据包括主视点视频数据以及关于 主视点视频数据的子视点视频数据的深度信息、关于主视点视频数据的子视 点视频数据的视差信息和子视点视频数据中的至少一个。

产生PMT信息的步骤可包括：将关于对包括在子ES中的子视频数据进行 编码和解码的方法的编解码信息插入关于所述至少一个ES中的子ES的ES信 息。

产生PMT信息的步骤可包括：将包括3D附加信息和参考信息中的至少一 个的子ES视频描述符信息插入关于所述至少一个ES中的子ES的ES信息。

插入子ES视频描述符信息的步骤可包括：将指示关于主视点视频数据的 子视点视频数据的深度信息或视差信息是否与子视点视频数据一起被同时发 送的信息以及3D混合格式信息插入子ES视频描述符信息。

插入子ES视频描述符信息的步骤可包括：将指示子视频数据是否是关于 主视点视频数据的子视点视频数据和子视点视频数据的深度信息或视差信息 中的至少一个的信息插入子ES视频描述符信息。

插入子ES视频描述符信息的步骤还可包括：如果子视点视频数据是子视 点视频数据，则将子视点视频参数插入子ES视频描述符信息中，其中，子视 点视频参数包括关于与子视点ES有关的主视点ES的PID信息以及指示子视 频数据是左视点视频数据还是右视点视频数据的信息中的至少一个。

子视点视频参数可包括指示子视点视频数据的图像尺寸的信息，从而在 再现3D多媒体服务的同时将主视点视频数据和子视点视频数据的图像尺寸 调整为相同。

插入ES信息的步骤可包括：将关于所述至少一个ES中的子ES的ES信 息中的流类型信息设置为MPEG系统指定的补充视频流的值。

插入子ES视频描述符信息可包括：如果子ES的数量等于或大于2，则 根据每个子ES设置子ES视频描述符信息。

产生PMT信息的步骤可包括：将指示3D视频数据是否包括在所述至少一 个TS中的3D通知描述符信息插入PMT信息。

3D通知描述符信息可包括：指示是否存在3D通知指示图标(用于指示 3D视频数据被包括在当前ES中)的信息、指示与当前PMT信息的当前模式 信息不同的模式信息是否包括在当前PMT信息之后的后续PMT信息中的2D/3D 模式切换信息、指示2D模式和3D模式被切换的时间点的切换时间戳信息以 及2D模式和3D模式被切换时将在屏幕上显示的消息的文本信息中的至少一 个。

产生PMT信息的步骤还可包括：将2D/3D传输信息插入PMT信息，其中， 2D/3D传输信息包括2D/3D模式信息和2D/3D模式切换信息中的至少一个， 2D/3D模式信息指示2D视频数据、3D视频数据以及2D和3D视频数据的组合 数据中的任何一个中否包括在当前ES中，2D/3D模式切换信息指示当前PMT 信息的2D/3D模式信息是否在当前PMT信息之后的后续PMT信息中被切换。

产生PMT信息的步骤可包括，如果每个视点的视频数据中的主视点视频 数据和子视点视频数据的尺寸和宽高比中的至少一个不同，则将宽高比描述 符信息插入PMT信息，其中，宽高比描述符信息包括关于在3D再现期间调整 用于显示主视点视频数据和子视点视频数据的区域的方法的修剪偏移信息。

所述方法还可包括：在将所述至少一个TS与信道同步之后，使用信息发 送将所述至少一个TS。

根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服 务的数据流的方法，所述方法包括：接收关于提供2D多媒体服务或3D多媒 体服务的节目的至少一个TS；通过对所述至少一个TS进行解复用，提取关 于节目的PES包和关于节目的PMT信息；从PMT信息提取关于包括节目的每 个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点 的视频数据的3D附加信息；通过使用提取的关于通过对PES包进行解包而提 取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES，并从所述 至少一个ES提取每个视点的视频数据。

所述方法还可包括：通过使用3D附加信息和参考信息中的至少一个，以 3D再现提取的每个视点的视频数据。

从PMT信息提取参考信息和3D附加信息的步骤可包括：从PMT信息提取 关于所述至少一个ES中的主ES的参考信息和主ES的描述符信息中的关于包 括在主ES中的主视频数据的3D附加信息中的至少一个；从主ES的描述符信 息提取关于所述至少一个ES中的子ES的参考信息和关于包括在子ES中的子 视频数据的3D附加信息中的至少一个，其中，主视频数据和子视频数据分别 是第一视点视频数据和第二视点视频数据的组合。

提取关于3D附加信息和参考信息的步骤可包括，如果子ES的数量大于 或等于2，则根据每个子ES提取3D附加信息和参考信息中的至少一个。

从PMT信息提取参考信息和3D附加信息的步骤可包括：根据所述至少一 个ES，从PMT信息顺序地提取ES信息，其中，所述ES信息包括各ES的流 类型信息以及包括参考信息(包括PID信息)和3D附加信息中的至少一个的 视频流描述符信息。

从PMT信息提取参考信息和3D附加信息的步骤还可包括：从关于主视点 ES的ES信息中，提取包括关于每个视点的视频数据的3D附加信息的3D视 频描述符信息，其中，主视点ES包括所述至少一个ES中的每个视点的视频 数据中的主视点视频数据.

从PMT信息提取参考信息和3D附加信息的步骤还可包括：从关于所述至 少一个ES中的子ES的ES信息中，提取包括参考信息和3D附加信息中的至 少一个的子ES视频描述符信息。

在提取ES信息的步骤中，关于所述至少一个ES中的子ES的ES信息中 的流类型信息可被设置为由运动图像专家组(MPEG)系统指定的补充视频流 的值。

从PMT信息提取参考信息和3D附加信息的步骤可包括：从PMT信息提取 指示3D视频数据是否是包括在所述至少一个TS中的3D通知描述符信息。

从PMT信息提取3D附加信息和参考信息的步骤可包括：从PMT信息提取 2D/3D模式信息和2D/3D模式切换信息中的至少一个。

从PMT信息提取3D附加信息和参考信息的步骤还可包括：从PMT信息提 取指示修剪偏移信息的宽高比描述符。

再现的步骤可包括：恢复3D多媒体服务的3D视频的主视点视频数据和 子视点视频数据；通过使用参考信息和3D附加信息中的至少一个将主视点视 频数据和子视点视频数据的格式转换为可由3D显示装置再现的3D再现格式， 来再现主视点视频数据和子视点视频数据。

再现的步骤可包括：恢复第一视点视频数据和第二视点视频数据，其中， 第一视点视频数据是3D多媒体服务的3D视频的主视点视频数据和2D视频数 据之一，第二视点视频数据包括3D视频的子视点视频数据以及主视点视频数 据与子视点视频数据之间的差信息、深度信息和视差信息中的至少一个；通 过使用参考信息和3D附加信息中的至少一个将第一视点视频数据和第二视 点视频数据的格式转换为可由3D视频装置再现的3D再现格式，来再现第一 视点视频数据和第二视点视频数据。

再现的步骤可包括：恢复构成3D复合格式数据的第一视点视频数据和构 成主视点视频数据和子视点视频数据之间的差信息、深度信息和视差信息之 一的第二视点视频数据，其中，在3D复合格式数据中，3D多媒体服务的3D 视频的主视点视频数据和子视点视频数据被复合；通过使用3D附加信息将第 一视点视频数据和第二视点视频数据的格式转换为可由3D显示装置再现的 3D再现格式，来再现第一视点视频数据和第二视点视频数据。

恢复的步骤可包括：通过使用第一视点视频数据和第二视点视频数据来 产生主视点视频数据和子视点视频数据的中间视点视频数据，再现第一视点 视频数据和第二视点视频数据的步骤包括：通过使用参考信息和3D附加信息 中的至少一个将第一视点视频数据、中间视点视频数据和第二视点视频数据 的格式转换为3D再现格式，来再现第一视点视频数据、中间视点视频数据和 第二视点视频数据。

再现的步骤可包括：恢复形成3D视频的多条2D视频数据；通过使用参 考信息和3D附加信息中的至少一个，选择性地以画中画(PIP)再现模式再 现所述多条2D视频数据。

所述方法还可包括：通过对提取的每个视点的视频数据进行解码和恢复， 使用参考信息和3D附加信息中的至少一个，来以3D再现提取的每个视点的 视频数据，其中，再现的步骤可包括：基于宽高比描述符信息中的修剪偏移 信息，修剪主视点视频数据超出子视点视频数据的区域，通过使用修剪的主 视点视频数据和子视点视频数据来以3D再现提取的每个视点的视频数据。

所述方法还可包括：通过使用参考信息和3D附加信息中的至少一个，来 以3D再现提取的每个视点的视频数据，其中，再现的步骤可包括：基于宽高 比描述符信息中的修剪偏移信息，使用各主视点视频数据来填充比主视点视 频数据更小的子视点视频数据的区域来产生扩展的子视点视频数据；通过使 用主视点视频数据和扩展的子视点视频数据来以3D再现提取的每个视点的 视频数据。

根据另一示例性实施例的一方面，提供了一种产生用于提供3D多媒体服 务的数据流的设备，所述设备包括：ES产生器，从用于提供2D多媒体服务 和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少 一个ES；PMT产生器，产生关于所述节目的PMT信息，所述PMT信息包括关 于所述至少一个ES的参考信息和用于根据视点识别和再现每个视点的视频 数据的3D附加信息；TS产生器，通过对所述至少一个ES和PMT信息进行打 包而产生PES包，并对PES包进行复用，来产生至少一个TS；信道发送器， 对所述至少一个TS进行同步并使用信道发送所述至少一个TS。

根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服 务的数据流的设备，所述设备包括：TS接收器，接收关于提供2D多媒体服 务和3D多媒体服务中的至少一个的节目的至少一个TS；TS解复用器，通过 对所述至少一个TS进行解复用，提取关于节目的基本PES包和关于节目的 PMT信息；PMT 3D附加信息提取器，从PMT信息提取关于包括节目的每个视 点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视 频数据的3D附加信息；ES恢复器，通过使用提取的关于通过对PES包进行 解包而提取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES， 并从所述至少一个ES提取每个视点的视频数据；再现器，通过使用3D附加 信息和参考信息中的至少一个，对提取的每个视点的视频数据进行解码和恢 复，并以3D再现恢复的每个视点的视点数据。

根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行产 生用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。

根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行接 收用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。

具体实施方式

以下，将参照附图更完整地描述示例性实施例。应理解，当诸如“中的 至少一个”的表述出现在列出的元件之后时，其修饰列出的全部元件而不是 修饰列出的单个元件。此外，在此使用的“单元”可被实施为硬件组件和/ 或由计算机或硬件处理器执行的软件组件。

图1是根据示例性实施例的产生用于提供三维(3D)多媒体服务的数据 流的设备100的框图。

设备100包括基本流(ES)产生器110、节目映射表(PMT)产生器120、 传输流(TS)产生器130和信道发送器140.

ES产生器110接收2D视频和3D视频中的至少一个的每个视点的视频数 据，并产生包括每个视点的视频数据的至少一个ES。接收的每个视点的视频 数据以及与每个视点的视频数据有关的音频数据和子数据形成节目，ES产生 器110可产生关于每个视点的视频数据和音频数据的ES，以形成用于提供2D 或3D多媒体服务的节目。

用于3D多媒体服务的每个视点的视频数据可包括主视点视频数据和至 少一条子视频数据。子视频数据可以是子视点视频数据本身、主视点视频数 据和子视点视频数据被组合的3D复合格式的视频数据、主视点视频数据和子 视点视频数据之间的深度信息、视差信息或主视点视频数据和子视点视频数 据之间的差信息。

ES产生器110可将每个视点的多条视频数据插入每个ES。针对一个节目 的视频数据的ES可包括主ES和至少一个子ES。3D复合模式的主视点视频数 据或视频数据可被插入主ES。子视频数据可被插入子ES。

PMT产生器120产生关于与ES产生器110产生的ES有关的节目的PMT 信息。PMT信息可包括关于数据(诸如用于形成节目的视频数据、音频数据 和子数据)的参考信息。参考信息可以是包括所述数据的TS的包标识符(PID) 信息和流类型信息中的至少一个。当插入了针对一个节目的每个视点的视频 数据的多个ES被产生时，PMT信息可包括根据所述多个ES的PID信息和流 类型信息中的至少一个。

PMT产生器120将参考信息和3D附加信息中的至少一个插入PMT信息， 其中，从至少两个视点的视频形成各个节目的3D视频的特性得到所述参考信 息和3D附加信息中的至少一个。3D附加信息可被用于识别和再现根据多个 视点的各个节目的每个视点的视频数据。当插入了针对一个节目的每个视点 的视频数据的多个ES被产生时，可根据所述多个ES设置所述参考信息和3D 附加信息中的至少一个。

可针对每个ES设置ES的流类型信息。PMT产生器120可将插入了各个 视频数据的主ES和子ES的流类型信息插入参考信息。例如，当设备100基 于MPEG TS系统时，可通过使用在MPEG TS系统中设置的流类型信息来设置 主ES的流类型信息和子ES的流类型信息。

PMT产生器120可将3D附加信息和参考信息中的至少一个插入来自PMT 信息的关于各个ES的描述符信息。PMT产生器120可产生具有以下结构的PMT 信息：所述结构根据PMT信息中的主ES和子ES的3D附加信息或参考信息的 位置而改变。

在根据第一示例性实施例的PMT信息中，主ES的3D附加信息包括子ES 的3D附加信息和参考信息中的至少一个。

PMT产生器120可将子ES的3D附加信息和参考信息中的至少一个插入 来自根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息中。 换句话说，主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信 息具有分层关系。

根据第二示例性实施例的PMT信息顺序地包括关于每个ES的ES信息。 PMT产生器120可将3D子描述符信息插入来自根据第二示例性实施例的PMT 信息的关于子ES的ES信息或关于主ES的ES信息中。换句话说，主ES的 3D附加信息或参考信息与子ES的3D附加信息或参考信息具有平行关系。

例如，3D附加信息可包括关于每个视点的视频数据的信息，诸如被插入 各个ES中的视频数据的视点标识信息、3D复合模式信息、视点优先级信息 和编解码器信息。稍后将参照图9a和图9b以及表5和表6来描述根据第一 示例性实施例的PMT信息以及相关的参考信息和3D附加信息。稍后将参照图 10a和图10b以及表7至表20来描述根据第二示例性实施例的PMT信息以及 相关的参考信息和3D附加信息。

PMT产生器120可将指示视频数据是否被插入TS的2D/3D模式信息、 2D/3D模式切换通知信息或2D/3D通知描述符信息插入PMT信息。稍后将参 照表3、表4、表21和表22以及图11来描述与关于2D/3D模式或2D/3D模 式切换的3D附加信息有关的细节。

如果主视点视频数据和子视点视频数据的尺寸或宽高比不同，则PMT产 生器120可将宽高比描述符信息和修剪偏移信息插入PMT信息，所述宽高比 描述符信息和修剪偏移信息与调整用于在3D再现期间显示主视点视频数据 和子视点视频数据的区域的方法有关。稍后将参照表23以及图12和图13来 描述与关于修剪偏移或宽高比的3D附加信息有关的细节。

TS产生器130通过对从ES产生器110接收的至少一个ES进行打包来产 生打包的基本流(PES)包。TS产生器130可通过对PES包和从PMT产生器 120接收的PMT信息进行复用来产生TS。

信道发送器140将从TS产生器130接收的TS与信道同步，并通过该信 息发送同步的TS。将在稍后参照图5描述产生单个节目、PES包和TS的处理 的同时详细描述关于ES产生器110、TS产生器130和信道发送器140的操作。

图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备 200的框图。

设备200包括TS接收器210、TS解复用器220、PMT附加信息提取器230、 ES恢复器240和再现器250。

TS接收器210通过预定信道接收关于用于提供2D或3D多媒体服务的节 目的TS。TS解复用器220对从TS接收器210接收的TS进行解复用，并提取 关于该节目的PES包和关于该节目的PMT信息。PMT附加信息提取器230从 由TS解复用器220提取的PMT信息中提取关于包括该节目中的每个视点的视 频数据的TS或至少一个ES的参考信息。

ES恢复器240通过对由TS解复用器220提取的PES包进行解包来恢复 ES。这里，可通过使用从PMT信息提取的关于ES的参考信息来分别恢复插入 了相同类型的数据的多个ES。ES恢复器240从ES提取节目的每个视点的视 频数据。类似地，ES恢复器240可通过恢复音频ES来提取音频数据。

PMT附加信息提取器230从由TS解复用器220提取的PMT信息提取关于 2D或3D视频的每个视点的视频数据的3D附加信息和参考信息中的至少一个。

如果存在插入了一个节目的每个视点的视频数据的多个ES，则PMT附加 信息提取器230可提取根据所述多个ES的3D附加信息和参考信息中的至少 一个。

PMT附加信息提取器230可从参考信息提取关于各个ES的流类型信息。 例如，如果设备200基本MPEG TS系统，则可通过使用由MPEG TS系统定义 的流类型信息设置关于主ES的流类型信息和关于子ES的流类型信息。

PMT附加信息提取器230可从PMT信息中的关于各个ES的描述符信息中 提取3D附加信息和参考信息中的至少一个。PMT附加信息提取器230可从具 有以下结构的PMT信息提取关于主ES和子ES的3D附加信息和参考信息中的 至少一个：所述结构基于PMT信息中的3D附加信息和参考信息的位置而改变。 例如，可存在根据第一示例性实施例的PMT信息，其中，所述PMT信息包括 在关于主ES的3D附加信息的下层中的关于子ES的3D附加信息和参考信息， 可存在根据第二示例性实施例的PMT信息，其中，所述PMT信息根据多个ES 顺序地包括至少一个ES中的每一个ES的3D附加信息和参考信息。

PMT附加信息提取器230可从根据第一示例性实施例的PMT信息中的关 于主ES的3D子描述符信息提取关于子ES的3D附加信息和参考信息中的至 少一个。

PMT附加信息提取器230可从根据第二示例性实施例的PMT信息的关于 子ES的ES信息或关于主ES的ES信息提取3D子描述符信息。

例如，PMT附加信息提取器230可从3D附加信息提取关于每个视点的视 频数据的信息，诸如被插入到各个ES的视频数据的视点标识信息、3D复合 格式信息、视点优先级信息、每个视点的视频数据的尺寸信息和编解码器信 息。PMT附加信息提取器230可从PMT信息提取指示在TS中是包括2D视频 数据还是包括3D视频数据的2D/3D模式信息、2D/3D模式切换通知信息或3D 通知描述符信息。

PMT附加信息提取器230可从PMT信息提取与调整用于在3D再现期间显 示主视点视频数据和子视点视频数据的区域的方法有关的宽高比描述符信息 和修剪偏移信息。如果主视点视频数据和子视点视频数据的尺寸或宽高比不 同，则宽高比描述符信息和修剪偏移信息可被用于在使用主视点视频数据和 子视点视频数据进行3D再现期间将每个视点的视频数据的尺寸调整为相同。

再现器250对由ES恢复器240提取的每个视点的视频数据进行解码和恢 复，并以3D再现通过使用由PMT附加信息提取器230提取的3D附加信息和 参考信息中的至少一个而恢复的3D视频图像。

再现器250可将从主ES和子ES提取的每个视点的视频数据的格式转换 为将由再现器250再现的3D再现格式。例如，再现器250从主ES提取主视 点视频数据，从子ES提取子视点视频数据。再现器250可将提取的主视点视 频数据和子视点视频数据的格式转换为3D再现格式，以再现提取的主视点视 频数据和子视点视频数据。

可选地，再现器250可从主ES提取主视点视频数据，从子ES提取子视 点视频数据、深度信息、视差信息和差信息。可选地，再现器250可从主ES 提取具有3D复合格式的视频数据，从子ES提取深度信息、视差信息和差信 息中的至少一个。这里，再现器250可从提取的视频数据恢复主视点视频数 据和子视点视频数据，将主视点视频数据和子视点视频数据的格式转换为3D 再现格式，并再现主视点视频数据和子视点视频数据。

由于设备100产生的PMT信息可包括根据包括3D视频数据的多个ES的 ES信息以及3D附加信息和参考信息中的至少一个，因此，3D附加信息和参 考信息中的所述至少一个与3D视频数据流一起被发送和接收。因此，3D视 频可被接收器精确地再现。接收器可以是机顶盒、显示装置或包括多媒体处 理器的计算机。

在现有技术的MPEG TS系统中，假设关于2D视频的TS，因此在一条PMT 信息中仅设置关于一个视频的描述符信息。

设备100另外将3D附加信息和参考信息(或3D描述符信息)附加地插 入现有技术的MPEG TS系统的PMT信息中的视频描述符信息，因此，包括设 备200的接收器可识别和提取将被用于再现3D视频的3D附加信息和参考信 息(或3D描述符信息)。此外，由于符合现有技术的MPEG TS系统的接收系 统不能够识别3D附加信息和参考信息(或3D描述符信息)，因此所述接收系 统仅读取和使用现有技术的描述符信息。

因此，设备100发送包括PMT信息的数据流，其中，PMT信息包括3D附 加信息和参考信息(或3D描述符信息)，由于接收所述数据流的接收系统能 够不管3D附加信息和参考信息(或3D描述符信息)而仅提供2D多媒体服务， 因此所述接收系统保持与现有技术MPEG TS系统的兼容性，另外，包括设备 200的接收器提供3D多媒体服务。

此外，由于设备100和200可通过使用由现有技术的MPEG TS系统定义 的流类型信息来设置每个ES的流类型信息，与现有技术的MPEG TS系统的数 据流结构相比，新的流类型可不被附加地指定附加比特，也不被分配有附加 比特。

图3是根据示例性实施例的基于MPEG TS系统发送数字广播的设备300 的框图。

在设备300中，单节目编码器310产生包括视频TS和音频TS的单节目 TS，复用器(MUX)380通过使用由多个单节目编码器310产生的至少一个单 节目TS来产生和发送多节目TS(MP TS)。由于设备300基于使用多模式服 务(MMS)模式的MPEG TS系统，因此通过对单节目TS进行复用而产生的多 节目TS可被发送，从而发送多个节目。

单节目编码器310包括视频编码器320、音频编码器330、打包器340 和350以及MUX 360。

视频编码器320和音频编码器330分别对未压缩的视频数据和未压缩的 音频数据进行编码，从而分别产生和输出视频ES和音频ES。单节目编码器 310的打包器340和350分别对视频ES和音频ES进行打包，并通过插入PES 头来分别产生视频PES包和音频PES包。

MUX 360对视频PES包、音频PES包和各种子数据进行复用以形成第一 单节目TS(SP TS1)。PMT信息可与视频PES包和音频PES包一起被复用以被 包括在第一单节目TS中。PMT信息被包括在每个单节目TS中以描述每个TS 的PID信息。

MUX 380可将多个单节目TS(SP TS1，SP TS2等)与节目关联表(PAT) 信息复用以形成一个多节目TS(MP TS)。

由节目说明信息(PSI)以及节目和系统信息协议(PSIP)产生器370 产生PMT信息和PAT信息。

PAT信息和PSIP可被插入多节目TS。PAT信息描述与包括在各个多节目 TS中的单节目TS有关的PMT信息的PID信息。

图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备400 的框图。

设备400接收数字数据流，从数字数据流提取视频数据、音频数据和子 数据。

数字TS(DTV)调谐器410基于信道选择信号(物理信道选择)调谐到 观看者选择的信道的无线电频率，选择性地提取通过相应无线电波接收的信 号。

信道解码器和解调器420从信道信号提取多节目TS(MP TS)。由于设备 400基于使用MMS方法的MPEG TS系统，因此设备400可接收多节目TS，并 将多节目TS解复用为多个单节目TS。解复用器(DEMUX)430将多节目TS分 为多个单节目TS(SP TS1，SP TS2等)和PSIP。

通过观看者的节目选择信号(节目选择)而选择的第一单节目TS(SP TS1) 通过单节目解码器440被解码。单节目解码器440以与单节目编码器310相 反的顺序进行操作。从第一单节目TS恢复视频PES包、音频PES包和子数据。 视频PES包和音频PES包分别通过解包器460和465被恢复为ES形式，视频 ES和音频ES分别通过视频解码器470和音频解码器475被恢复为视频数据 和音频数据。通过使用显示处理器480，视频数据可被转换为可显示的格式。

时钟恢复和音频-视频(AV)同步单元490可通过使用从第一单节目TS提 取的节目时钟参考(PCR)信息和时间戳信息来同步视频数据和音频数据的再 现时间。

从多节目TS(MP TS)提取的PSIP基于由用户输入的节目选择信号与节 目指南数据库445进行比较，从而从节目指南数据库445中搜索与节目选择 信号相应的信道和节目。找到的信道和节目可分别被输出到DTV调谐器410 和DEMUX 430。此外，由于同屏显示信息从节目指南数据库445被发送到显 示处理器480，因此同屏显示操作可被支持。

参照图1描述的设备100产生关于一个节目的包括3D视频的每个视点的 视频数据、音频数据和子数据的TS(即，单节目TS)，但设备100的操作不 限于一个视频。换句话说，如果多条视频数据、音频数据和子数据被输入， 则设备100可产生包括多个视频的单个节目TS。

图5是根据示例性实施例的发送用于发送根据设备100的多个视频ES 的MPEG TS的设备500的框图。

通过扩展设备100来提供用于支持在一个节目中包括多个视频的MPEG  TS的设备500。换句话说，设备500的单节目编码器510和MUX 580的操作 相应于设备100的ES产生器110和TS产生器130的操作，设备500的PSI 和PSIP产生器570的操作相应于设备100的PMT产生器120的操作，设备 500的信道编码器和调制器590以及DTV发送器595的操作相应于设备100 的信道发送器140的操作。

单节目编码器510接收3D视频的第一视频(视频1)、第二视频(视频2) 和第三视频(视频3)，并分别通过视频编码器520、530和540产生第一视 频ES(视频ES 1)、第二视频ES(视频ES 2)和第三视频ES(视频ES 3)。 第一视频、第二视频和第三视频可分别是第一视点视频、第二视点视频和第 三视点视频，或可以是第一视点视频、第二视点视频和第三视点视频中的至 少一个的组合。

视频编码器520和530可独立地遵循视频编码方法。例如，可根据MPEG-2 视频编码方法对第一视频和第二视频进行编码，可根据MPEG先进视频编码 (AVC)/H.264视频编码方法对第三视频进行编码。

第一视频ES、第二视频ES和第三视频ES可分别通过打包器525、535 和545被打包为第一视频PES包(视频PES 1)、第二视频PES包(视频PES 2) 和第三视频PES包(视频PES 3)。

单节目编码器510可接收音频，并通过音频编码器550将音频转换为音 频ES(音频ES)，音频ES可通过打包器555被转换为音频PES包(音频PES)。

单节目编码器510的MUX 560可通过将第一至第三视频PES包和音频PES 包复用在一起来输出第一单节目TS(SP TS 1)。MUX 560可将由单节目编码 器510接收的各种类型的子数据以及由PSI和PSIP产生器570产生的PMT信 息与第一至第三视频PES包和音频PES包一起插入第一单节目TS。

另一条3D视频数据可被复用到第二单节目TS(SP TS 2)。PSI和PSIP 产生器570可产生PAT信息，PAT信息包括在第一和第二单节目TS中包括的 PMT信息的PID信息以及关于各种节目和系统信息的PSIP。MUX 580可通过 将第一和第二单节目TS以及PAT信息复用来输出一个多节目TS(MP TS)。

信道编码器和调制器590可根据信道对多节目TS进行编码和同步。DTV 发送器595可发送分配给信道的TS。

单节目编码器510可根据独立的数字数据通信方法产生每个TS。可根据 多个节目，基于相同或不同的数字数据通信方法来产生和发送多个TS。例如， 先进电视系统委员会(ATSC)地面广播通信方法支持先进残留边带(E-VSB) 方法，其中，E-VSB方法可通过使用与MPEG方法不同的方法来形成TS。然而， 如MPEG方法中所执行的，E-VSB产生关于节目的PMT信息，并将PMT信息插 入TS。因此，第一单节目TS可被发送为MPEG TS，第二单节目TS可被发送 为E-VSB TS，包括关于形成每个节目的每个视点的视频数据的3D附加信息 的PMT信息可被插入第一和第二单节目TS。

参照图2描述的设备200接收关于一个节目的TS，即，单节目TS，但是 设备200的操作不限于一个节目。换句话说，设备可接收根据关于多个节目 的节目的TS，从多个TS提取根据多个节目的PMT信息，并提取所述多个节 目的视频数据、音频数据和子数据。

现在将参照图6描述支持MPEG TS的设备200，在MPEG TS中，节目包 括多个视频。

图6是根据示例性实施例的接收用于根据设备200接收多个视频ES的 MPEG TS的设备600的框图。

通过扩展设备200来提供用于支持MPEG TS的设备600，在所述MPEG TS 中，一个节目包括多个视频。换句话说，设备600的信道解码器和解调器615、 DEMUX 620以及单节目解码器630的操作分别相应于设备100的TS接收器 210、TS解复用器220、PMT附加信息提取器230和ES恢复器240的操作。

DTV调谐器610选择性地提取通过由观看者选择的信道的无线电波接收 的信号。信道解码器和解调器615从信道信号提取多节目TS。多节目TS通 过DEMUX 620被分为多个单节目TS(SP TS 1、SP TS 2等)和PSIP。

单节目解码器630对由观看者选择的第一单节目TS(SP TS 1)进行解 码。第一单节目TS被解复用以恢复第一视频PES包(视频PES 1)、第二视 频PES包(视频PES 2)、第三视频PES包(视频PES 3)、音频PES包(音频 PES)和子数据(数据)。第一视频PES至第三视频PES包分别通过解包器650、 660和670被恢复为第一视频ES(视频ES 1)、第二视频ES(视频ES 2)和 第三视频ES(视频ES 3)，第一视频ES至第三视频ES分别通过视频解码器 653、663和673被恢复为第一视频、第二视频和第三视频。第一视频至第三 视频可分别通过显示处理器655、665和675被转换为可显示的格式。

音频PES包通过解包器680和音频解码器683被恢复为音频数据。

时钟恢复和AV同步单元690可通过使用从第一单节目TS提取的PCR信 息和时间戳信息来同步视频数据和音频数据的再现时间。

基于由用户输入的节目选择信号，关于与用户的节目选择信号相应的信 道和节目的信号可从节目指南数据库635被发送到DTV调谐器610和DEMUX 620。此外，同屏显示信息可从节目指南数据库635被发送到显示处理器655、 665和675。

因此，设备600可提取与通过一个信道接收的3D视频的第一视频至第三 视频和音频有关的一个多节目TS，对该多节目TS进行解复用，选择性地提 取期望的单节目TS。此外，设备600可从提取的单节目TS选择性提取关于 3D视频的第一至第三视频的视频ES，以恢复期望的视频数据。

这里，设备600可从第一单节目TS提取PMT信息，并从PMT信息提取关 于节目的3D视频的3D附加信息或3D描述符信息。可通过使用3D附加信息 或3D描述符信息精确地识别形成3D视频的每个视点的视频数据，来精确地 再现3D视频。

被插入由设备100产生并由设备200接收的TS的有效载荷的3D视频数 据包括3D视频的每个视点的视频数据。为了便于描述，包括左视点视频和右 视点视频的立体图像被用作3D视频。然而，3D视频不限于立体图像，并可 以是具有至少三个视点的视频。

3D视频数据可具有3D复合格式或3D混合格式，其中，在3D复合格式 中，3D视频的左视点图像数据和右视点图像数据均被插入一个图像中，在3D 混合格式中，左视点图像数据、右视点图像数据、深度信息、视差信息和差 信息中的至少三个的组合被插入至少两个图像中。现在将参照图7和图8详 细描述3D复合格式和3D混合格式。

图7是用于描述根据示例性实施例的3D复合格式的表。

3D复合格式的示例包括并排格式、顶部和底部格式、垂直线交错 (vertical line interleaved)格式、水平线交错(horizontal line  interleaved)格式、场顺序格式和帧顺序格式。

并排格式是相互对应的左视点图像和右视点图像被分别布置在3D复合 格式的图像的左侧区域和右侧区域的图像格式。顶部和底部格式是相互对应 的左视点图像和右视点图像被分别布置在3D复合格式的图像的顶部区域和 底部区域的图像格式。

垂直线交错格式是相互对应的左视点图像和右视点图像被分别布置在 3D复合格式的图像的奇数垂直线和偶数垂直线的图像格式。水平线交错格式 是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的 奇数水平线和偶数水平线的图像格式。

场顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复 合格式的图像的奇数场和偶数场的图像格式，帧顺序格式是相互对应的左视 点图像和右视点图像被分别布置在3D复合格式的图像的奇数帧和偶数帧的 图像格式。

具有并排格式、顶部和底部格式、垂直线交错格式和水平线交错格式的 3D图像具有分辨率为原始图像的一半的左视点图像和右视点图像。

当在3D复合格式中，3D视频数据被插入一个ES而不是子ES时，3D附 加信息可包括指示当前3D视频数据的图像格式的类型的3D复合格式信息 (1ES_format)。换句话说，基于被插入当前ES的3D视频数据的3D复合格 式是并排格式、顶部和底部格式、垂直线交错格式、水平线交错格式、场顺 序格式还是帧顺序格式，3D复合格式信息的值可被指定为如图7所示的3个 比特。

图8是示出根据示例性实施例的在形成3D视频的多个视点中的视频数据 的多个ES的各种组合的表。

当3D视频数据被插入至少两个ES时，可插入具有3D混合格式的视频数 据，其中，在3D混合格式中，左视点视频数据、右视点视频数据、深度信息、 祥信息或差信息被插入每个ES。

3D混合格式的类型可以是这样的格式：当存在两个ES时，左视点视频 数据被插入第一ES，子视频数据被插入第二ES。在第一混合格式、第二混合 格式和第三混合格式中，被插入第二ES的子视频数据可以是深度信息、视差 信息或右视点视频数据。

可选地，3D混合格式的类型可以是这样的格式：当存在至少两个ES时， 左视点视频数据被插入第一ES，右视点视频数据以及深度信息和视差信息中 的任何一个被插入第二ES或第三ES。在第四混合格式中，右视点视频数据 被插入第二ES，深度信息被插入第三ES。在第五混合格式中，深度信息被插 入第二ES，右视点视频数据被插入第三ES。在第六混合格式中，右视点视频 数据和深度信息被复合为一个图像的子视频数据被插入第二ES。在第七混合 格式中，右视点视频数据被插入第二ES，视差信息被插入第三ES。在第八混 格式中，视差信息被插入第二ES，右视点视频数据被插入第三ES。在第九混 合格式中，右视点视频数据和视差信息被复合为一个图像的子视频数据被插 入第二ES。

在图8中示出的3D混合格式仅是一个示例，3D混合格式的组合和顺序 不限于图8。

当3D视频数据被插入至少两个ES时，3D附加信息可包括指示当前3D 视频数据的图像格式的类型的3D混合格式信息(multi_ES_format)。换句话 说，基于被插入当前ES的3D视频数据的3D混合格式，即，指示第一至第九 混合格式中的哪一个是3D混合格式，3D混合格式信息的值可被指定为如图8 所示的4比特。

以下的表1示出MPEG TS系统的PMT信息的语法。设备100和200使用 TS和PMT信息，但TS的结构可在除了MPEG TS系统以外的数字通信方法中 被使用。因此，被插入TS并由设备100和200使用的PMT信息不限于表1。

表1

语法 TS_program_map_section{ table_id section_syntax_indicator ‘0’ reserved section_length program_number reserved version_number

current_next_indicator section_number last_section_number reserved PCR_PID reserved program_info_lengh for(i＝0；i<N；i++){ descriptor() } for(i＝0；i<N1；i++){ stream_type reserved elementary_PID reserved ES_info_length for(j＝0；j<N2；j++){ descriptor() } } CRC_32 }

表3的2D/3D模式信息(“2d/3d_mode”)和表4的2D/3D模式切换通知 信息(“notice_indicator”)可被插入PMT信息的语法的保留信息 (“reserved”)。

PMT信息的语法的第一for循环是包括关于由当前PMT信息描述的节目 的各种特征的信息的节目循环。表21的3D模式描述符信息 (“3D_mode_descriptor()”)可被插入节目循环的描述符区 (“descriptor()”)。

PMT信息的语法的第二for循环是包括关于由当前PMT信息描述的ES的 各种特征的信息的ES循环。表5的3D流描述符信息 (“3d_stream_descriptor()”)、表21的3D模式描述符信息 (“3D_mode_descriptor()”)和表22的2D/3D模式切换通知描述符信息 (“3D_notice_descriptor()”)可被插入ES循环的描述符区域 (“descriptor()”)。

流类型信息(“stream_type”)指示相应ES的流类型。以下的表2指示 由MPEG TS系统的ISO/IEC 13818-1标准定义的流类型以及指定给每个流类 型的值。

表2

在每个ES循环中的流类型信息可根据相应ES的类型被设置为表2的任 何流类型。表2的流类型是由设备100和200可选择的ES的流类型的示例， 可选择的流类型不限于表2。

与表1的PMT信息的语法相比，现在将参照图9a、图9b、图10a和图 10b详细描述根据PMT信息中的3D附加信息的位置而分类的根据第一和第例 性实施例的PMT信息的结构。

图9a示出根据示例性实施例的PMT信息900的3D附加信息中的包括在 关于主ES的3D视频描述符信息中的关于子ES的3D视频描述符信息的示例。

根据第一示例性实施例的PMT信息900包括关于第一视频ES的第一ES 循环(视频1ES循环)。第一ES循环910可包括关于第一视频ES的流类型 信息(视频1流类型)、PID信息(视频1PID)和第一视频描述符信息(视 频1描述符)915。第一视频描述符信息915可包括关于第二视频ES的第二 ES循环(视频2ES循环)920和关于第三视频ES的第三ES循环(视频3ES 循环)930。

第二ES循环920和第三ES循环930可分别包括以下信息：包括关于第 二视频ES的2D附加信息的第二视频描述符信息(视频2描述符)925以及 包括关于第三视频ES的3D附加信息的第三视频描述符信息(视频3描述符) 935。

根据第一示例性实施例的PMT信息900还可包括关于音频ES的音频ES 循环(音频ES循环)940。音频ES循环940可包括关于音频ES的流类型信息 (音频流类型)、PID信息(音频PID)和音频描述符信息(音频描述符)945。

换句话说，表1的PMT信息的第二for循环相应于第一ES循环910。第 一视频描述符信息915被插入第二for循环的描述符区，同时，第二ES循环 920和第三ES循环930被插入第一视频描述符信息915的更低层。因此，第 二视频描述符信息925和第三视频描述符信息935可被插入第二for循环的 描述符区。换句话说，可在第一视频描述符信息915、第二视频描述符信息 925和第三视频描述符信息935之间形成分层结构。

图9b示出图9a的PMT信息900的流结构。

根据第一示例性实施例的PMT信息的PMT流950包括第一视频ES(视频 1ES)循环955。第一视频ES循环955包括“stream_type”字段951、 “Elementary_PID”字段952、“ES_info_length”字段953和“Descriptors” 字段954。相应信息被插入每个字段。

第一ES描述符信息960被插入第一视频ES循环955的“Descriptors” 字段954。第一ES描述符信息960包括“Descriptor_tag”字段961、 “Descritor_length”字段962、“Main_Video_format”字段963、 “L/R_first”字段964和“num_of_sub_stream”字段965。关于第一视频 的图像格式的信息可被插入“Main_Video_format”字段963，3D复合格式中 的左视点图像和右视点图像的视点排列顺序信息可被插入“L/R_first”字段 964，关于子ES的数量的信息可被插入“num_of_sub_stream”字段965。

在第一视频ES循环955的“Descriptor”字段954中，第二视频ES(视 频2ES)循环970和第三视频ES(视频3ES)980可作为第一ES描述符信 息960的下层被包括在第一ES描述符信息960之后。。与 “num_of_sub_stream”字段965的值相应的多个子ES循环可被包括在第一 视频ES循环955的“Descriptors”字段954中，在第一ES描述符信息960 之后。

第二视频ES循环970和第三视频ES循环980可分别包括 “sub_stream_type”字段971和981、“sub_video_PID”字段972和982、 “sub_video_For,at”字段973和983、“picture_display_order”字段974 和984、“sub_view_info”字段975和985和“sub_view_index”字段976 和986。

第二视频ES和第三视频ES的流类型信息可被分别插入 “sub_stream_type”字段971和981、第二视频ES和第三视频ES的PID信 息可被插入“sub_video_PID”字段972和982，第二视频数据和第三视频数 据的图像格式信息可被插入“sub_video_Format”字段973和983。关于根 据形成包括第一视频、第二视频和第三视频的3D视频的每个视点的视频数据 的视点的再现顺序的信息可被插入“picture_display_order”字段974和 984。用于针对小孩或成人调整3D效果的信息可被插入“sub_view_info”字 段975和985，子视频中的第二视频和第三视频的索引信息可被插入 “sub_view_index”字段976和986。

图10a示出根据示例性实施例的在PMT信息1000的3D附加信息中顺序 包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的 示例。

关于第一视频ES的第一ES循环(视频1ES循环)1010、关于第二视频 ES的第二ES循环(视频2ES循环)1020、关于第三视频ES的第三ES循环 (视频3ES循环)1030和关于音频ES的音频ES循环1040可被顺序地插入 根据示例性实施例的PMT信息1000中。

第一ES循环1010可包括关于第一视频ES的流类型信息(视频1流类型)、 PID信息(视频1PID)和第一视频描述符信息(视频1描述符)1015。

类似地，第二ES循环1020可包括关于第二视频ES的流类型信息(视频 2流类型)、PID信息(视频2PID)和第二视频描述符信息(视频2描述符) 1025，第三ES循环1030可包括关于第三视频ES的流类型信息(视频3流类 型)、PID信息(视频3PID)和第三视频描述符信息(视频3描述符)1035。

这里，构成子ES的第二视频ES和第三视频ES的流类型信息可以是流类 型中的“补充视频流”。例如，表2中的“如在ISO/IEC 23002-3中定义的补 充视频流”可被选为第二视频ES和第三视频ES的流类型信息。

音频ES循环1040可包括关于音频ES的流类型信息(音频流类型)、PID 信息(音频PID)和音频描述符信息(音频描述符)1040。

换句话说，第一ES循环1010、第二ES循环1020和第三ES循环1030 可被插入表1的PMT信息的第二for循环，各3D附加信息可被插入第一ES 循环1010、第二ES循环1020和第三ES循环1030的第一视频描述符信息 1015、第二视频描述符信息1025和第三视频描述符信息1035。也就是说， 第一ES循环1010、第二ES循环1020和第三ES循环1030可具有平行结构。

图10b示出图10a的PMT信息1000的流结构。

根据第二示例性实施例的PMT信息的PMT流1050包括第一视频ES(视 频1ES)1055，可在第一视频ES循环1055之后连续包括第二视频ES(视频 2ES)循环1060和第三视频ES(视频3ES)循环1070。当存在与第一视频 ES有关的多个子ES循环以形成3D视频时，子ES循环中的每一个可被插入 到PMT流1050中的第一视频ES循环1055之后。

第一视频ES循环1055、第二视频ES循环1060和第三视频ES循环1070 可分别包括“Stream_type”字段1051、1061和1070，“PID”字段1052、1062 和1072以及“Descriptors”字段1053、1063和1073。

各视频ES的流类型信息可被插入“Stream_type”字段1051、1061和 1071，各视频ES的PID信息可被插入“PID”字段1052、1062和1072。关 于各视频ES的视频数据的视频特征的信息可被插入“Descriptor”字段1053、 1063和1073，“Descriptor”字段1053、1063和1073可包括用于形成3D视 频的关于各视频ES的特征的3D附加信息或3D描述符信息。

已参照图9a和图9b描述根据第一示例性实施例的PMT信息，并已参照 图10a和图10b描述第二示例性实施例的PMT信息，但如果第一ES循环、第 二ES循环和第三ES循环根据分层结构或平行结构被插入，则插入每个PMT 信息的参数或信息的类型、顺序、定义和使用示例可改变。

3D附加信息可包括用于指示是2D视频数据还是3D视频数据被插入当前 ES的信息。例如，以下的表3示出2D/3D模式信息(“2d/3d_mode”)以下的 表4示出2D/3D模式切换通知信息(“notice_indicator”)。

表3

2d/3d_mode 描述 01 2D视频 00 3D视频 10 2D/3D复合视频

2D/3D模式信息(“2d/3d_mode”)指示插入当前ES的视频数据是2D视 频、3D视频还是2D/3D复合视频。2D/3D复合视频是2D视频和3D视频彼此 混合的视频流，2D视频和3D视频可通过一个信息被一起发送或接收。设备 100可将2D/3D模式信息插入PMT信息以发送指示2D视频、3D视频和2D/3D 复合视频中的任何一个被插入当前视频数据的信息。设备200可基于从PMT 信息提取的2D/3D模式信息来预测2D视频、3D视频和2D/3D复合视频将从 通过一个信息接收的视频数据流中被提取。

表4

notice_indicator 描述 1 切换 0 不切换

2D/3D模式切换通知信息(“notice_indicator”)指示当前ES中的视频 数据是否从2D视频数据切换到3D视频数据。设备100可将2D/3D模式切换 通知信息插入PMT信息以指示当前ES中的视频数据是否从2D视频数据切换 到3D视频数据。设备200可基于从PMT信息提取的2D/3D模式切换通知信息 来预测当前接收的视频数据是否在2D视频数据和3D视频数据之间切换。

设备100的PMT产生器120可将2D/3D模式信息和2D/3D模式切换通知 信息插入PMT信息的保留区。设备200的PMT附加信息提取器230可从PMT 信息的保留区提取2D/3D模式信息和2D/3D模式切换通知信息。设备200可 通过使用2D/3D模式信息和2D/3D模式切换通知信息来确定哪个视频数据和 相关附加信息将从当前ES中被解析和提取。

根据需要，2D/3D模式信息和2D/3D模式切换通知信息被选择性地插入 根据第一和第二示例性实施例的PMT信息。

表5的3D流描述符信息(“3D_stream_Descriptor”)和表6的视点排列 顺序信息(“LR_first”)相应于被插入根据第一示例性实施例的PMT信息中 的3D附加信息。

表5

表5的3D流描述符信息(“3D_stream_Descripto”)可被插入描述符信 息915和954，所述描述符信息915和954被插入以上参照图9a和图9b描 述的第一视频ES循环910和955。在表5的3D流描述符信息中，for循环可 相应于子ES循环，即，图9a和图9b的第二视频ES循环920和970。关于 主ES的3D附加信息可被插入3D流描述符信息，关于子ES的3D附加信息可 被插入子ES循环。

根据第一示例性实施例的PMT产生器120可将主视频数据的图像格式信 息(Main_Vieo_format)、主视频数据的图像格式中的视点排列顺序信息 (LR_first)和关于子ES的数量的信息(num_of_sub_stream)中的至少一 个插入3D附加信息，作为用于根据视点识别和再现3D视频数据的信息。可 根据关于子ES的数量的信息来确定插入3D流描述符信息的子ES循环的数 量，3D附加信息可被插入每个子ES循环。

根据第一示例性实施例的PMT产生器120可将子ES的流类型信息 (sub_tream_type)、子ES的PID信息(sub_video_PID)、子视点视频数据 的图像格式信息(sub_video_Format)、主视点视频数据和子视点视频数据的 显示顺序信息(picture_display_order)、用于针对小孩或成人调整3D效果 的信息(sub_view_info)和指示3D视频数据中的子视点视频数据的子视点 索引信息(sub_view_index)中的至少一个插入PMT信息，作为3D附加信息。

视点排列顺序信息(LR_first)可指示当前ES的3D复合格式中哪个区 域是左视点图像和右视点图像。参照表6，格式排列顺序可定义图7的3D复 合格式中的左视点图像和右视点图像的位置。

表6

当“LR_first”的值是0时，左视点视频数量位于并排格式图像的左区 域、顶部和底部格式的上区域、垂直线交错格式的奇数线、水平线交错格式 的奇数线、场顺序格式的奇数参数或帧顺序格式的奇数帧上。此外，当当前 3D视频数据被插入两个ES中并且“LR_first”的值是0时，左视点视频数 据可以是所述两个ES的第一ES的主视点视频数据(主媒体)。相应地，右视 点视频数据可被排列在与以上描述的左视点视频数据位于每个3D复合格式 的区域相反的区域中。

当“LR_first”的值是1时，右视点视频数据和左视点视频数据的排列 可与当“LR_first”的值是0时的排列相反。

设备200的PMT附加信息提取器230可读取表5的3D流描述符信息，并 从第一视频ES循环910和955中的描述符信息915和954中提取关于主ES 的3D附加信息。此外，PMT附加信息提取器230可从3D流描述符信息中的 子ES循环提取关于子ES的3D附加信息。因此，ES恢复器240可通过使用 关于主ES和子ES的3D附加信息来精确地恢复3D视频数据，再现器250可 再现3D视频数据。

可被插入根据以上参照图10a和图10b描述的第二示例性实施例的PMT 信息的各种类型的3D附加信息或3D子描述符在表7至表20中示出。

设备100的PMT产生器120可将以下的表7的3D描述符信息 (“3d_descriptor”)插入以上参照图10a和图10b描述的第一视频ES循环 1010和1055中的描述符信息1015和1053。

表7

表7的3D描述符信息(“3d_descriptor”)根据关于插入了3D视频的每 个视点的视频数据的ES的数量的信息(“num_of_ES”)描述关于3D视频的不 同信息。当每个视点的视频数据被插入一个ES中时，3D描述符信息可描述 在图7中描述的3D复合格式信息(1ES_format)和在表6中描述的视点排列 顺序信息(LR_first)。可选地，当每个视点的视频数据被插入至少两个ES 时，3D描述符信息可描述在图8中描述的3D混合格式信息 (Multi_ES_format)。

即使仅从根据第二示例性实施例的PMT信息中解析和读取第一视点ES 循环1010和1055中的描述符信息1015和1053，设备200的PMT附加信息 提取器230也可不仅预测关于第一视频ES的3D附加信息，还预测插入子ES 中的子视频数据的3D图像格式。

设备100的PMT产生器120可将以下的表8的补充视频流描述符信息 (“Auxiliary_video_stream_descriptor()”)插入以上参照图10a和图10b 描述的第二和第三视点ES循环1020、1030、1060和1070的描述符信息1025、 1035、1063和1073中。

表8

补充视频流描述符信息(Auxiliary_video_stream_descriptor)可包括 关于对子视频数据进行编码的方法的信息(“aux_video_codedstreamtype”)。

PMT产生器120可将3D附加信息插入“si_rbsp(descriptor_length-1)” 信息。

具体地，PMT产生器120可将3D附加信息插入表9中的补充视频流描述 符信息中的“si_rbsp”信息中的“si_message”的“si_payload”中，表9、 表10和表11分别示出补充视频流描述符信息中的“si_rbsp”信息、 “si_message”信息和“si_payload”信息。

表9

表10

表11

语法 si_payload(payloadType,payloadSize){ is_avsi＝FALSE if(payloadType＝＝0||payloadType＝＝1||payloadType＝＝2){ is_avsi＝TURE generic_params() } if(payloadType＝＝0) depth_params() else if(payloadType＝＝1) parallax_params() else if(payloadType＝＝2) additional_view_param() else

reserved_si_message(payloadType,payloadSize) }

PMT产生器120将子视点视频数据(“附加视点”)项插入深度映射(“Depth  map”)和视差映射(“Parallax map”)，作为如表12中所示的子ES的有效载 荷类型信息。

表12

payloadType 补充视频的类型 0 深度映射 1 视差映射 2 Additional_view 其它值 保留

对于当具有当前补充视频流类型的ES的有效载荷类型信息是子视点视 频数据(“payloadType＝＝2”)时使用的3D附加信息，PMT产生器120可表10 的“si_payload”信息中的“generic_params()”信息的内容改变为如表13 所示，并新添加表16的“additional_view_params()”信息。

首先，PMT信息120将指示当前3D视频数据是否是混合格式的信息 (“hybrid_indicator”)和关于混合格式的类型的信息(“hybrid_type”)的 信息插入表13的“generic_params()”信息。

表13

表14

值 hybrid_indicator 0 未使用混合类型格式 1 使用混合类型格式

表15

值 hybrid_type 000 子视点图像 001 深度信息 010 子视点图像+深度信息 011 子视点图像 100 视差信息 101 子视点图像+视差信息 110 保留

设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流 描述符信息(“Auxiliry_video_stream_descriptor”)中提取混合格式指示 符信息(“hybrid_indicator”)，再现器250可基于提取的混合格式指示符信 息来根据表14预测插入当前ES的3D视频数据是否是3D混合格式。

可选地，PMT附加信息提取器230可从子流描述符信息中提取混合格式 类型信息(“hybrid_type”)，再现器250可基于提取的混合格式类型信息来 根据表15确定子ES的子视频数据的混合格式的类型。

对于当子ES类型的ES的有效载荷类型信息是子视点视频数据 (“payloadType＝＝2”)时使用的3D附加信息，PMT产生器120还可将表16 的“additional_view_params()”信息插入子视频描述符信息。

表16

PMT产生器120还可将与当前子ES的子视频数据有关的另一条视频数据 的PID信息(“linked_PID”)和指示子视频数据是左视点视频还是右视点视 频的信息(“LR_indicator”)插入“additional_view_params()”信息中， 以形成3D视频数据。

表17

值 linked_PID 0x0000～0x1FFF 与子视点有关的主视点的PID的值

表18

值 LR_indicator 0 指示相应子视点图像是L 1 指示相应子视点图像是R

设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流 描述符信息来提取表16的子视点参数。

PMT附加信息提取器230提取子视点参数 (“additional_view_params()”)中的PID信息“linked_PID”，再现器250 可基于提取的PID信息“linked_PID”，检查关于插入了当前子视频数据和另 一条视频数据的包或流的PID信息。PID信息“linked_PID”可根据表17指 示与当前子视频数据有关的主视点视频数据。

PMT附加信息提取器230可提取子视点参数 (“additional_view_params()”)中的信息(“LR_indicator”)，再现器250 可基于提取的信息(“LR_indicator”)，确定当前子ES的子视频数据是立体 视频中的左视点视频数据还是右视点视频数据。

可选地，根据表19，PMT产生器120除了可将PID信息“linked_PID” 和信息“LR_indicator”插入子视点参数“additional_view_params()”中， 还可将子视点视频分辨率信息(“additional_view_resolution”)插入子视 点参数“additional_view_params()”中。

表19

表20

值 additional_view_resolution 0b00 1920×1080 0b01 1280×720 0b10 704×480 0b11 640×480

PMT附加信息提取器230可提取子视点参数 “additional_view_params()”中的子视点视频分辨率信息 (“additional_view_resolution”)，再现器250可根据表20确定传输格式 的子视点视频数据的尺寸。再现器250可比较传输格式中的主视点视频数据 的尺寸和子视点视频数据的尺寸，并可在将传输格式改变为再现格式时调整 主视点视频数据的尺寸和子视点视频数据的尺寸。

设备100的PMT产生器120除了可将包括关于3D视频数据的特征的信息 的3D流描述符信息(“3d_stream Descriptor()”)或3D视频描述符信息 (“3d_descriptor()”)插入PMT信息中，还可将表21的3D模式描述符信息 (“3d_mode_descriptor()”)和表22的3D通知描述符信息 (“3d_notice_descriptor()”)插入PMT信息中，作为3D附加信息。

PMT产生器120可将2D/3D模式信息(“2d/3d_mode”)和2D/3D模式切 换通知信息(“notice_indicator”)插入3D模式描述符信息 “3d_notice_descriptor()”)。PMT产生器120可将3D图标指示符信息 (“es_icon_indicator”)、切换指示符信息(“transition_indicator”)、切 换时间戳信息(“transiton_time_stamp”)和切换消息信息 (“transition_message”)插入3D通知描述符信息 (“3d_notice_descriptor()”)。

表21

设备100的PMT附加信息提取器230从PMT信息中的节目循环或ES循环 的描述符区中提取3D模式描述符信息(“3d_mode_descriptor()”)，并可提 取2D/3D模式信息(“2d/3d_mode”)和2D/3D模式切换通知信息 (“notice_indicator”)。设备200的再现器250可基于提取的3D模式描述 符信息、2D/3D模式信息和2D/3D模式切换通知信息，确定当前节目或当前 ES的视频数据的2D模式和3D模式之间的切换。

表22

设备200的PMT附加信息提取器230可从PMT信息中的节目循环或ES循 环的描述符区提取3D通知描述符信息(“3d_notice_descriptor()”)。

PMT附加信息提取器230可提取3D通知描述符信息 (“3d_notice_descriptor()”)中的3D图标指示符信息 (“es_icon_indicator”)，再现器250可基于提取的3D图标指示符信息 (“es_icon_indicator”)，确定3D相关图标(诸如3D通知指示符)由内容 提供商提供，并以这样的方式显示3D通知指示符：3D通知指示符与机顶盒 或电视(TV)的3D通知指示符不重叠。例如，当3D图标指示符信息 (“es_icon_indicator”)的值是0时，可确定在视频ES中不存在3D通知图 标，从而使用机顶盒或TV的3D通知指示符，当3D图标指示符信息 (“es_icon_indicator”)的值是1时，可确定在视频ES中存在3D通知图标， 从而可使用视频ES中的3D通知图标以及机顶盒和TV的3D通知指示符之一。

PMT附加信息提取器230可提取3D通知描述符信息 (“3d_notice_descriptor()”)中的切换指示符信息 (“transition_indicator”)，再现器250可确定将被接收的PMT信息是否包 括2D/3D模式信息，所述2D/3D模式信息指示将被接收的PMT信息的模式是 否与从当前PMT信息获得的当前模式不同，即，将被接收的PMT信息的模式 是否将被改变。例如，当切换指示符信息(“transition_indicator”)的值 为0时，在视频ES中保持当前模式，当切换指示符信息 (“transition_indicator”)的值为1时，当前模式可被切换。

当切换指示符信息指示将产生2D/3D切换 (“transition_indicator＝＝1”)时，PMT附加信息提取器230从3D通知描 述符信息(“3d_notice_descriptor()”)提取切换时间戳信息 (“transtition_time_stamp”)，再现器250可确定产生2D/3D模式切换的时 间点。切换时间戳信息可以以显示时间戳(PTS)为单位来表示。切换时间戳 信息可被表示为包括当前PMT信息的画面图像的PTS值和产生2D/3D模式切 换的时间点的PTS值之间的相对值，或者被表示为产生2D/3D模式切换的时 间点的PTS值的绝对值。然而，切换时间戳信息除了可以以PTS为单位来表 示之个，还可以以其它单位来表示，诸如以帧的数量为单位。

当切换指示符信息指示将产生2D/3D切换 (“transition_indicator＝＝1”)时，PMT附加信息提取器230从3D通知描 述符信息(“3d_notice_descriptor()”)提取切换消息信息 (“transition_message”)。设备200的再现器250可在基于提取的切换消息 信息再现内容服务的同时，确定作为2D/3D模式切换通知指示符的视觉效果 (诸如图标或文本)或听觉效果(诸如声音)。用户可通过2D/3D模式切换通 知指示符识别当前模式将被切换，或2D/3D模式是否将被切换，并可预先准 备改变观看模式。

图11示出根据示例性实施例的使用模式转换信息的示例。

图11中示出2D图像序列1102至3D图像序列1136中的当前视频流1100 的部分，其中，当前视频流1100包括2D图像序列1102至1128和3D图像序 列1130至1136。

设备100在时间点T1、T2和T3分别发送关于当前视频流1100的PMT信 息1140、1150和1160。由于在时间点T1的PMT信息1140中的2D/3D模式 信息(2D/3D模式)指示2D，因此当前视频数据是在2D模式下。然而，在时 间点T2的PMT信息1150中的2D/3D模式信息(2D/3D模式)指示2D，但2D/3D 模式切换信息(transition_time_stamp)指示时间点T3。换句话说，当前 视频数据是在2D模式下，但可切换到当前视频流1100中的3D模式。

如在时间点T2的PMT信息1150中的2D/3D模式切换信息 (transition_time_stamp)所指示，在时间点T3产生2D/3D模式切换，在 时间点T3的PMT信息的2D/3D模式信息(2D/3D_mode)指示3D。设备200 可通过使用PMT信息1140、1150和1160的2D/3D模式切换信息来确定在时 间点T1、T2和T3的模式和产生2D/3D模式切换的时间点，并可根据2D/3D 模式切换通知指示符信息(“transition_message”)，来在预定时间点在屏幕 上显示2D/3D模式切换消息，或听觉上再现2D/3D模式切换消息。

设备100可发送具有不同分辨率的主视点视频和子视点视频。例如，设 备100可发送全高清(HD)级的主视点视频数据和标清(SD)级的子视点视 频数据。

图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点 视频时的示例。

设备100可获得全HD级的并具有1920×1080的尺寸的左视点视频1210 和右视点视频1220，并将插入了全HD级并具有1920×1080的尺寸的左视点 视频1230和SD级并具有640×480的尺寸的右视点视频1240的数据流转换 为作为传输格式的TS，并发送所述数据流。

设备200接收TS，设备200的ES恢复器240可恢复左视点视频数据1230 和右视点视频数据1240。即使再现器250对左视点视频数据1230和右视点 视频数据1240进行扩展，以将左视点视频数据1230和右视点视频数据1240 的格式转换为再现格式，但由于左视点视频数据1230的宽高比为16：9并且 右视点视频数据的宽高比为4：3，因此左视点视频数据1230和右视点视频 数据1240的高度和宽度不相同。换句话说，全HD级并具有再现格式的左视 点视频1250和被扩大到1440×1080并具有再现格式的右视点视频1260都具 有相同的1080像素的长度，但具有不同的宽度，即，左视点视频1250为1920 和右视点视频为1440。如果主视点视频和子视点视频的分辨率不相同，则可 能在再现3D视频的同时难以产生3D效果。

图13示出根据示例性实施例的使用宽高比信息的示例。

再现器250可恢复全HD级别并具有再现格式的左视点视频1250，并恢 复具有从传输格式扩大的再现格式的右视点视频。这里，如果左视点视频1250 和右视点视频1260被按原样再现，则会产生右视点视频1260不被显示的左 视点视频1250的区域1350和1360。

因此，对于主视点视频和子视点视频的分辨率不相同的情况，设备100 包括宽高比信息作为3D附加信息。设备100的PMT产生器120可将宽高比信 息(“3d_aspect_ratio_descriptor”)插入PMT信息，作为3D附加信息，并 如以下的表23所示插入修剪偏移信息(“cropping_offset”)作为宽高比信 息(“3d_aspect_ratio_descriptor”)。例如，关于没有被扩大的子视点视频 覆盖的主视点视频中的区域的宽度的信息可被设置为修剪偏移信息 (“cropping_offset”)，修剪偏移信息(“cropping_offset”)可被插入PMT 信息中，作为3D附加信息。

表23

设备200的PMT附加信息提取器230可从PMT信息提取宽高比信息 (“3d_aspect_ratio_descriptor”)，并提取宽高比信息 (“3d_aspect_ratio_descriptor”)中的修剪偏移信息 (“cropping_offset”)。再现器250可通过基于修剪偏移信息，修剪没有被 在具有1920×1080的尺寸的左视点视频1250的中心的具有1440×1080的尺 寸的右视点视频1260覆盖的左视点视频1250的区域1350和1360，来再现 左视点视频和右视点视频。可选地，再现器250可通过将左视点视频1250显 示在区域1350和1360中，并在由右视点视频1260覆盖的中心区域中交替地 显示左视点视频1250和右视点视频1260，来在具有1440×1080的尺寸的中 心区域中产生3D效果。

设备100可通过将关于包的PID信息插入PMT信息，并将以上的表1至 表23的3D附加信息插入流类型信息是“video_stream_type”或 “auxiliary_video_stream_type”的节目循环、ES循环以及各种保留区中， 来将2D或3D视频数据转换为TS，并发送所述TS。

当符合MPEG TS方法的接收器仅支持2D视频时，在所述接收器对接收的 数据流进行解析和解码的同时，根据示例性实施例的PMT信息中的3D附加信 息、3D描述符信息和3D流描述符信息不能被解析和解释。因此，包括3D视 频数据的包不被检测，因此所述接收器仅识别和解码按照MPEG TS方法设置 的2D视频数据以及关于3D视频数据的描述符信息。因此，所述接收器可处 理与由设备100产生的数据流中的2D视频相关的数据。

设备200可通过接收TS并收集包括PMT信息的PID信息的包，PMT附加 信息提取器230可从PMT信息的节目循环、ES循环和各种保留区中提取3D 附加信息，并将3D附加信息发送到再现器250。

此外，设备200可收集具有“video_stream_type”作为PMT信息中的流 类型的包的有效载荷，从而ES恢复器240基于所述包的PID信息恢复视频数 据。

此外，设备200可收集具有“Auxiliary_video_stream_type”作为流类 型信息的包的有效载荷，从而ES恢复器240基于所述包的PID信息恢复子视 频数据。

设备200的再现器250通过分析从主ES和子ES提取的主视频数据和子 视频数据的3D复合格式或3D混合格式，恢复主视点视频和子视点视频，通 过使用PMT信息中的3D附加信息，在同步互相关联的主视点视频和子视点视 频的再现时间段的同时再现主视点视频和子视点视频。

现在将具体描述再现器250的操作。

当ES恢复器240提取主视点视频作为主视频数据，并提取子视点视频作 为子视频数据时，再现器250可形成可由3D显示装置再现的主视点视频和子 视点视频的再现格式，并输出所述主视点视频和子视点视频。

当ES恢复器240提取主视点视频作为主视频数据，并提取差图像作为子 视频数据时，再现器250可通过使用主视点视频和差图像来恢复子视点视频， 形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所 述主视点视频和子视点视频。

当ES恢复器240提取主视点视频作为主视频数据，并提取深度信息(或 视差信息)和子视点视频作为一条或两条子视频数据时，再现器250可通过 使用主视点视频、子视点视频和深度信息(或视差信息)来产生中间视点视 频。例如，可通过使用基于差图像的渲染(DIBR)方法，基于主视点视频和 深度信息来产生中间视点视频。再现器250可从主视点视频、中间视点视频 和子视点视频中选择两个视点视频，形成可由3D显示装置再现的两个选择的 视点视频的再现格式，并输出这两个视点视频。当在主视点视频和子视点视 频之间存在大深度差或视差时，可使用中间视点视频以防止观看疲劳。

当ES恢复器240提取3D复合格式数据作为主视频数据时，再现器250 可从3D复合格式数据恢复主视点视频和子视点视频，形成可由3D显示装置 再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视 点视频。

当ES恢复器240提取3D复合格式数据作为主视频数据，并提取深度信 息(或视差信息)作为子视频数据时，再现器250可从3D复合格式数据再现 主视点视频和子视点视频，并通过使用主视点视频、子视点视频和深度信息 (或视差信息)来产生中间视点视频。例如，可通过将DIBR方法应用到主视 点视频、子视点视频和深度信息(或视差信息)来产生中间视点视频。可在 主视点视频、中间视点视频和子视点视频中选择两个视点视频，在输出之前 可形成所述两个视点视频的再现格式，以使所述两个视点视频可由3D显示装 置再现。

当ES恢复器240提取3D复合格式数据作为主视频数据，提取差信息作 为子视频数据时，再现器250可基于3D复合格式数据，恢复分辨率为原始分 辨率的一半的主视点视频和子视点视频。这里，再现器250可通过另外使用 具有一半分辨率的主视点视频和子视点视频的差信息，恢复具有与原始分辨 率相同的分辨率的主视点视频和子视点视频。再现器250可形成可由3D显示 装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和 子视点视频。

当ES恢复器240提取2D视频作为主视频数据，提取深度信息(或视差 信息)作为子视频数据时，再现器250可通过使用2D视频和深度信息(或视 差信息)来恢复子视点视频，形成可由3D显示装置再现的主视点视频和子视 点视频的再现格式，并输出所述主视点视频和子视点视频。然而，如果与主 视点视频一起形成完全3D视频的子视点视频不被恢复，则会产生遮挡现象。

当ES恢复器240提取形成多视点视频的第一视点视频作为主视频数据， 提取形成多视点视频的多个其它视点视频(诸如第二视点视频和第三视点视 频)作为多条子视频数据时，再现器250可形成可由3D显示装置基于第一视 点视频再现的所述多个其它视点视频的再现格式，并输出所述多个其它视点 视频。与立体视频不同，多点视频可提供在旋转360。时可观看的3D视频。

当ES提取器240提取形成多拍摄视频的第一视频作为主视频数据，提取 多个其它视频(诸如第二视频和第三视频)作为子视频数据，再现器250可 选择性地并单独地输出第一至第三视频中的每个，或者可以以画中画(PIP) 方法来输出第一至第三视频。例如，与多视点视频的情况不同，可基于观看 者或广播的目的，改变显示在一个场景下以各种位置和方向拍摄的视频(诸 如，在棒球比赛中，在捕手的视点拍摄的第一视频、在投手的视点拍摄的第 二视频和在看台的第三视频)的方法。

图14是根据示例性实施例的用于传输3D视频数据流的系统1400的框 图，其中，实现设备100和设备200。

发送器的内容产生器1410可通过使用多种拍摄方法(诸如从2D的(半) 手动深度提取1412、RGB+红外相机1414或立体相机1416)之一来产生关于 内容的视频数据。

从内容产生器1410的视频数据中，主视频数据MAIN VIDEO可被输出到 视频编码器A 1420，第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1 和第一视差信息PARALLAX 1中的至少一个可被输出到视频编码器B 1430， 第二子视频数据SUB VIDEO 2、第二深度信息DEPTH 2和第二视差信息 PARALLAX 2中的至少一个可被输出到视频编码器C 1440。

视频编码器A 1420、视频编码器B 1430和视频编码器C 1440可对接收 的视频数据进行编码，并分别将主视频流MAIN VIDEO STREAM、第一子流SUB VIDEO STREAM 1和第二子流SUB VIDEO STREAM 2输出到信道1450。

主视频流MAIN VIDEO STREAM、第一子流SUB VIDEO STREAM 1和第二子 流SUB VIDEO STREAM 2的TS被发送到接收器，接收器可对所述TS进行解复 用，并将视频包发送到视频解码器A 1460、视频解码器B 1470和视频解码 器C 1480。

视频解码器A 1460可从主视频流MAIN VIDEO STREAM恢复主视频，并输 出主视频，视频解码器B 1470可从第一子流SUB VIDEO STREAM 1恢复第一 子视频数据SUB VIDEO 1、第一深度信息DEPTH 1和第一视差信息PARALLAX 1 中的至少一个，并输出第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1 和第一视差信息PARALLAX 1中的至少一个，视频解码器C 1480可从第二子 流SUB VIDEO STREAM 2恢复第二子视频数据SUB VIDEO 2、第一深度信息DEPTH 2和第二视差信息PARALLAX 2中的至少一个，并输出二子视频数据SUB VIDEO 2、第一深度信息DEPTH 2和第二视差信息PARALLAX 2中的至少一个。

恢复的主视频、恢复的第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1和第一视差信息PARALLAX 1，以及恢复的第二子视频数据SUB VIDEO 2、 第二深度信息DEPTH 2和第二视差信息PARALLAX 2可被发送到3D显示装置 1490，其中，每个可根据显示方法被适当地转换，并以3D被再现。例如，可 由3D显示装置1490使用多种方法(诸如自动立体光栅方法1492、自动立体 栅格方法1494或基于眼镜的立体系统1496)之一来以3D再现恢复的3D视 频。

因此，设备100可将3D附加信息(诸如具有3D混合格式的主视频数据、 第一子数据和第二子数据)插入PMT信息，并发送PMT信息。此外，设备200 可从接收的数据流中的PMT信息提取3D附加信息，并确定3D附加信息(诸 如具有3D混合格式的主视频数据、第一子数据和第二子数据)被插入接收的 数据流的有效载荷。另外，在从有效载荷提取3D附加信息之后，设备200可 使用3D附加信息恢复主视点视频和子视点视频，并使用3D显示装置以3D再 现主视点视频和子视点视频。

图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流 的方法的流程图。

在操作1510，包括在用于提供2D或3D多媒体服务的节目中的每个视点 的视频数据的至少一个ES被产生。关于节目中的音频数据和子数据的ES也 可被产生。

在操作1520，关于节目的PMT信息被产生，其中，PMT信息包括关于所 述至少一个ES的参考信息以及用于根据每个视点识别和再现视频数据的3D 附加信息。3D附加信息和参考信息中的至少一个可被插入PMT信息中的关于 相应ES的描述符信息。根据第一示例性实施例的PMT信息的结构，PMT信息 中的关于主ES的3D附加信息可包括关于子ES的3D附加信息和参考信息中 的至少一个。根据第二示例性实施例的PMT信息的结构，PMT信息可顺序地 包括所述至少一个ES中的每个ES的ES信息，每条ES信息包括关于相应ES 的3D附加信息和参考信息中的至少一个。

3D附加信息可包括指示当前视频包包括2D视频数据还是3D视频数据的 2D/3D通知信息、用于恢复和再现3D视频的3D描述符信息、指示当前节目 的当前模式和未来的2D/3D模式切换的2D/3D模式切换信息以及宽高比信息。

在操作1530，通过对所述至少一个ES和PMT信息进行打包而产生的PES 包来产生TS。TS可均包括有效载荷和头。PES包的部分和PMT信息可被包括 在有效载荷中。TS可通过至少一个信道被发送。

图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流 的方法的流程图。

在操作1610，关于用于提供2D或3D多媒体服务的节目的TS被接收。

在操作1620，通过对TS进行解复用，来提取关于节目的PES包和关于 节目的PMT信息。

在操作1630，从PMT信息提取关于节目中的每个视点的视频数据的ES 的参考信息和3D附加信息。根据第一示例性实施例的PMT信息的结构，可从 PMT信息中的关于主ES的3D附加信息提取关于子ES的3D附加信息和参考 信息中的至少一个。根据第二示例性实施例的PMT信息的结构，可从关于子 ES的ES信息或关于主ES的ES信息提取3D子描述符信息，可从3D子描述 符信息提取关于子ES的3D附加信息和参考信息。

在操作1640，通过使用提取的关于通过对PES包进行解包而提取的ES 中的至少一个ES的参考信息，恢复所述至少一个ES，从所述至少一个ES提 取每个视点的视频数据。

通过使用3D附加信息和参考信息恢复每个视点的视频数据，通过根据视 点对每个视点的视频数据的再现时间段和再现顺序进行同步来再现每个视点 的视频数据，3D多媒体服务可被提供给观看者。

根据示例性实施例的发送数据流的方法，可通过基于MPEG TS系统，使 用具有现有技术的流类型，而不必添加插入了3D视频数据的ES的流类型， 各种类型的3D附加信息和参考信息可与2D视频和3D视频一起被发送。例如， 主ES的类型可符合MPEG TS标准或MPEG-4/AVC，子ES的流类型可符合MPEG-2 标准或MPEG-4/AVC标准，或者可以是补充视频流。

由于不支持补充视频流的接收系统不能够识别子ES，因此接收系统可通 过仅识别主ES将当前视频服务确定为2D视频服务。因此，即使现有技术的 接收系统接收根据示例性实施例的产生数据流的方法而产生的TS，也可根据 现有技术的接收系统的操作来分析视频数据，从而以2D再现所述视频数据。 因此，可保持逆向兼容性。

根据示例性实施例的接收数据流的方法，当通过关于经由一个信道接收 的节目的TS不仅接收到主视点视频数据和子视点视频数据，还另外接收深度 信息和视差信息时，主视点视频数据和子视点视频数据以及深度信息和视差 信息被恢复以不仅再现立体视频还再现多视点视频。这里，从PMT信息提取 的3D附加信息和参考信息被用于精确地恢复和再现多视点视频。

示例性实施例可被编写为计算机程序并可在使用计算机可读记录介质执 行程序的通用数字计算机中实现。计算机可读记录介质的示例包括存储介质， 诸如磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM 或DVD)。另外，上述设备的一个或多个单元可包括执行存储在计算机可读介 质中的计算机程序的处理器或微处理器。

虽然以上已经具体地示出和描述了示例性实施例，但是本领域的普通技 术人员应理解，在不脱离权利要求限定的本发明构思的精神和范围的情况下， 可在形式和细节上对其进行各种改变。示例性实施例应该被视为仅是说明的 目的，而非限制的目的。因此，本发明构思的范围不由示例性实施例的具体 描述来限定，而是由权利要求来限定，在所述范围内的所有差别将被解释为 包括在本发明构思中。