产生用于提供三维多媒体服务的数据流的方法和设备以及用于接收所述数据流的方法和设备

摘要

提供了一种产生用于提供三维（3D）多媒体服务的数据流的方法以及用于接收所述数据流的方法和设备。所述产生方法包括：从用于提供二维（2D）多媒体服务或3D多媒体服务的节目产生包括每个视点的视频数据的至少一个基本流（ES）；产生关于所述节目的节目映射表（PMT）信息，PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息；通过对所述至少一个ES和PMT信息进行打包而产生打包的基本流（PES）包，并对PES包进行复用，来产生至少一个传输流（TS）。

说明书

技术领域

与示例性实施例一致的设备和方法涉及用于提供三维（3D）多媒体服务的数据流的发送和接收。 

背景技术

在基于运动图像专家组（MPEG）传输流（TS）的数字广播方法中，发送终端将未压缩的视频数据和未压缩的音频流插入各个基本流（ES）中，对每个ES进行复用以产生TS，并经由信道发送TS。 

TS包括与ES一起的节目说明信息（PSI）。PSI典型地包括节目关联表（PAT）信息和节目映射表(PMT)信息。提供单个节目信息的PMT信息描述针对每个ES的包标识符（PID），PAT信息描述用于每条PMT信息的PID。 

接收终端经由信道接收TS，并通过与在发送终端中执行的处理相反的处理来从TS提取ES。由显示装置恢复和再现包含在ES中的数字内容。 

发明内容

技术问题 

3D附加信息和参考信息（或3D描述符信息）被附加地插入现有技术的MPEG TS系统的PMT信息中的视频描述符信息中，并且3D附加信息和参考信息（或3D描述符信息）被识别和提取以被用于再现3D视频。 

技术方案 

根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的方法，所述方法包括：从用于提供二维（2D）多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES；产生关于所述节目的节目映射表（PMT）信息，所述PMT信息包括关于所述至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息； 通过对经由对所述至少一个ES进行打包而产生的打包的基本流（PES）包以及所述PMT信息进行复用，来产生至少一个传输流（TS）。 

有益效果 

包括PMT信息的数据流被发送，其中，PMT信息包括3D附加信息和参考信息（或3D描述符信息），由于接收所述数据流的接收系统能够不管3D附加信息和参考信息（或3D描述符信息）而仅提供2D多媒体服务，因此所述接收系统保持与现有技术MPEG TS系统的兼容性，另外，所述接收系统能够提供3D多媒体服务。 

此外，由于本发明可通过使用由现有技术MPEG TS系统定义的流类型信息来设置每个ES的流类型信息，因此，与现有技术MPEG TS系统的数据流结构相比，新的流类型可不被附加地指定附加比特，也不被分配附加比特。 

附图说明

图1是根据示例性实施例的产生用于提供三维（3D）多媒体服务的数据流的设备的框图； 

图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备的框图； 

图3是根据示例性实施例的基于运动图像专家组（MPEG）传输流（TS）系统发送数字广播的设备的框图； 

图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备的框图； 

图5是根据示例性实施例的根据产生数据流的设备发送用于发送多个视频基本流（ES）的MPEG TS的设备的框图； 

图6是根据示例性实施例的根据接收数据流的设备接收用于接收多个视频ES的MPEG TS的设备的框图； 

图7是用于描述根据示例性实施例的3D复合格式的表； 

图8是示出根据示例性实施例的形成3D视频的多个视点中的视频数据的ES的各种组合的表； 

图9A示出根据示例性实施例的在节目映射表（PMT）信息的3D附加信息中的关于主ES的3D视频描述符信息中包括的关于子ES的3D视频描述符信 息的示例； 

图9B示出图9A的PMT信息的流结构； 

图10A示出根据示例性实施例的在PMT信息的3D附加信息中被顺序包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的示例； 

图10B示出图10A的PMT信息的流结构； 

图11示出根据示例性实施例的使用模式转换信息的示例； 

图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点视频时的示例； 

图13示出根据示例性实施例的使用宽高比信息的示例； 

图14是根据示例性实施例的用于传输3D视频数据流的系统的框图，在所述系统中，实现了用于发送数据流的设备和用于接收数据流的设备； 

图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流的方法的流程图； 

图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流的方法的流程图。 

最佳实施方式 

根据示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的方法，所述方法包括：从用于提供二维（2D）多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES；产生关于所述节目的节目映射表（PMT）信息，所述PMT信息包括关于所述至少一个ES的参考信息和用于识别和再现每个视点的视频数据的3D附加信息；通过对所述至少一个ES和节目映射表信息进行打包而产生打包的基本流（PES）包，并对PES包进行复用，来产生至少一个传输流（TS）。 

产生节目映射表信息的步骤可包括：将关于主视频数据的3D附加信息插入PMT信息的主ES的描述符信息，其中，主视频数据被插入所述至少一个ES的主ES；将关于子视频数据的3D附加信息和参考信息中的至少一个插入主ES的描述符信息，其中，子视频数据包括在所述至少一个ES中的子ES中，其中，主视频数据和子视频数据可分别是第一视点视频数据和第二视点视频数据的组合。 

关于主视频数据的3D附加信息还可包括关于子ES的参考信息，所述子 ES包括子ES的流类型信息和子ES的包标识符（PID）信息中的至少一个。 

插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括：将来自关于子ES的参考信息的子ES的流类型信息设置为由MPEG系统指定的补充视频流的值。 

插入关于子视频数据的3D附加信息和参考信息中的至少一个的步骤可包括：如果所述至少一个ES中子ES的数量为二或更多，则根据每个子ES设置3D附加信息和参考信息中的至少一个。 

关于主视频数据的3D附加信息可包括主视频数据的图像格式信息、主视频数据的图像格式的视点排列顺序信息、关于子ES的数量的信息中的至少一个。 

关于子视频数据的3D附加信息可包括子ES的子视频数据的图像格式信息、主视频数据和子视频数据的显示顺序信息、针对小孩或成人的3D效果调整信息和指示每个视点的视频数据的子视频数据的子视频索引信息。 

产生PMT信息的步骤可包括：根据所述至少一个ES，将ES信息顺序地插入PMT信息，其中，ES信息包括各ES的流类型信息、PID信息和视频流描述符信息。 

产生PMT信息的步骤还可包括：将3D视频描述符信息插入PMT信息，其中，3D视频描述符信息包括关于包括在所述至少一个ES的主ES中的主视频数据的3D附加信息。 

插入3D视频描述符信息的步骤可包括：将关于所述至少一个ES的数量的信息和所述至少一个ES的图像格式信息插入3D视频描述符信息。 

如果所述至少一个ES的数量为1，则所述至少一个ES的图像格式信息可指示每个视点的视频数据中的主视点视频数据和子视点视频数据被复合的3D复合格式，如果所述至少一个ES的数量等于或大于2，则所述至少一个ES的图像格式信息可指示每个视点的视频数据包括主视点视频数据以及关于主视点视频数据的子视点视频数据的深度信息、关于主视点视频数据的子视点视频数据的视差信息和子视点视频数据中的至少一个。 

产生PMT信息的步骤可包括：将关于对包括在子ES中的子视频数据进行编码和解码的方法的编解码信息插入关于所述至少一个ES中的子ES的ES信息。 

产生PMT信息的步骤可包括：将包括3D附加信息和参考信息中的至少一 个的子ES视频描述符信息插入关于所述至少一个ES中的子ES的ES信息。 

插入子ES视频描述符信息的步骤可包括：将指示关于主视点视频数据的子视点视频数据的深度信息或视差信息是否与子视点视频数据一起被同时发送的信息以及3D混合格式信息插入子ES视频描述符信息。 

插入子ES视频描述符信息的步骤可包括：将指示子视频数据是否是关于主视点视频数据的子视点视频数据和子视点视频数据的深度信息或视差信息中的至少一个的信息插入子ES视频描述符信息。 

插入子ES视频描述符信息的步骤还可包括：如果子视点视频数据是子视点视频数据，则将子视点视频参数插入子ES视频描述符信息中，其中，子视点视频参数包括关于与子视点ES有关的主视点ES的PID信息以及指示子视频数据是左视点视频数据还是右视点视频数据的信息中的至少一个。 

子视点视频参数可包括指示子视点视频数据的图像尺寸的信息，从而在再现3D多媒体服务的同时将主视点视频数据和子视点视频数据的图像尺寸调整为相同。 

插入ES信息的步骤可包括：将关于所述至少一个ES中的子ES的ES信息中的流类型信息设置为MPEG系统指定的补充视频流的值。 

插入子ES视频描述符信息可包括：如果子ES的数量等于或大于2，则根据每个子ES设置子ES视频描述符信息。 

产生PMT信息的步骤可包括：将指示3D视频数据是否包括在所述至少一个TS中的3D通知描述符信息插入PMT信息。 

3D通知描述符信息可包括：指示是否存在3D通知指示图标（用于指示3D视频数据被包括在当前ES中）的信息、指示与当前PMT信息的当前模式信息不同的模式信息是否包括在当前PMT信息之后的后续PMT信息中的2D/3D模式切换信息、指示2D模式和3D模式被切换的时间点的切换时间戳信息以及2D模式和3D模式被切换时将在屏幕上显示的消息的文本信息中的至少一个。 

产生PMT信息的步骤还可包括：将2D/3D传输信息插入PMT信息，其中，2D/3D传输信息包括2D/3D模式信息和2D/3D模式切换信息中的至少一个，2D/3D模式信息指示2D视频数据、3D视频数据以及2D和3D视频数据的组合数据中的任何一个中否包括在当前ES中，2D/3D模式切换信息指示当前PMT信息的2D/3D模式信息是否在当前PMT信息之后的后续PMT信息中被切换。 

产生PMT信息的步骤可包括，如果每个视点的视频数据中的主视点视频数据和子视点视频数据的尺寸和宽高比中的至少一个不同，则将宽高比描述符信息插入PMT信息，其中，宽高比描述符信息包括关于在3D再现期间调整用于显示主视点视频数据和子视点视频数据的区域的方法的修剪偏移信息。 

所述方法还可包括：在将所述至少一个TS与信道同步之后，使用信息发送将所述至少一个TS。 

根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服务的数据流的方法，所述方法包括：接收关于提供2D多媒体服务或3D多媒体服务的节目的至少一个TS；通过对所述至少一个TS进行解复用，提取关于节目的PES包和关于节目的PMT信息；从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息；通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES，并从所述至少一个ES提取每个视点的视频数据。 

所述方法还可包括：通过使用3D附加信息和参考信息中的至少一个，以3D再现提取的每个视点的视频数据。 

从PMT信息提取参考信息和3D附加信息的步骤可包括：从PMT信息提取关于所述至少一个ES中的主ES的参考信息和主ES的描述符信息中的关于包括在主ES中的主视频数据的3D附加信息中的至少一个；从主ES的描述符信息提取关于所述至少一个ES中的子ES的参考信息和关于包括在子ES中的子视频数据的3D附加信息中的至少一个，其中，主视频数据和子视频数据分别是第一视点视频数据和第二视点视频数据的组合。 

提取关于3D附加信息和参考信息的步骤可包括，如果子ES的数量大于或等于2，则根据每个子ES提取3D附加信息和参考信息中的至少一个。 

从PMT信息提取参考信息和3D附加信息的步骤可包括：根据所述至少一个ES，从PMT信息顺序地提取ES信息，其中，所述ES信息包括各ES的流类型信息以及包括参考信息（包括PID信息）和3D附加信息中的至少一个的视频流描述符信息。 

从PMT信息提取参考信息和3D附加信息的步骤还可包括：从关于主视点ES的ES信息中，提取包括关于每个视点的视频数据的3D附加信息的3D视频描述符信息，其中，主视点ES包括所述至少一个ES中的每个视点的视频 数据中的主视点视频数据。 

从PMT信息提取参考信息和3D附加信息的步骤还可包括：从关于所述至少一个ES中的子ES的ES信息中，提取包括参考信息和3D附加信息中的至少一个的子ES视频描述符信息。 

在提取ES信息的步骤中，关于所述至少一个ES中的子ES的ES信息中的流类型信息可被设置为由运动图像专家组（MPEG）系统指定的补充视频流的值。 

从PMT信息提取参考信息和3D附加信息的步骤可包括：从PMT信息提取指示3D视频数据是否是包括在所述至少一个TS中的3D通知描述符信息。 

从PMT信息提取3D附加信息和参考信息的步骤可包括：从PMT信息提取2D/3D模式信息和2D/3D模式切换信息中的至少一个。 

从PMT信息提取3D附加信息和参考信息的步骤还可包括：从PMT信息提取指示修剪偏移信息的宽高比描述符。 

再现的步骤可包括：恢复3D多媒体服务的3D视频的主视点视频数据和子视点视频数据；通过使用参考信息和3D附加信息中的至少一个将主视点视频数据和子视点视频数据的格式转换为可由3D显示装置再现的3D再现格式，来再现主视点视频数据和子视点视频数据。 

再现的步骤可包括：恢复第一视点视频数据和第二视点视频数据，其中，第一视点视频数据是3D多媒体服务的3D视频的主视点视频数据和2D视频数据之一，第二视点视频数据包括3D视频的子视点视频数据以及主视点视频数据与子视点视频数据之间的差信息、深度信息和视差信息中的至少一个；通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据和第二视点视频数据的格式转换为可由3D视频装置再现的3D再现格式，来再现第一视点视频数据和第二视点视频数据。 

再现的步骤可包括：恢复构成3D复合格式数据的第一视点视频数据和构成主视点视频数据和子视点视频数据之间的差信息、深度信息和视差信息之一的第二视点视频数据，其中，在3D复合格式数据中，3D多媒体服务的3D视频的主视点视频数据和子视点视频数据被复合；通过使用3D附加信息将第一视点视频数据和第二视点视频数据的格式转换为可由3D显示装置再现的3D再现格式，来再现第一视点视频数据和第二视点视频数据。 

恢复的步骤可包括：通过使用第一视点视频数据和第二视点视频数据来 产生主视点视频数据和子视点视频数据的中间视点视频数据，再现第一视点视频数据和第二视点视频数据的步骤包括：通过使用参考信息和3D附加信息中的至少一个将第一视点视频数据、中间视点视频数据和第二视点视频数据的格式转换为3D再现格式，来再现第一视点视频数据、中间视点视频数据和第二视点视频数据。 

再现的步骤可包括：恢复形成3D视频的多条2D视频数据；通过使用参考信息和3D附加信息中的至少一个，选择性地以画中画（PIP）再现模式再现所述多条2D视频数据。 

所述方法还可包括：通过对提取的每个视点的视频数据进行解码和恢复，使用参考信息和3D附加信息中的至少一个，来以3D再现提取的每个视点的视频数据，其中，再现的步骤可包括：基于宽高比描述符信息中的修剪偏移信息，修剪主视点视频数据超出子视点视频数据的区域，通过使用修剪的主视点视频数据和子视点视频数据来以3D再现提取的每个视点的视频数据。 

所述方法还可包括：通过使用参考信息和3D附加信息中的至少一个，来以3D再现提取的每个视点的视频数据，其中，再现的步骤可包括：基于宽高比描述符信息中的修剪偏移信息，使用各主视点视频数据来填充比主视点视频数据更小的子视点视频数据的区域来产生扩展的子视点视频数据；通过使用主视点视频数据和扩展的子视点视频数据来以3D再现提取的每个视点的视频数据。 

根据另一示例性实施例的一方面，提供了一种产生用于提供3D多媒体服务的数据流的设备，所述设备包括：ES产生器，从用于提供2D多媒体服务和3D多媒体服务中的至少一个的节目产生包括每个视点的视频数据的至少一个ES；PMT产生器，产生关于所述节目的PMT信息，所述PMT信息包括关于所述至少一个ES的参考信息和用于根据视点识别和再现每个视点的视频数据的3D附加信息；TS产生器，通过对所述至少一个ES和PMT信息进行打包而产生PES包，并对PES包进行复用，来产生至少一个TS；信道发送器，对所述至少一个TS进行同步并使用信道发送所述至少一个TS。 

根据另一示例性实施例的一方面，提供了一种接收用于提供3D多媒体服务的数据流的设备，所述设备包括：TS接收器，接收关于提供2D多媒体服务和3D多媒体服务中的至少一个的节目的至少一个TS；TS解复用器，通过对所述至少一个TS进行解复用，提取关于节目的基本PES包和关于节目的 PMT信息；PMT 3D附加信息提取器，从PMT信息提取关于包括节目的每个视点的视频数据的至少一个ES的参考信息以及用于识别和再现每个视点的视频数据的3D附加信息；ES恢复器，通过使用提取的关于通过对PES包进行解包而提取的ES中的所述至少一个ES的参考信息，恢复所述至少一个ES，并从所述至少一个ES提取每个视点的视频数据；再现器，通过使用3D附加信息和参考信息中的至少一个，对提取的每个视点的视频数据进行解码和恢复，并以3D再现恢复的每个视点的视点数据。 

根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行产生用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。 

根据另一示例性实施例的一方面，提供了一种在其上记录有用于执行接收用于提供3D多媒体服务的数据流的方法的程序的计算机可读记录介质。 

具体实施方式

以下，将参照附图更完整地描述示例性实施例。应理解，当诸如“中的至少一个”的表述出现在列出的元件之后时，其修饰列出的全部元件而不是修饰列出的单个元件。此外，在此使用的“单元”可被实施为硬件组件和/或由计算机或硬件处理器执行的软件组件。 

图1是根据示例性实施例的产生用于提供三维（3D）多媒体服务的数据流的设备100的框图。 

设备100包括基本流（ES）产生器110、节目映射表（PMT）产生器120、传输流（TS）产生器130和信道发送器140。 

ES产生器110接收2D视频和3D视频中的至少一个的每个视点的视频数据，并产生包括每个视点的视频数据的至少一个ES。接收的每个视点的视频数据以及与每个视点的视频数据有关的音频数据和子数据形成节目，ES产生器110可产生关于每个视点的视频数据和音频数据的ES，以形成用于提供2D或3D多媒体服务的节目。 

用于3D多媒体服务的每个视点的视频数据可包括主视点视频数据和至少一条子视频数据。子视频数据可以是子视点视频数据本身、主视点视频数据和子视点视频数据被组合的3D复合格式的视频数据、主视点视频数据和子视点视频数据之间的深度信息、视差信息或主视点视频数据和子视点视频数据之间的差信息。 

ES产生器110可将每个视点的多条视频数据插入每个ES。针对一个节目的视频数据的ES可包括主ES和至少一个子ES。3D复合模式的主视点视频数据或视频数据可被插入主ES。子视频数据可被插入子ES。 

PMT产生器120产生关于与ES产生器110产生的ES有关的节目的PMT信息。PMT信息可包括关于数据（诸如用于形成节目的视频数据、音频数据和子数据）的参考信息。参考信息可以是包括所述数据的TS的包标识符（PID）信息和流类型信息中的至少一个。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时，PMT信息可包括根据所述多个ES的PID信息和流类型信息中的至少一个。 

PMT产生器120将参考信息和3D附加信息中的至少一个插入PMT信息，其中，从至少两个视点的视频形成各个节目的3D视频的特性得到所述参考信息和3D附加信息中的至少一个。3D附加信息可被用于识别和再现根据多个视点的各个节目的每个视点的视频数据。当插入了针对一个节目的每个视点的视频数据的多个ES被产生时，可根据所述多个ES设置所述参考信息和3D附加信息中的至少一个。 

可针对每个ES设置ES的流类型信息。PMT产生器120可将插入了各个视频数据的主ES和子ES的流类型信息插入参考信息。例如，当设备100基于MPEG TS系统时，可通过使用在MPEG TS系统中设置的流类型信息来设置主ES的流类型信息和子ES的流类型信息。 

PMT产生器120可将3D附加信息和参考信息中的至少一个插入来自PMT信息的关于各个ES的描述符信息。PMT产生器120可产生具有以下结构的PMT信息：所述结构根据PMT信息中的主ES和子ES的3D附加信息或参考信息的位置而改变。 

在根据第一示例性实施例的PMT信息中，主ES的3D附加信息包括子ES的3D附加信息和参考信息中的至少一个。 

PMT产生器120可将子ES的3D附加信息和参考信息中的至少一个插入来自根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息中。换句话说，主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有分层关系。 

根据第二示例性实施例的PMT信息顺序地包括关于每个ES的ES信息。PMT产生器120可将3D子描述符信息插入来自根据第二示例性实施例的PMT 信息的关于子ES的ES信息或关于主ES的ES信息中。换句话说，主ES的3D附加信息或参考信息与子ES的3D附加信息或参考信息具有平行关系。 

例如，3D附加信息可包括关于每个视点的视频数据的信息，诸如被插入各个ES中的视频数据的视点标识信息、3D复合模式信息、视点优先级信息和编解码器信息。稍后将参照图9A和图9B以及表5和表6来描述根据第一示例性实施例的PMT信息以及相关的参考信息和3D附加信息。稍后将参照图10A和图10B以及表7至表20来描述根据第二示例性实施例的PMT信息以及相关的参考信息和3D附加信息。 

PMT产生器120可将指示视频数据是否被插入TS的2D/3D模式信息、2D/3D模式切换通知信息或2D/3D通知描述符信息插入PMT信息。稍后将参照表3、表4、表21和表22以及图11来描述与关于2D/3D模式或2D/3D模式切换的3D附加信息有关的细节。 

如果主视点视频数据和子视点视频数据的尺寸或宽高比不同，则PMT产生器120可将宽高比描述符信息和修剪偏移信息插入PMT信息，所述宽高比描述符信息和修剪偏移信息与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关。稍后将参照表23以及图12和图13来描述与关于修剪偏移或宽高比的3D附加信息有关的细节。 

TS产生器130通过对从ES产生器110接收的至少一个ES进行打包来产生打包的基本流（PES）包。TS产生器130可通过对PES包和从PMT产生器120接收的PMT信息进行复用来产生TS。 

信道发送器140将从TS产生器130接收的TS与信道同步，并通过该信息发送同步的TS。将在稍后参照图5描述产生单个节目、PES包和TS的处理的同时详细描述关于ES产生器110、TS产生器130和信道发送器140的操作。 

图2是根据示例性实施例的接收用于提供3D多媒体服务的数据流的设备200的框图。 

设备200包括TS接收器210、TS解复用器220、PMT附加信息提取器230、ES恢复器240和再现器250。 

TS接收器210通过预定信道接收关于用于提供2D或3D多媒体服务的节目的TS。TS解复用器220对从TS接收器210接收的TS进行解复用，并提取关于该节目的PES包和关于该节目的PMT信息。PMT附加信息提取器230从由TS解复用器220提取的PMT信息中提取关于包括该节目中的每个视点的视 频数据的TS或至少一个ES的参考信息。 

ES恢复器240通过对由TS解复用器220提取的PES包进行解包来恢复ES。这里，可通过使用从PMT信息提取的关于ES的参考信息来分别恢复插入了相同类型的数据的多个ES。ES恢复器240从ES提取节目的每个视点的视频数据。类似地，ES恢复器240可通过恢复音频ES来提取音频数据。 

PMT附加信息提取器230从由TS解复用器220提取的PMT信息提取关于2D或3D视频的每个视点的视频数据的3D附加信息和参考信息中的至少一个。 

如果存在插入了一个节目的每个视点的视频数据的多个ES，则PMT附加信息提取器230可提取根据所述多个ES的3D附加信息和参考信息中的至少一个。 

PMT附加信息提取器230可从参考信息提取关于各个ES的流类型信息。例如，如果设备200基本MPEG TS系统，则可通过使用由MPEG TS系统定义的流类型信息设置关于主ES的流类型信息和关于子ES的流类型信息。 

PMT附加信息提取器230可从PMT信息中的关于各个ES的描述符信息中提取3D附加信息和参考信息中的至少一个。PMT附加信息提取器230可从具有以下结构的PMT信息提取关于主ES和子ES的3D附加信息和参考信息中的至少一个：所述结构基于PMT信息中的3D附加信息和参考信息的位置而改变。例如，可存在根据第一示例性实施例的PMT信息，其中，所述PMT信息包括在关于主ES的3D附加信息的下层中的关于子ES的3D附加信息和参考信息，可存在根据第二示例性实施例的PMT信息，其中，所述PMT信息根据多个ES顺序地包括至少一个ES中的每一个ES的3D附加信息和参考信息。 

PMT附加信息提取器230可从根据第一示例性实施例的PMT信息中的关于主ES的3D子描述符信息提取关于子ES的3D附加信息和参考信息中的至少一个。 

PMT附加信息提取器230可从根据第二示例性实施例的PMT信息的关于子ES的ES信息或关于主ES的ES信息提取3D子描述符信息。 

例如，PMT附加信息提取器230可从3D附加信息提取关于每个视点的视频数据的信息，诸如被插入到各个ES的视频数据的视点标识信息、3D复合格式信息、视点优先级信息、每个视点的视频数据的尺寸信息和编解码器信息。PMT附加信息提取器230可从PMT信息提取指示在TS中是包括2D视频数据还是包括3D视频数据的2D/3D模式信息、2D/3D模式切换通知信息或3D 通知描述符信息。 

PMT附加信息提取器230可从PMT信息提取与调整用于在3D再现期间显示主视点视频数据和子视点视频数据的区域的方法有关的宽高比描述符信息和修剪偏移信息。如果主视点视频数据和子视点视频数据的尺寸或宽高比不同，则宽高比描述符信息和修剪偏移信息可被用于在使用主视点视频数据和子视点视频数据进行3D再现期间将每个视点的视频数据的尺寸调整为相同。 

再现器250对由ES恢复器240提取的每个视点的视频数据进行解码和恢复，并以3D再现通过使用由PMT附加信息提取器230提取的3D附加信息和参考信息中的至少一个而恢复的3D视频图像。 

再现器250可将从主ES和子ES提取的每个视点的视频数据的格式转换为将由再现器250再现的3D再现格式。例如，再现器250从主ES提取主视点视频数据，从子ES提取子视点视频数据。再现器250可将提取的主视点视频数据和子视点视频数据的格式转换为3D再现格式，以再现提取的主视点视频数据和子视点视频数据。 

可选地，再现器250可从主ES提取主视点视频数据，从子ES提取子视点视频数据、深度信息、视差信息和差信息。可选地，再现器250可从主ES提取具有3D复合格式的视频数据，从子ES提取深度信息、视差信息和差信息中的至少一个。这里，再现器250可从提取的视频数据恢复主视点视频数据和子视点视频数据，将主视点视频数据和子视点视频数据的格式转换为3D再现格式，并再现主视点视频数据和子视点视频数据。 

由于设备100产生的PMT信息可包括根据包括3D视频数据的多个ES的ES信息以及3D附加信息和参考信息中的至少一个，因此，3D附加信息和参考信息中的所述至少一个与3D视频数据流一起被发送和接收。因此，3D视频可被接收器精确地再现。接收器可以是机顶盒、显示装置或包括多媒体处理器的计算机。 

在现有技术的MPEG TS系统中，假设关于2D视频的TS，因此在一条PMT信息中仅设置关于一个视频的描述符信息。 

设备100另外将3D附加信息和参考信息（或3D描述符信息）附加地插入现有技术的MPEG TS系统的PMT信息中的视频描述符信息，因此，包括设备200的接收器可识别和提取将被用于再现3D视频的3D附加信息和参考信息（或3D描述符信息）。此外，由于符合现有技术的MPEG TS系统的接收系 统不能够识别3D附加信息和参考信息（或3D描述符信息），因此所述接收系统仅读取和使用现有技术的描述符信息。 

因此，设备100发送包括PMT信息的数据流，其中，PMT信息包括3D附加信息和参考信息（或3D描述符信息），由于接收所述数据流的接收系统能够不管3D附加信息和参考信息（或3D描述符信息）而仅提供2D多媒体服务，因此所述接收系统保持与现有技术MPEG TS系统的兼容性，另外，包括设备200的接收器提供3D多媒体服务。 

此外，由于设备100和200可通过使用由现有技术的MPEG TS系统定义的流类型信息来设置每个ES的流类型信息，与现有技术的MPEG TS系统的数据流结构相比，新的流类型可不被附加地指定附加比特，也不被分配有附加比特。 

图3是根据示例性实施例的基于MPEG TS系统发送数字广播的设备300的框图。 

在设备300中，单节目编码器310产生包括视频TS和音频TS的单节目TS，复用器（MUX）380通过使用由多个单节目编码器310产生的至少一个单节目TS来产生和发送多节目TS（MP TS）。由于设备300基于使用多模式服务（MMS）模式的MPEG TS系统，因此通过对单节目TS进行复用而产生的多节目TS可被发送，从而发送多个节目。 

单节目编码器310包括视频编码器320、音频编码器330、打包器340和350以及MUX 360。 

视频编码器320和音频编码器330分别对未压缩的视频数据和未压缩的音频数据进行编码，从而分别产生和输出视频ES和音频ES。单节目编码器310的打包器340和350分别对视频ES和音频ES进行打包，并通过插入PES头来分别产生视频PES包和音频PES包。 

MUX 360对视频PES包、音频PES包和各种子数据进行复用以形成第一单节目TS（SP TS1）。PMT信息可与视频PES包和音频PES包一起被复用以被包括在第一单节目TS中。PMT信息被包括在每个单节目TS中以描述每个TS的PID信息。 

MUX 380可将多个单节目TS（SP TS1，SP TS2等）与节目关联表（PAT）信息复用以形成一个多节目TS（MP TS）。 

由节目说明信息（PSI）以及节目和系统信息协议（PSIP）产生器370 产生PMT信息和PAT信息。 

PAT信息和PSIP可被插入多节目TS。PAT信息描述与包括在各个多节目TS中的单节目TS有关的PMT信息的PID信息。 

图4是根据示例性实施例的基于MPEG TS系统接收数字广播的设备400的框图。 

设备400接收数字数据流，从数字数据流提取视频数据、音频数据和子数据。 

数字TS（DTV）调谐器410基于信道选择信号（物理信道选择）调谐到观看者选择的信道的无线电频率，选择性地提取通过相应无线电波接收的信号。 

信道解码器和解调器420从信道信号提取多节目TS（MP TS）。由于设备400基于使用MMS方法的MPEG TS系统，因此设备400可接收多节目TS，并将多节目TS解复用为多个单节目TS。解复用器（DEMUX）430将多节目TS分为多个单节目TS（SP TS1，SP TS2等）和PSIP。 

通过观看者的节目选择信号（节目选择）而选择的第一单节目TS（SP TS1）通过单节目解码器440被解码。单节目解码器440以与单节目编码器310相反的顺序进行操作。从第一单节目TS恢复视频PES包、音频PES包和子数据。视频PES包和音频PES包分别通过解包器460和465被恢复为ES形式，视频ES和音频ES分别通过视频解码器470和音频解码器475被恢复为视频数据和音频数据。通过使用显示处理器480，视频数据可被转换为可显示的格式。 

时钟恢复和音频-视频(AV)同步单元490可通过使用从第一单节目TS提取的节目时钟参考（PCR）信息和时间戳信息来同步视频数据和音频数据的再现时间。 

从多节目TS（MP TS）提取的PSIP基于由用户输入的节目选择信号与节目指南数据库445进行比较，从而从节目指南数据库445中搜索与节目选择信号相应的信道和节目。找到的信道和节目可分别被输出到DTV调谐器410和DEMUX 430。此外，由于同屏显示信息从节目指南数据库445被发送到显示处理器480，因此同屏显示操作可被支持。 

参照图1描述的设备100产生关于一个节目的包括3D视频的每个视点的视频数据、音频数据和子数据的TS（即，单节目TS），但设备100的操作不限于一个视频。换句话说，如果多条视频数据、音频数据和子数据被输入， 则设备100可产生包括多个视频的单个节目TS。 

图5是根据示例性实施例的发送用于发送根据设备100的多个视频ES的MPEG TS的设备500的框图。 

通过扩展设备100来提供用于支持在一个节目中包括多个视频的MPEGTS的设备500。换句话说，设备500的单节目编码器510和MUX 580的操作相应于设备100的ES产生器110和TS产生器130的操作，设备500的PSI和PSIP产生器570的操作相应于设备100的PMT产生器120的操作，设备500的信道编码器和调制器590以及DTV发送器595的操作相应于设备100的信道发送器140的操作。 

单节目编码器510接收3D视频的第一视频（视频1）、第二视频（视频2）和第三视频（视频3），并分别通过视频编码器520、530和540产生第一视频ES（视频ES 1）、第二视频ES（视频ES 2）和第三视频ES（视频ES 3）。第一视频、第二视频和第三视频可分别是第一视点视频、第二视点视频和第三视点视频，或可以是第一视点视频、第二视点视频和第三视点视频中的至少一个的组合。 

视频编码器520和530可独立地遵循视频编码方法。例如，可根据MPEG-2视频编码方法对第一视频和第二视频进行编码，可根据MPEG先进视频编码（AVC）/H.264视频编码方法对第三视频进行编码。 

第一视频ES、第二视频ES和第三视频ES可分别通过打包器525、535和545被打包为第一视频PES包（视频PES 1）、第二视频PES包（视频PES 2）和第三视频PES包（视频PES 3）。 

单节目编码器510可接收音频，并通过音频编码器550将音频转换为音频ES（音频ES），音频ES可通过打包器555被转换为音频PES包（音频PES）。 

单节目编码器510的MUX 560可通过将第一至第三视频PES包和音频PES包复用在一起来输出第一单节目TS（SP TS 1）。MUX 560可将由单节目编码器510接收的各种类型的子数据以及由PSI和PSIP产生器570产生的PMT信息与第一至第三视频PES包和音频PES包一起插入第一单节目TS。 

另一条3D视频数据可被复用到第二单节目TS（SP TS 2）。PSI和PSIP产生器570可产生PAT信息，PAT信息包括在第一和第二单节目TS中包括的PMT信息的PID信息以及关于各种节目和系统信息的PSIP。MUX 580可通过将第一和第二单节目TS以及PAT信息复用来输出一个多节目TS（MP TS）。 

信道编码器和调制器590可根据信道对多节目TS进行编码和同步。DTV发送器595可发送分配给信道的TS。 

单节目编码器510可根据独立的数字数据通信方法产生每个TS。可根据多个节目，基于相同或不同的数字数据通信方法来产生和发送多个TS。例如，先进电视系统委员会（ATSC）地面广播通信方法支持先进残留边带（E-VSB）方法，其中，E-VSB方法可通过使用与MPEG方法不同的方法来形成TS。然而，如MPEG方法中所执行的，E-VSB产生关于节目的PMT信息，并将PMT信息插入TS。因此，第一单节目TS可被发送为MPEG TS，第二单节目TS可被发送为E-VSB TS，包括关于形成每个节目的每个视点的视频数据的3D附加信息的PMT信息可被插入第一和第二单节目TS。 

参照图2描述的设备200接收关于一个节目的TS，即，单节目TS，但是设备200的操作不限于一个节目。换句话说，设备可接收根据关于多个节目的节目的TS，从多个TS提取根据多个节目的PMT信息，并提取所述多个节目的视频数据、音频数据和子数据。 

现在将参照图6描述支持MPEG TS的设备200，在MPEG TS中，节目包括多个视频。 

图6是根据示例性实施例的接收用于根据设备200接收多个视频ES的MPEG TS的设备600的框图。 

通过扩展设备200来提供用于支持MPEG TS的设备600，在所述MPEG TS中，一个节目包括多个视频。换句话说，设备600的信道解码器和解调器615、DEMUX 620以及单节目解码器630的操作分别相应于设备100的TS接收器210、TS解复用器220、PMT附加信息提取器230和ES恢复器240的操作。 

DTV调谐器610选择性地提取通过由观看者选择的信道的无线电波接收的信号。信道解码器和解调器615从信道信号提取多节目TS。多节目TS通过DEMUX 620被分为多个单节目TS（SP TS 1、SP TS 2等）和PSIP。 

单节目解码器630对由观看者选择的第一单节目TS（SP TS 1）进行解码。第一单节目TS被解复用以恢复第一视频PES包（视频PES 1）、第二视频PES包（视频PES 2）、第三视频PES包（视频PES 3）、音频PES包（音频PES）和子数据（数据）。第一视频PES至第三视频PES包分别通过解包器650、660和670被恢复为第一视频ES（视频ES 1）、第二视频ES（视频ES 2）和第三视频ES（视频ES 3），第一视频ES至第三视频ES分别通过视频解码器 653、663和673被恢复为第一视频、第二视频和第三视频。第一视频至第三视频可分别通过显示处理器655、665和675被转换为可显示的格式。 

音频PES包通过解包器680和音频解码器683被恢复为音频数据。 

时钟恢复和AV同步单元690可通过使用从第一单节目TS提取的PCR信息和时间戳信息来同步视频数据和音频数据的再现时间。 

基于由用户输入的节目选择信号，关于与用户的节目选择信号相应的信道和节目的信号可从节目指南数据库635被发送到DTV调谐器610和DEMUX620。此外，同屏显示信息可从节目指南数据库635被发送到显示处理器655、665和675。 

因此，设备600可提取与通过一个信道接收的3D视频的第一视频至第三视频和音频有关的一个多节目TS，对该多节目TS进行解复用，选择性地提取期望的单节目TS。此外，设备600可从提取的单节目TS选择性提取关于3D视频的第一至第三视频的视频ES，以恢复期望的视频数据。 

这里，设备600可从第一单节目TS提取PMT信息，并从PMT信息提取关于节目的3D视频的3D附加信息或3D描述符信息。可通过使用3D附加信息或3D描述符信息精确地识别形成3D视频的每个视点的视频数据，来精确地再现3D视频。 

被插入由设备100产生并由设备200接收的TS的有效载荷的3D视频数据包括3D视频的每个视点的视频数据。为了便于描述，包括左视点视频和右视点视频的立体图像被用作3D视频。然而，3D视频不限于立体图像，并可以是具有至少三个视点的视频。 

3D视频数据可具有3D复合格式或3D混合格式，其中，在3D复合格式中，3D视频的左视点图像数据和右视点图像数据均被插入一个图像中，在3D混合格式中，左视点图像数据、右视点图像数据、深度信息、视差信息和差信息中的至少三个的组合被插入至少两个图像中。现在将参照图7和图8详细描述3D复合格式和3D混合格式。 

图7是用于描述根据示例性实施例的3D复合格式的表。 

3D复合格式的示例包括并排格式、顶部和底部格式、垂直线交错（vertical line interl eaved）格式、水平线交错（horizontal line interleaved）格式、场顺序格式和帧顺序格式。 

并排格式是相互对应的左视点图像和右视点图像被分别布置在3D复合 格式的图像的左侧区域和右侧区域的图像格式。顶部和底部格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的顶部区域和底部区域的图像格式。 

垂直线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数垂直线和偶数垂直线的图像格式。水平线交错格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数水平线和偶数水平线的图像格式。 

场顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数场和偶数场的图像格式，帧顺序格式是相互对应的左视点图像和右视点图像被分别布置在3D复合格式的图像的奇数帧和偶数帧的图像格式。 

具有并排格式、顶部和底部格式、垂直线交错格式和水平线交错格式的3D图像具有分辨率为原始图像的一半的左视点图像和右视点图像。 

当在3D复合格式中，3D视频数据被插入一个ES而不是子ES时，3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D复合格式信息（1ES_format）。换句话说，基于被插入当前ES的3D视频数据的3D复合格式是并排格式、顶部和底部格式、垂直线交错格式、水平线交错格式、场顺序格式还是帧顺序格式，3D复合格式信息的值可被指定为如图7所示的3个比特。 

图8是示出根据示例性实施例的在形成3D视频的多个视点中的视频数据的多个ES的各种组合的表。 

当3D视频数据被插入至少两个ES时，可插入具有3D混合格式的视频数据，其中，在3D混合格式中，左视点视频数据、右视点视频数据、深度信息、祥信息或差信息被插入每个ES。 

3D混合格式的类型可以是这样的格式：当存在两个ES时，左视点视频数据被插入第一ES，子视频数据被插入第二ES。在第一混合格式、第二混合格式和第三混合格式中，被插入第二ES的子视频数据可以是深度信息、视差信息或右视点视频数据。 

可选地，3D混合格式的类型可以是这样的格式：当存在至少两个ES时，左视点视频数据被插入第一ES，右视点视频数据以及深度信息和视差信息中的任何一个被插入第二ES或第三ES。在第四混合格式中，右视点视频数据 被插入第二ES，深度信息被插入第三ES。在第五混合格式中，深度信息被插入第二ES，右视点视频数据被插入第三ES。在第六混合格式中，右视点视频数据和深度信息被复合为一个图像的子视频数据被插入第二ES。在第七混合格式中，右视点视频数据被插入第二ES，视差信息被插入第三ES。在第八混格式中，视差信息被插入第二ES，右视点视频数据被插入第三ES。在第九混合格式中，右视点视频数据和视差信息被复合为一个图像的子视频数据被插入第二ES。 

在图8中示出的3D混合格式仅是一个示例，3D混合格式的组合和顺序不限于图8。 

当3D视频数据被插入至少两个ES时，3D附加信息可包括指示当前3D视频数据的图像格式的类型的3D混合格式信息（multi_ES_format）。换句话说，基于被插入当前ES的3D视频数据的3D混合格式，即，指示第一至第九混合格式中的哪一个是3D混合格式，3D混合格式信息的值可被指定为如图8所示的4比特。 

以下的表1示出MPEG TS系统的PMT信息的语法。设备100和200使用TS和PMT信息，但TS的结构可在除了MPEG TS系统以外的数字通信方法中被使用。因此，被插入TS并由设备100和200使用的PMT信息不限于表1。 

表1 

  语法   TS_program_map_section {   table_id   section_syntax_indicator   ‘0’   reserved   section_length   program_number   reserved   version_number   current_next_indicator   section_number   last_section_number

[0171] 

  reserved   PCR_PID   reserved   program_info_lengh   for(i=0;i<N;i++){   descriptor()   }   for(i=0;i<N1;i++){   stream_type   reserved   elementary_PID   reserved   ES_info_length   for(j=0;j<N2;j++){   descriptor()   }   }   CRC_32   }

表3的2D/3D模式信息（“2d/3d mode”）和表4的2D/3D模式切换通知信息（“notice indicator”）可被插入PMT信息的语法的保留信息（“reserved”）。 

PMT信息的语法的第一for循环是包括关于由当前PMT信息描述的节目的各种特征的信息的节目循环。表21的3D模式描述符信息（“3D mode descriptor()”）可被插入节目循环的描述符区（“descriptor()”）。 

PMT信息的语法的第for循环是包括关于由当前PMT信息描述的ES的各种特征的信息的ES循环。表5的3D流描述符信息（“3d stream descriptor()”）、表21的3D模式描述符信息（“3D mode descriptor()”）和表22的2D/3D模式切换通知描述符信息 （“3D notice descriptor()”）可被插入ES循环的描述符区域（“descriptor()”）。 

流类型信息（“stream_type”）指示相应ES的流类型。以下的表2指示由MPEG TS系统的ISO/IEC 13818-1标准定义的流类型以及指定给每个流类型的值。 

表2 

在每个ES循环中的流类型信息可根据相应ES的类型被设置为表2的任何流类型。表2的流类型是由设备100和200可选择的ES的流类型的示例，可选择的流类型不限于表2。 

与表1的PMT信息的语法相比，现在将参照图9A、图9B、图10A和图10B详细描述根据PMT信息中的3D附加信息的位置而分类的根据第一和第例性实施例的PMT信息的结构。 

图9A示出根据示例性实施例的PMT信息900的3D附加信息中的包括在关于主ES的3D视频描述符信息中的关于子ES的3D视频描述符信息的示例。 

根据第一示例性实施例的PMT信息900包括关于第一视频ES的第一ES循环（视频1ES循环）。第一ES循环910可包括关于第一视频ES的流类型信息（视频1流类型）、PID信息（视频1PID）和第一视频描述符信息（视频1描述符）915。第一视频描述符信息915可包括关于第二视频ES的第二ES循环（视频2ES循环）920和关于第三视频ES的第三ES循环(视频3ES 循环)930。 

第二ES循环920和第三ES循环930可分别包括以下信息：包括关于第二视频ES的2D附加信息的第二视频描述符信息（视频2描述符）925以及包括关于第三视频ES的3D附加信息的第三视频描述符信息（视频3描述符）935。 

根据第一示例性实施例的PMT信息900还可包括关于音频ES的音频ES循环(音频ES循环)940。音频ES循环940可包括关于音频ES的流类型信息（音频流类型）、PID信息（音频PID）和音频描述符信息（音频描述符）945。 

换句话说，表1的PMT信息的第二for循环相应于第一ES循环910。第一视频描述符信息915被插入第二for循环的描述符区，同时，第二ES循环920和第三ES循环930被插入第一视频描述符信息915的更低层。因此，第二视频描述符信息925和第三视频描述符信息935可被插入第二for循环的描述符区。换句话说，可在第一视频描述符信息915、第二视频描述符信息925和第三视频描述符信息935之间形成分层结构。 

图9B示出图9A的PMT信息900的流结构。 

根据第一示例性实施例的PMT信息的PMT流950包括第一视频ES（视频1ES）循环955。第一视频ES循环955包括“stream_type”字段951、“Elementary_PID”字段952、“ES_info_length”字段953和“Descriptors”字段954。相应信息被插入每个字段。第一ES描述符信息960被插入第一视频ES循环955的“Descriptors”字段954。第一ES描述符信息960包括“Descriptor_tag”字段961、“Descritor_length”字段962、“Main_Video_format”字段963、“L/Rfirst”字段964和“num_of_sub_stream”字段965。关于第一视频的图像格式的信息可被插入“Main_Video_format”字段963，3D复合格式中的左视点图像和右视点图像的视点排列顺序信息可被插入“L/Rfirst”字段964，关于子ES的数量的信息可被插入“num_of_sub_stream”字段965。在第一视频ES循环955的“Descriptor”字段954中，第二视频ES（视频2ES）循环970和第三视频ES（视频3ES）980可作为第一ES描述符信息960的下层被包括在第一ES描述符信息960之后。与“num_of_sub_stream”字段965的值相应的多个子ES循环可被包括在第一视频ES循环955的“Descriptors”字段954中，在第一ES描述符信息960 之后。 

第二视频ES循环970和第三视频ES循环980可分别包括“sub_stream_type”字段971和981、“sub_video_PID”字段972和982、“sub_video_For,at”字段973和983、“picture_display_order”字段974和984、“sub_view_info”字段975和985和“sub_view_index”字段976和986。 

第二视频ES和第三视频ES的流类型信息可被分别插入“sub_stream_type”字段971和981、第二视频ES和第三视频ES的PID信息可被插入“sub_video_PID”字段972和982，第二视频数据和第三视频数据的图像格式信息可被插入“sub_video_Format”字段973和983。关于根据形成包括第一视频、第二视频和第三视频的3D视频的每个视点的视频数据的视点的再现顺序的信息可被插入“picture_display_order”字段974和984。用于针对小孩或成人调整3D效果的信息可被插入“sub_view_info”字段975和985，子视频中的第二视频和第三视频的索引信息可被插入“sub_view_index”字段976和986。 

图10A示出根据示例性实施例的在PMT信息1000的3D附加信息中顺序包括的关于主ES的3D视频描述符信息和关于子ES的3D视频描述符信息的示例。 

关于第一视频ES的第一ES循环（视频1ES循环）1010、关于第二视频ES的第二ES循环（视频2ES循环）1020、关于第三视频ES的第三ES循环（视频3ES循环）1030和关于音频ES的音频ES循环1040可被顺序地插入根据示例性实施例的PMT信息1000中。 

第一ES循环1010可包括关于第一视频ES的流类型信息（视频1流类型）、PID信息（视频1PID）和第一视频描述符信息（视频1描述符）1015。 

类似地，第二ES循环1020可包括关于第二视频ES的流类型信息（视频2流类型）、PID信息（视频2PID）和第二视频描述符信息（视频2描述符）1025，第三ES循环1030可包括关于第三视频ES的流类型信息（视频3流类型）、PID信息（视频3PID）和第三视频描述符信息（视频3描述符）1035。 

这里，构成子ES的第二视频ES和第三视频ES的流类型信息可以是流类型中的“补充视频流”。例如，表2中的“如在ISO/IEC 23002-3中定义的补充视频流”可被选为第二视频ES和第三视频ES的流类型信息。 

音频ES循环1040可包括关于音频ES的流类型信息（音频流类型）、PID信息（音频PID）和音频描述符信息（音频描述符）1040。 

换句话说，第一ES循环1010、第二ES循环1020和第三ES循环1030可被插入表1的PMT信息的第二for循环，各3D附加信息可被插入第一ES循环1010、第二ES循环1020和第三ES循环1030的第一视频描述符信息1015、第二视频描述符信息1025和第三视频描述符信息1035。也就是说，第一ES循环1010、第二ES循环1020和第三ES循环1030可具有平行结构。 

图10B示出图10A的PMT信息1000的流结构。 

根据第二示例性实施例的PMT信息的PMT流1050包括第一视频ES（视频1ES）1055，可在第一视频ES循环1055之后连续包括第二视频ES（视频2ES）循环1060和第三视频ES（视频3ES）循环1070。当存在与第一视频ES有关的多个子ES循环以形成3D视频时，子ES循环中的每一个可被插入到PMT流1050中的第一视频ES循环1055之后。 

第一视频ES循环1055、第二视频ES循环1060和第三视频ES循环1070可分别包括“Stream_type”字段1051、1061和1070，“PID”字段1052、1062和1072以及“Descriptors”字段1053、1063和1073。 

各视频ES的流类型信息可被插入“Stream type”字段1051、1061和1071，各视频ES的PID信息可被插入“PID”字段1052、1062和1072。关于各视频ES的视频数据的视频特征的信息可被插入“Descriptor”字段1053、1063和1073，“Descriptor”字段1053、1063和1073可包括用于形成3D视频的关于各视频ES的特征的3D附加信息或3D描述符信息。 

已参照图9A和图9B描述根据第一示例性实施例的PMT信息，并已参照图10A和图10B描述第二示例性实施例的PMT信息，但如果第一ES循环、第二ES循环和第三ES循环根据分层结构或平行结构被插入，则插入每个PMT信息的参数或信息的类型、顺序、定义和使用示例可改变。 

3D附加信息可包括用于指示是2D视频数据还是3D视频数据被插入当前ES的信息。例如，以下的表3示出2D/3D模式信息（“2d/3d mode”）以下的表4示出2D/3D模式切换通知信息（“notice_indicator”）。 

表3 

  2d/3d mode   描述   01   2D视频

[0205] 

  00   3D视频   10   2D/3D复合视频

2D/3D模式信息（“2d/3d_mode”）指示插入当前ES的视频数据是2D视频、3D视频还是2D/3D复合视频。2D/3D复合视频是2D视频和3D视频彼此混合的视频流，2D视频和3D视频可通过一个信息被一起发送或接收。设备100可将2D/3D模式信息插入PMT信息以发送指示2D视频、3D视频和2D/3D复合视频中的任何一个被插入当前视频数据的信息。设备200可基于从PMT信息提取的2D/3D模式信息来预测2D视频、3D视频和2D/3D复合视频将从通过一个信息接收的视频数据流中被提取。

表4 

  notice_indicator   描述   1   切换   0   不切换

2D/3D模式切换通知信息（“notice_indicator”）指示当前ES中的视频数据是否从2D视频数据切换到3D视频数据。设备100可将2D/3D模式切换通知信息插入PMT信息以指示当前ES中的视频数据是否从2D视频数据切换到3D视频数据。设备200可基于从PMT信息提取的2D/3D模式切换通知信息来预测当前接收的视频数据是否在2D视频数据和3D视频数据之间切换。 

设备100的PMT产生器120可将2D/3D模式信息和2D/3D模式切换通知信息插入PMT信息的保留区。设备200的PMT附加信息提取器230可从PMT信息的保留区提取2D/3D模式信息和2D/3D模式切换通知信息。设备200可通过使用2D/3D模式信息和2D/3D模式切换通知信息来确定哪个视频数据和相关附加信息将从当前ES中被解析和提取。 

根据需要，2D/3D模式信息和2D/3D模式切换通知信息被选择性地插入根据第一和第二示例性实施例的PMT信息。 

表5的3D流描述符信息（“3D_stream_Descriptor”）和表6的视点排列顺序信息（“LR_first”）相应于被插入根据第一示例性实施例的PMT信息中的3D附加信息。 

表5 

表5的3D流描述符信息（“3D_stream_Descripto”）可被插入描述符信息915和954，所述描述符信息915和954被插入以上参照图9A和图9B描述的第一视频ES循环910和955。在表5的3D流描述符信息中，for循环可相应于子ES循环，即，图9A和图9B的第二视频ES循环920和970。关于主ES的3D附加信息可被插入3D流描述符信息，关于子ES的3D附加信息可被插入子ES循环。 

根据第一示例性实施例的PMT产生器120可将主视频数据的图像格式信息（Main_Vieo_format）、主视频数据的图像格式中的视点排列顺序信息（LR_first）和关于子ES的数量的信息（num_of_sub_stream）中的至少一个插入3D附加信息，作为用于根据视点识别和再现3D视频数据的信息。可根据关于子ES的数量的信息来确定插入3D流描述符信息的子ES循环的数量，3D附加信息可被插入每个子ES循环。 

根据第一示例性实施例的PMT产生器120可将子ES的流类型信息 （sub_tream_type）、子ES的PID信息（sub_video_PID）、子视点视频数据的图像格式信息（sub_video_Format）、主视点视频数据和子视点视频数据的显示顺序信息（picture_display_order）、用于针对小孩或成人调整3D效果的信息（sub_view_info）和指示3D视频数据中的子视点视频数据的子视点索引信息（sub_view_index）中的至少一个插入PMT信息，作为3D附加信息。 

视点排列顺序信息（LR_first）可指示当前ES的3D复合格式中哪个区域是左视点图像和右视点图像。参照表6，格式排列顺序可定义图7的3D复合格式中的左视点图像和右视点图像的位置。 

表6 

当“LR_first”的值是0时，左视点视频数量位于并排格式图像的左区域、顶部和底部格式的上区域、垂直线交错格式的奇数线、水平线交错格式的奇数线、场顺序格式的奇数参数或帧顺序格式的奇数帧上。此外，当当前3D视频数据被插入两个ES中并且“LR_first”的值是0时，左视点视频数据可以是所述两个ES的第一ES的主视点视频数据（主媒体）。相应地，右视点视频数据可被排列在与以上描述的左视点视频数据位于每个3D复合格式的区域相反的区域中。 

当“LR_first”的值是1时，右视点视频数据和左视点视频数据的排列可与当“LR_first”的值是0时的排列相反。 

设备200的PMT附加信息提取器230可读取表5的3D流描述符信息，并从第一视频ES循环910和955中的描述符信息915和954中提取关于主ES的3D附加信息。此外，PMT附加信息提取器230可从3D流描述符信息中的子ES循环提取关于子ES的3D附加信息。因此，ES恢复器240可通过使用关于主ES和子ES的3D附加信息来精确地恢复3D视频数据，再现器250可再现3D视频数据。 

可被插入根据以上参照图10A和图10B描述的第二示例性实施例的PMT信息的各种类型的3D附加信息或3D子描述符在表7至表20中示出。 

设备100的PMT产生器120可将以下的表7的3D描述符信息（“3d_descriptor”）插入以上参照图10A和图10B描述的第一视频ES循环1010和1055中的描述符信息1015和1053。 

表7 

表7的3D描述符信息（“3d_descriptor”）根据关于插入了3D视频的每个视点的视频数据的ES的数量的信息（“num_of_ES”）描述关于3D视频的不同信息。当每个视点的视频数据被插入一个ES中时，3D描述符信息可描述在图7中描述的3D复合格式信息（1ES_format）和在表6中描述的视点排列 顺序信息（LR_first）。可选地，当每个视点的视频数据被插入至少两个ES时，3D描述符信息可描述在图8中描述的3D混合格式信息（Multi_ES_format）。 

即使仅从根据第二示例性实施例的PMT信息中解析和读取第一视点ES循环1010和1055中的描述符信息1015和1053，设备200的PMT附加信息提取器230也可不仅预测关于第一视频ES的3D附加信息，还预测插入子ES中的子视频数据的3D图像格式。 

设备100的PMT产生器120可将以下的表8的补充视频流描述符信息（“Auxiliary_video_stream_descriptor()”）插入以上参照图10A和图10B描述的第二和第三视点ES循环1020、1030、1060和1070的描述符信息1025、1035、1063和1073中。 

表8 

补充视频流描述符信息（Auxiliary_video_stream_descriptor）可包括关于对子视频数据进行编码的方法的信息（“aux_video_codedstreamtype”）。 

PMT产生器120可将3D附加信息插入“si_rbsp(descriptor_length-1)”信息。 

具体地，PMT产生器120可将3D附加信息插入表9中的补充视频流描述符信息中的“si_rbsp”信息中的“si_message”的“si_payload”中，表9、表10和表11分别示出补充视频流描述符信息中的“si_rbsp”信息、“si_message”信息和“si_payload”信息。 

表9 

表10 

表11 

  语法 si_payload(payloadType,payloadSize){ is_avsi=FALSE if(payloadType==0payloadType==1‖payloadType==2){ is_avsi=TURE generic_params()   }   if(payloadType==0)   depth_params()   el seif(payloadType==1)   parallax_params()   else if(payloadType==2)   additional_view_param()   else   reserved_si_message(payloadType,payloadSize)

[0244] 

  }

PMT产生器120将子视点视频数据（“附加视点”）项插入深度映射（“Depth map”）和视差映射（“Parallax map”），作为如表12中所示的子ES的有效载荷类型信息。 

表12 

  payloadType   补充视频的类型   0   深度映射   1   视差映射   2   Additional_view   其它值   保留

对于当具有当前补充视频流类型的ES的有效载荷类型信息是子视点视频数据（“payloadType==2”）时使用的3D附加信息，PMT产生器120可表10的“si_payload”信息中的“generic_params()”信息的内容改变为如表13所示，并新添加表16的“additional_view_params()”信息。 

首先，PMT信息120将指示当前3D视频数据是否是混合格式的信息（“hybrid_indicator”）和关于混合格式的类型的信息（“hybrid_type”）的信息插入表13的“generic_params()”信息。 

表13 

表14 

  值   hybrid_ indicator   0   未使用混合类型格式   1   使用混合类型格式

表15 

  值   hybrid_type   000  子视点图像   001  深度信息   010  子视点图像+深度信息   011  子视点图像   100  视差信息   101  子视点图像+视差信息   110  保留

设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流描述符信息（“Auxiliry_video_stream_descriptor”）中提取混合格式指示符信息（“hybrid_indicator”），再现器250可基于提取的混合格式指示符信息来根据表14预测插入当前ES的3D视频数据是否是3D混合格式。 

可选地，PMT附加信息提取器230可从子流描述符信息中提取混合格式类型信息（“hybrid_type”），再现器250可基于提取的混合格式类型信息来根据表15确定子ES的子视频数据的混合格式的类型。 

对于当子ES类型的ES的有效载荷类型信息是子视点视频数据（“payloadType==2”）时使用的3D附加信息，PMT产生器120还可将表16的“additional_view_params()”信息插入子视频描述符信息。 

表16 

PMT产生器120还可将与当前子ES的子视频数据有关的另一条视频数据的PID信息（“linked_PID”）和指示子视频数据是左视点视频还是右视点视频的信息（“LR_indicator”）插入“additional_view_params()”信息中，以形成3D视频数据。 

表17 

  值   linked_PID   0x0000～0x1FFF  与子视点有关的主视点的PID的值

表18 

  值   LR_indicator   0  指示相应子视点图像是L   1  指示相应子视点图像是R

设备200的PMT附加信息提取器230可从PMT信息中的关于子ES的子流描述符信息来提取表16的子视点参数。 

PMT  附加信息提取器230提取子视点参数（“additional_view_params()”）中的PID信息“linked_PID”，再现器250可基于提取的PID信息“linked_PID”，检查关于插入了当前子视频数据和另一条视频数据的包或流的PID信息。PID信息“linked_PID”可根据表17指示与当前子视频数据有关的主视点视频数据。 

PMT  附加信息提取器230可提取子视点参数（“additional_view_params()”）中的信息（“LR_indicator”），再现器250可基于提取的信息（“LR_indicator”），确定当前子ES的子视频数据是立体视频中的左视点视频数据还是右视点视频数据。 

可选地，根据表19，PMT产生器120除了可将PID信息“linked_PID”和信息“LR_indicator”插入子视点参数“additional_view_params()”中，还可将子视点视频分辨率信息（“additional_view_resolution”）插入子视点参数“additional_view_params()”中。 

表19 

表20 

  值 additional_view_resolution   0b00   1920×1080   0b01   1280×720   0b10   704×480   0b11   640×480

PMT  附加信息提取器230可提取子视点参数“additional_view_params()”中的子视点视频分辨率信息（“additional_view_resolution”），再现器250可根据表20确定传输格式的子视点视频数据的尺寸。再现器250可比较传输格式中的主视点视频数据的尺寸和子视点视频数据的尺寸，并可在将传输格式改变为再现格式时调整主视点视频数据的尺寸和子视点视频数据的尺寸。

设备100的PMT产生器120除了可将包括关于3D视频数据的特征的信息的3D流描述符信息（“3d_stream Descriptor()”）或3D视频描述符信息（“3d_descriptor()”）插入PMT信息中，还可将表21的3D模式描述符信息（“3d_mode_descriptor()”）和表22的3D通知描述符信息（“3d_notice_descriptor()”）插入PMT信息中，作为3D附加信息。 

PMT产生器120可将2D/3D模式信息（“2d/3d_mode”）和2D/3D模式切换通知信息（“notice_indicator”）插入3D模式描述符信息“3d_notice_descriptor()”）。PMT产生器120可将3D图标指示符信息（“es_icon_indicator”）、切换指示符信息（“transition_indicator”）、切换时间戳信息（“transiton_time_stamp”）和切换消息信息（“transition_message”）插入3D  通知描述符信息（“3d_notice_descriptor()”）。 

表21 

设备100的PMT附加信息提取器230从PMT信息中的节目循环或ES循环的描述符区中提取3D模式描述符信息（“3d_mode_descriptor()”），并可提取2D/3D模式信息（“2d/3d_mode”）和2D/3D模式切换通知信息（“notice_indicator”）。设备200的再现器250可基于提取的3D模式描述符信息、2D/3D模式信息和2D/3D模式切换通知信息，确定当前节目或当前ES的视频数据的2D模式和3D模式之间的切换。 

表22 

设备200的PMT附加信息提取器230可从PMT信息中的节目循环或ES循环的描述符区提取3D通知描述符信息（“3d_notice_descriptor()”）。 

PMT附加信息提取器230可提取3D通知描述符信息（“3d_notice_descriptor()”）中的3D  图标指示符信息（“es_icon_indicator”），再现器250可基于提取的3D图标指示符信息（“es_icon_indicator”），确定3D相关图标（诸如3D通知指示符）由内容提供商提供，并以这样的方式显示3D通知指示符：3D通知指示符与机顶盒 或电视（TV）的3D通知指示符不重叠。例如，当3D图标指示符信息（“es_icon_indicator”）的值是0时，可确定在视频ES中不存在3D通知图标，从而使用机顶盒或TV的3D通知指示符，当3D图标指示符信息（“es_icon_indicator”）的值是1时，可确定在视频ES中存在3D通知图标，从而可使用视频ES中的3D通知图标以及机顶盒和TV的3D通知指示符之一。 

PMT附加信息提取器230可提取3D通知描述符信息（“3d_notice_descriptor()”）中的切换指示符信息（“transition_indicator”），再现器250可确定将被接收的PMT信息是否包括2D/3D模式信息，所述2D/3D模式信息指示将被接收的PMT信息的模式是否与从当前PMT信息获得的当前模式不同，即，将被接收的PMT信息的模式是否将被改变。例如，当切换指示符信息（“transition_indicator”）的值为0时，在视频ES中保持当前模式，当切换指示符信息（“transition_indicator”）的值为1时，当前模式可被切换。 

当切换指示符信息指示将产生2D/3D  切换（“transition_indicator==1”）时，PMT附加信息提取器230从3D通知描述符信息（“3d_notice_descriptor()”）提取切换时间戳信息（“transtition_time_stamp”），再现器250可确定产生2D/3D模式切换的时间点。切换时间戳信息可以以显示时间戳（PTS）为单位来表示。切换时间戳信息可被表示为包括当前PMT信息的画面图像的PTS值和产生2D/3D模式切换的时间点的PTS值之间的相对值，或者被表示为产生2D/3D模式切换的时间点的PTS值的绝对值。然而，切换时间戳信息除了可以以PTS为单位来表示之个，还可以以其它单位来表示，诸如以帧的数量为单位。 

当切换指示符信息指示将产生2D/3D  切换（“transition_indicator==1”）时，PMT附加信息提取器230从3D通知描述符信息（“3d_notice_descriptor()”）提取切换消息信息（“transition_message”）。设备200的再现器250可在基于提取的切换消息信息再现内容服务的同时，确定作为2D/3D模式切换通知指示符的视觉效果（诸如图标或文本）或听觉效果（诸如声音）。用户可通过2D/3D模式切换通知指示符识别当前模式将被切换，或2D/3D模式是否将被切换，并可预先准备改变观看模式。 

图11示出根据示例性实施例的使用模式转换信息的示例。 

图11中示出2D图像序列1102至3D图像序列1136中的当前视频流1100的部分，其中，当前视频流1100包括2D图像序列1102至1128和3D图像序列1130至1136。 

设备100在时间点T1、T2和T3分别发送关于当前视频流1100的PMT信息1140、1150和1160。由于在时间点T1的PMT信息1140中的2D/3D模式信息（2D/3D模式）指示2D，因此当前视频数据是在2D模式下。然而，在时间点T2的PMT信息1150中的2D/3D模式信息（2D/3D模式）指示2D，但2D/3D模式切换信息（transition_time_stamp）指示时间点T3。换句话说，当前视频数据是在2D模式下，但可切换到当前视频流1100中的3D模式。 

如在时间点T2的PMT信息1150中的2D/3D模式切换信息（transition_time_stamp）所指示，在时间点T3产生2D/3D模式切换，在时间点T3的PMT信息的2D/3D模式信息（2D/3D_mode）指示3D。设备200可通过使用PMT信息1140、1150和1160的2D/3D模式切换信息来确定在时间点T1、T2和T3的模式和产生2D/3D模式切换的时间点，并可根据2D/3D模式切换通知指示符信息（“transition_message”），来在预定时间点在屏幕上显示2D/3D模式切换消息，或听觉上再现2D/3D模式切换消息。 

设备100可发送具有不同分辨率的主视点视频和子视点视频。例如，设备100可发送全高清（HD）级的主视点视频数据和标清（SD）级的子视点视频数据。 

图12示出根据示例性实施例的当以不同尺寸发送左视点视频和右视点视频时的示例。 

设备100可获得全HD级的并具有1920×1080的尺寸的左视点视频1210和右视点视频1220，并将插入了全HD级并具有1920×1080的尺寸的左视点视频1230和SD级并具有640×480的尺寸的右视点视频1240的数据流转换为作为传输格式的TS，并发送所述数据流。 

设备200接收TS，设备200的ES恢复器240可恢复左视点视频数据1230和右视点视频数据1240。即使再现器250对左视点视频数据1230和右视点视频数据1240进行扩展，以将左视点视频数据1230和右视点视频数据1240的格式转换为再现格式，但由于左视点视频数据1230的宽高比为16：9并且右视点视频数据的宽高比为4：3，因此左视点视频数据1230和右视点视频数据1240的高度和宽度不相同。换句话说，全HD级并具有再现格式的左视 点视频1250和被扩大到1440×1080并具有再现格式的右视点视频1260都具有相同的1080像素的长度，但具有不同的宽度，即，左视点视频1250为1920和右视点视频为1440。如果主视点视频和子视点视频的分辨率不相同，则可能在再现3D视频的同时难以产生3D效果。 

图13示出根据示例性实施例的使用宽高比信息的示例。 

再现器250可恢复全HD级别并具有再现格式的左视点视频1250，并恢复具有从传输格式扩大的再现格式的右视点视频。这里，如果左视点视频1250和右视点视频1260被按原样再现，则会产生右视点视频1260不被显示的左视点视频1250的区域1350和1360。 

因此，对于主视点视频和子视点视频的分辨率不相同的情况，设备100包括宽高比信息作为3D附加信息。设备100的PMT产生器120可将宽高比信息（“3d_aspect_ratio descriptor”）插入PMT信息，作为3D附加信息，并如以下的表23所示插入修剪偏移信息（“cropping_offset”）作为宽高比信息（“3d_aspect_ratio_descriptor”）。例如，关于没有被扩大的子视点视频覆盖的主视点视频中的区域的宽度的信息可被设置为修剪偏移信息（“cropping_offset”），修剪偏移信息（“cropping_offset”）可被插入PMT信息中，作为3D附加信息。 

表23 

设备200的PMT附加信息提取器230可从PMT信息提取宽高比信息（“3d_aspect_ratio_descriptor”），并提取宽高比信息（“3d_aspect_ratio_descriptor”）中的修剪偏移信息（“cropping_offset”）。再现器250可通过基于修剪偏移信息，修剪没有被在具有1920×1080的尺寸的左视点视频1250的中心的具有1440×1080的尺寸的右视点视频1260覆盖的左视点视频1250的区域1350和1360，来再现左视点视频和右视点视频。可选地，再现器250可通过将左视点视频1250显 示在区域1350和1360中，并在由右视点视频1260覆盖的中心区域中交替地显示左视点视频1250和右视点视频1260，来在具有1440×1080的尺寸的中心区域中产生3D效果。 

设备100可通过将关于包的PID信息插入PMT信息，并将以上的表1至表23的3D附加信息插入流类型信息是“video_stream_type”或“auxiliary_video_stream_type”的节目循环、ES循环以及各种保留区中，来将2D或3D视频数据转换为TS，并发送所述TS。 

当符合MPEG TS方法的接收器仅支持2D视频时，在所述接收器对接收的数据流进行解析和解码的同时，根据示例性实施例的PMT信息中的3D附加信息、3D描述符信息和3D流描述符信息不能被解析和解释。因此，包括3D视频数据的包不被检测，因此所述接收器仅识别和解码按照MPEG TS方法设置的2D视频数据以及关于3D视频数据的描述符信息。因此，所述接收器可处理与由设备100产生的数据流中的2D视频相关的数据。 

设备200可通过接收TS并收集包括PMT信息的PID信息的包，PMT附加信息提取器230可从PMT信息的节目循环、ES循环和各种保留区中提取3D附加信息，并将3D附加信息发送到再现器250。 

此外，设备200可收集具有“video_stream_type”作为PMT信息中的流类型的包的有效载荷，从而ES恢复器240基于所述包的PID信息恢复视频数据。 

此外，设备200可收集具有“Auxiliary_video_stream_type”作为流类型信息的包的有效载荷，从而ES恢复器240基于所述包的PID信息恢复子视频数据。 

设备200的再现器250通过分析从主ES和子ES提取的主视频数据和子视频数据的3D复合格式或3D混合格式，恢复主视点视频和子视点视频，通过使用PMT信息中的3D附加信息，在同步互相关联的主视点视频和子视点视频的再现时间段的同时再现主视点视频和子视点视频。 

现在将具体描述再现器250的操作。 

当ES恢复器240提取主视点视频作为主视频数据，并提取子视点视频作为子视频数据时，再现器250可形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视点视频。 

当ES恢复器240提取主视点视频作为主视频数据，并提取差图像作为子 视频数据时，再现器250可通过使用主视点视频和差图像来恢复子视点视频，形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视点视频。 

当ES恢复器240提取主视点视频作为主视频数据，并提取深度信息（或视差信息）和子视点视频作为一条或两条子视频数据时，再现器250可通过使用主视点视频、子视点视频和深度信息（或视差信息）来产生中间视点视频。例如，可通过使用基于差图像的渲染（DIBR）方法，基于主视点视频和深度信息来产生中间视点视频。再现器250可从主视点视频、中间视点视频和子视点视频中选择两个视点视频，形成可由3D显示装置再现的两个选择的视点视频的再现格式，并输出这两个视点视频。当在主视点视频和子视点视频之间存在大深度差或视差时，可使用中间视点视频以防止观看疲劳。 

当ES恢复器240提取3D复合格式数据作为主视频数据时，再现器250可从3D复合格式数据恢复主视点视频和子视点视频，形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视点视频。 

当ES恢复器240提取3D复合格式数据作为主视频数据，并提取深度信息（或视差信息）作为子视频数据时，再现器250可从3D复合格式数据再现主视点视频和子视点视频，并通过使用主视点视频、子视点视频和深度信息（或视差信息）来产生中间视点视频。例如，可通过将DIBR方法应用到主视点视频、子视点视频和深度信息（或视差信息）来产生中间视点视频。可在主视点视频、中间视点视频和子视点视频中选择两个视点视频，在输出之前可形成所述两个视点视频的再现格式，以使所述两个视点视频可由3D显示装置再现。 

当ES恢复器240提取3D复合格式数据作为主视频数据，提取差信息作为子视频数据时，再现器250可基于3D复合格式数据，恢复分辨率为原始分辨率的一半的主视点视频和子视点视频。这里，再现器250可通过另外使用具有一半分辨率的主视点视频和子视点视频的差信息，恢复具有与原始分辨率相同的分辨率的主视点视频和子视点视频。再现器250可形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视点视频。 

当ES恢复器240提取2D视频作为主视频数据，提取深度信息（或视差 信息）作为子视频数据时，再现器250可通过使用2D视频和深度信息（或视差信息）来恢复子视点视频，形成可由3D显示装置再现的主视点视频和子视点视频的再现格式，并输出所述主视点视频和子视点视频。然而，如果与主视点视频一起形成完全3D视频的子视点视频不被恢复，则会产生遮挡现象。 

当ES恢复器240提取形成多视点视频的第一视点视频作为主视频数据，提取形成多视点视频的多个其它视点视频（诸如第二视点视频和第三视点视频）作为多条子视频数据时，再现器250可形成可由3D显示装置基于第一视点视频再现的所述多个其它视点视频的再现格式，并输出所述多个其它视点视频。与立体视频不同，多点视频可提供在旋转360。时可观看的3D视频。 

当ES提取器240提取形成多拍摄视频的第一视频作为主视频数据，提取多个其它视频（诸如第二视频和第三视频）作为子视频数据，再现器250可选择性地并单独地输出第一至第三视频中的每个，或者可以以画中画（PIP）方法来输出第一至第三视频。例如，与多视点视频的情况不同，可基于观看者或广播的目的，改变显示在一个场景下以各种位置和方向拍摄的视频（诸如，在棒球比赛中，在捕手的视点拍摄的第一视频、在投手的视点拍摄的第二视频和在看台的第三视频）的方法。 

图14是根据示例性实施例的用于传输3D视频数据流的系统1400的框图，其中，实现设备100和设备200。 

发送器的内容产生器1410可通过使用多种拍摄方法（诸如从2D的（半）手动深度提取1412、RGB+红外相机1414或立体相机1416）之一来产生关于内容的视频数据。 

从内容产生器1410的视频数据中，主视频数据MAIN VIDEO可被输出到视频编码器A 1420，第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1和第一视差信息PARALLAX 1中的至少一个可被输出到视频编码器B 1430，第二子视频数据SUB VIDEO 2、第二深度信息DEPTH 2和第二视差信息PARALLAX 2中的至少一个可被输出到视频编码器C 1440。 

视频编码器A 1420、视频编码器B 1430和视频编码器C 1440可对接收的视频数据进行编码，并分别将主视频流MAIN VIDEO STREAM、第一子流SUBVIDEO STREAM 1和第二子流SUB VIDEO STREAM 2输出到信道1450。 

主视频流MAIN VIDEO STREAM、第一子流SUB VIDEO STREAM 1和第二子流SUB VIDEO STREAM 2的TS被发送到接收器，接收器可对所述TS进行解复 用，并将视频包发送到视频解码器A 1460、视频解码器B 1470和视频解码器C 1480。 

视频解码器A 1460可从主视频流MAIN VIDEO STREAM恢复主视频，并输出主视频，视频解码器B 1470可从第一子流SUB VIDEO STREAM 1恢复第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1和第一视差信息PARALLAX 1中的至少一个，并输出第一子视频数据SUB VIDEO 1、第一深度信息DEPTH 1和第一视差信息PARALLAX 1中的至少一个，视频解码器C 1480可从第二子流SUB VIDEO STREAM 2恢复第二子视频数据SUB VIDEO 2、第一深度信息DEPTH2和第二视差信息PARALLAX 2中的至少一个，并输出二子视频数据SUB VIDEO2、第一深度信息DEPTH 2和第二视差信息PARALLAX 2中的至少一个。 

恢复的主视频、恢复的第一子视频数据SUB VIDEO 1、第一深度信息DEPTH1和第一视差信息PARALLAX 1，以及恢复的第二子视频数据SUB VIDEO 2、第二深度信息DEPTH 2和第二视差信息PARALLAX 2可被发送到3D显示装置1490，其中，每个可根据显示方法被适当地转换，并以3D被再现。例如，可由3D显示装置1490使用多种方法（诸如自动立体光栅方法1492、自动立体栅格方法1494或基于眼镜的立体系统1496）之一来以3D再现恢复的3D视频。 

因此，设备100可将3D附加信息（诸如具有3D混合格式的主视频数据、第一子数据和第二子数据）插入PMT信息，并发送PMT信息。此外，设备200可从接收的数据流中的PMT信息提取3D附加信息，并确定3D附加信息（诸如具有3D混合格式的主视频数据、第一子数据和第二子数据）被插入接收的数据流的有效载荷。另外，在从有效载荷提取3D附加信息之后，设备200可使用3D附加信息恢复主视点视频和子视点视频，并使用3D显示装置以3D再现主视点视频和子视点视频。 

图15是示出根据示例性实施例的产生用于提供3D多媒体服务的数据流的方法的流程图。 

在操作1510，包括在用于提供2D或3D多媒体服务的节目中的每个视点的视频数据的至少一个ES被产生。关于节目中的音频数据和子数据的ES也可被产生。 

在操作1520，关于节目的PMT信息被产生，其中，PMT信息包括关于所述至少一个ES的参考信息以及用于根据每个视点识别和再现视频数据的3D 附加信息。3D附加信息和参考信息中的至少一个可被插入PMT信息中的关于相应ES的描述符信息。根据第一示例性实施例的PMT信息的结构，PMT信息中的关于主ES的3D附加信息可包括关于子ES的3D附加信息和参考信息中的至少一个。根据第二示例性实施例的PMT信息的结构，PMT信息可顺序地包括所述至少一个ES中的每个ES的ES信息，每条ES信息包括关于相应ES的3D附加信息和参考信息中的至少一个。 

3D附加信息可包括指示当前视频包包括2D视频数据还是3D视频数据的2D/3D通知信息、用于恢复和再现3D视频的3D描述符信息、指示当前节目的当前模式和未来的2D/3D模式切换的2D/3D模式切换信息以及宽高比信息。

在操作1530，通过对所述至少一个ES和PMT信息进行打包而产生的PES包来产生TS。TS可均包括有效载荷和头。PES包的部分和PMT信息可被包括在有效载荷中。TS可通过至少一个信道被发送。 

图16是示出根据示例性实施例的接收用于提供3D多媒体服务的数据流的方法的流程图。 

在操作1610，关于用于提供2D或3D多媒体服务的节目的TS被接收。 

在操作1620，通过对TS进行解复用，来提取关于节目的PES包和关于节目的PMT信息。 

在操作1630，从PMT信息提取关于节目中的每个视点的视频数据的ES的参考信息和3D附加信息。根据第一示例性实施例的PMT信息的结构，可从PMT信息中的关于主ES的3D附加信息提取关于子ES的3D附加信息和参考信息中的至少一个。根据第二示例性实施例的PMT信息的结构，可从关于子ES的ES信息或关于主ES的ES信息提取3D子描述符信息，可从3D子描述符信息提取关于子ES的3D附加信息和参考信息。 

在操作1640，通过使用提取的关于通过对PES包进行解包而提取的ES中的至少一个ES的参考信息，恢复所述至少一个ES，从所述至少一个ES提取每个视点的视频数据。 

通过使用3D附加信息和参考信息恢复每个视点的视频数据，通过根据视点对每个视点的视频数据的再现时间段和再现顺序进行同步来再现每个视点的视频数据，3D多媒体服务可被提供给观看者。 

根据示例性实施例的发送数据流的方法，可通过基于MPEG TS系统，使用具有现有技术的流类型，而不必添加插入了3D视频数据的ES的流类型， 各种类型的3D附加信息和参考信息可与2D视频和3D视频一起被发送。例如，主ES的类型可符合MPEG TS标准或MPEG-4/AVC，子ES的流类型可符合MPEG-2标准或MPEG-4/AVC标准，或者可以是补充视频流。 

由于不支持补充视频流的接收系统不能够识别子ES，因此接收系统可通过仅识别主ES将当前视频服务确定为2D视频服务。因此，即使现有技术的接收系统接收根据示例性实施例的产生数据流的方法而产生的TS，也可根据现有技术的接收系统的操作来分析视频数据，从而以2D再现所述视频数据。因此，可保持逆向兼容性。 

根据示例性实施例的接收数据流的方法，当通过关于经由一个信道接收的节目的TS不仅接收到主视点视频数据和子视点视频数据，还另外接收深度信息和视差信息时，主视点视频数据和子视点视频数据以及深度信息和视差信息被恢复以不仅再现立体视频还再现多视点视频。这里，从PMT信息提取的3D附加信息和参考信息被用于精确地恢复和再现多视点视频。 

示例性实施例可被编写为计算机程序并可在使用计算机可读记录介质执行程序的通用数字计算机中实现。计算机可读记录介质的示例包括存储介质，诸如磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。另外，上述设备的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。 

虽然以上已经具体地示出和描述了示例性实施例，但是本领域的普通技术人员应理解，在不脱离权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上对其进行各种改变。示例性实施例应该被视为仅是说明的目的，而非限制的目的。因此，本发明构思的范围不由示例性实施例的具体描述来限定，而是由权利要求来限定，在所述范围内的所有差别将被解释为包括在本发明构思中。