用于再现多媒体图像数据和基于文本的字幕数据的设备

摘要

提供了一种用于再现多媒体图像数据和基于文本的字幕数据的设备，所述设备包括：读取单元，用于读取包括对话信息和样式集的基于文本的字幕数据，所述对话信息包括文本信息、参考样式信息和局部样式信息，所述样式集包括多个样式信息；控制器单元，控制所述设备利用所述参考样式信息将所述多个样式信息中的一个样式信息应用于所述文本信息，并将所述局部样式信息应用于文本的一部分，所述参考样式信息表示所述多个样式信息中将被应用于所述文本信息的一个样式信息，其中，所述对话信息包括表示输出所述文本信息的时间和完成所述文本信息的输出的时间的信息。

说明书

本申请是国际申请日为2005年2月19日、国家申请号为200580005510.7、发明名称为“用于存储基于文本的字幕数据的存储介质及再现该数据的设备和方法”的专利申请的分案申请。

技术领域

本发明涉及一种多媒体图像的再现，更具体地讲，涉及一种用于记录包括样式信息的基于文本的字幕数据的存储介质以及用于再现记录在所述存储介质上的包括样式信息的基于文本的字幕数据的再现设备和方法。

背景技术

近来，为了提供高图像品质的高清晰(HD)多媒体图像，在记录在存储介质中的运动图像主流(也称作视听AV数据流)中多路复用视频流、音频流、用于提供字幕数据的呈现图形流和用于提供按钮或菜单以与用户交互的交互图形流。具体地说，为了在图像上显示字幕或标题，用于提供字幕数据的呈现图形流还提供基于位图的图像。

发明内容

技术问题

然而，基于位图的字幕数据较大并且可以与其它数据流复用。结果，为了确保指定的应用程序所需的最大比特传输速率，可包括在复用的主流中的字幕数据的单元的数量受到限制。具体地讲，当提供多种语言的字幕时，会出现与字幕数据的单元的受限制的数量相关的问题。

另外，由于是基于位图的图像，导致生成字幕数据和编辑已生成的字幕数据都是非常困难的。这是因为这种字幕数据与其它数据流如视频、音频和交互图形流复用。而且，不能以多种方式轻易地改变字幕数据的输出样式，即，将字幕数据的一种输出样式改变为另一种输出样式。

技术方案

根据一些方面，本发明的有利之处在于提供了一种在其中记录了包括样式信息的基于文本的字幕数据的存储介质，以及一种用于再现记录在这种存储介质上的包括样式信息的基于文本的字幕数据的再现设备和方法。

根据本发明的实施例，一种用于再现记录在计算机可读存储介质上的多媒体图像数据和基于文本的字幕数据的设备，所述设备包括：读取单元，用于读取包括对话信息和样式集的基于文本的字幕数据，其中，所述对话信息包括文本信息、参考样式信息和局部样式信息，所述样式集包括多个样式信息；控制器单元，控制所述设备利用所述参考样式信息将所述多个样式信息中的一个样式信息应用于所述文本信息，并将所述局部样式信息应用于文本的一部分，所述参考样式信息表示所述多个样式信息中将被应用于所述文本信息的一个样式信息，其中，所述对话信息包括表示输出所述文本信息的时间和完成所述文本信息的输出的时间的信息。

技术效果

本发明的有利之处在于提供了一种在其中记录了包括多个单元的样式信息的基于文本的字幕数据的存储介质，及其再现设备和方法，从而可以以多种语言来提供字幕，而不用受到字幕数据单元数量的限制。结果，可轻松地生成并编辑字幕数据，并且可以以多种方式来改变字幕数据的输出样式。而且，为了强调字幕的部分，可以应用特定的样式。

附图说明

图1示出了根据本发明实施例的记录在存储介质上的主流的数据结构和与主流分开记录在存储介质上的基于文本的字幕数据，其中，在主流中多媒体图像被编码；

图2是根据本发明实施例的示例性再现设备的方框图；

图3示出了根据本发明实施例的基于文本的字幕数据的示例性数据结构；

图4A和图4B是再现具有图3中示出的数据结构的基于文本的字幕数据的结果的示例；

图5示出了当再现具有图3中示出的数据结构的基于文本的字幕数据时会发生的问题；

图6示出了根据本发明实施例的用于解决图5中示出的问题的将被包含在基于文本的字幕数据中的示例性内嵌样式信息；

图7示出了根据本发明实施例的包含内嵌样式信息的基于文本的字幕数据的示例性数据结构；

图8示出了根据本发明另一实施例的再现设备可将预定的样式信息应用于其的基于文本的字幕数据的示例性数据结构；

图9是示出了根据本发明实施例的再现包括样式信息的基于文本的字幕数据的过程的流程图。

最佳方式

根据本发明的一方面，存储介质包括：多媒体图像数据；基于文本的字幕数据，用于在基于多媒体图像数据的图像上显示字幕，其中，所述基于文本的字幕数据包括指示将被显示在图像上的字幕内容的对话信息、指示对话信息的输出样式的样式信息和指示应用于对话信息的部分的输出样式的局部样式信息。

所述对话信息可包括：文本信息，关于将被显示在图像上的字幕内容；时间信息，关于所述文本信息被输出到屏幕上并显示在图像上的时间。

所述样式信息可包括：区域信息，表示在图像上输出文本信息的位置；字体信息，关于输出字体的类型、大小、颜色、宽度和样式。所述基于文本的字幕数据可包括样式表信息的至少一个单元，所述样式表信息的至少一个单元是由样式信息的多个单元组成的输出样式组。

所述局部样式信息可以是用于强调并显示文本信息的部分的输出样式信息，并具有关于包括在样式信息中的字体大小和/或字体颜色的相对值。所述局部样式信息可包括在对话信息中，或者与在其中包括局部样式信息的参考信息的对话信息分开地存储。

所述基于文本的字幕数据除了包括样式信息之外还可以包括关于是否包括由存储介质的制造商限定的预定样式信息的信息。

根据本发明的另一方面，提供了一种用于再现在存储介质上分开记录的多媒体图像数据和基于文本的字幕数据的设备，所述基于文本的字幕数据在基于多媒体图像数据的图像上显示字幕。所述设备包括：缓冲器单元，用于存储样式信息和局部样式信息，其中，所述样式信息指示表示将在图像上显示的字幕内容的对话信息的输出样式，所述局部样式信息指示应用于对话信息的部分的输出样式；文本字幕处理单元，用于从所述缓冲器单元读取样式信息和局部样式信息，将读取的样式信息和局部样式信息应用于对话信息，将被应用的信息转换成位图图像，并输出转换的位图图像。

根据本发明的另一方面，提供了一种用于再现记录在存储介质上的多媒体图像数据和基于文本的字幕数据的方法，所述基于文本的字幕数据在基于多媒体图像数据的图像上显示字幕。所述方法包括：读取指示将被显示在图像上的字幕内容的对话信息、指示对话信息的输出样式的样式信息和指示应用于对话信息的部分的输出样式的局部样式信息；将对话信息转换成位图图像，基于样式信息和局部样式信息对所述位图图像应用了样式和局部样式；根据包括在对话信息中的输出时间信息，输出转换的位图图像。

本发明的实施方式

以下，将参照附图来更充分地描述本发明，在附图中示出了本发明的示例性实施例。

图1示出了根据本发明实施例的记录在存储介质130如数字多功能盘(DVD)上的主流110的数据结构，和与主流110分开记录在存储介质130上的基于文本的字幕数据120，其中，在主流110中多媒体图像被编码。主流110和基本文本的字幕数据120可以从一个或多个源，或者一个或多个数据发生器分开地获得或共同地获得。

参照图1，为了解决与基于位图的字幕数据相关的问题，记录在存储介质130上的基于文本的字幕数据120和主流110被分开提供。主流110也叫做视听(AV)数据流，包括视频流102、音频流104、呈现图形流106和交互图形流108，所有这些数据流复用在一起以被记录在存储介质130上。基于文本的字幕数据表示用于提供将被记录在存储介质130上的多媒体图像的字幕或标题的数据，并且可利用标记语言如可扩展标记语言(XML)或利用二进制数据来实现。为了在屏幕上显示字幕(或标题)，用于提供字幕数据的呈现图形流106也提供基于位图的字幕数据。

由于基于文本的字幕数据120与主流110分开记录，并且不与主流110复用，所以在此并不限制基于文本的字幕数据120的大小。同样地，也不限制支持的语言的数目。因此，可使用多种语言来提供字幕或标题。而且，便于生成和编辑基于文本的字幕数据120。

现在参照图2，示出了根据本发明实施例的用于再现记录在存储介质上的基于文本的字幕数据的再现设备的方框图。如图2所示，再现设备200，也就是重放设备，包括呈现图形解码器220，呈现图形解码器220可以对所有基于文本的字幕数据120和/或基于位图的字幕数据216解码，并经图形内存区(graphics plane)232和颜色查找表(CLUT)234，作为输出再现所有基于文本的字幕数据120和/或基于位图的字幕数据216。

呈现图形解码器220包括：字体缓冲器221，用于存储来自基于文本的字幕数据120的字体数据；编码数据缓冲器222，用于存储来自在开关218选择的基于文本的字幕数据120或基于位图的字幕数据216的数据；开关223；文本字幕处理器224，用于将包括在基于文本的字幕数据120中的对话信息转换成存储在对象缓冲器227中的位图图形；流图形处理器225，用于对基于位图的字幕数据216解码，并生成存储在对象缓冲器227中的字幕的位图图像和存储在组成缓冲器226中的控制信息；图形控制器228，用于基于存储在组成缓冲器226中的控制信息来控制存储在对象缓冲器227中的字幕的位图图像的输出。

对于基于位图的字幕数据216，在呈现图形解码器220中，流图形处理器225对基于位图的字幕数据解码，并将字幕的位图图像发送到对象缓冲器227并将字幕的控制信息发送到组成缓冲器226。另外，图形控制器228基于存储在组成缓冲器226中的控制信息来控制存储在对象缓冲器227中的字幕的位图图像的输出。在图形内存区223中形成字幕的输出图形图像，并且通过参照颜色查找表(CLUT)234应用颜色来将字幕的输出图形图像输出在屏幕上。

对于基于文本的字幕数据120，文本字幕处理器224通过参照存储在字体缓冲器221中的字体数据并应用将在后面描述的样式信息，将文本的对话信息转换成位图图形，并将转换的位图图形存储在对象缓冲器227中。另外，文本字幕处理器224将控制信息如输出时间信息发送到组成缓冲器226。处理位图转换的字幕的其余过程与基于位图的字幕数据216的情况相同。

现在将根据图2中示出的示例性再现设备来描述将被再现的基于文本的字幕数据120的详细结构。图3示出了根据本发明实施例的基于文本的字幕数据120的数据结构。

参照图3，基于文本的字幕数据120包括样式表信息310和对话信息320。在基于文本的字幕数据120中可包括样式表信息310的多个单元和/对话信息320的多个单元。

例如，样式表信息310包括指示如何在屏幕上输出文本信息的样式信息312的多个单元。样式信息312包括关于输出样式的信息，比如表示将被显示在屏幕上的字幕的输出区域的区域信息、表示在输出区域内文本字幕的位置的位置信息、表示背景颜色的颜色信息和指定将被应用于文本字幕的字体类型和字体大小的字体信息等。

对话信息320包括：文本信息，将通过位图转换，即渲染，显示在屏幕上；参考样式信息，当渲染文本信息时使用该参考样式信息；谈话(对话)开始和结束时间信息，分别用于指示字幕(或标题)出现在屏幕上和在屏幕上消失的时间。特别地，对话信息320包括内嵌样式信息，该信息用于通过对字幕的文本信息的部分应用新的样式来强调该字幕的文本信息的部分。内嵌样式信息优选地排除在样式信息312中应用于整个文本的区域信息和位置信息，优选地包括将文本信息的部分转换成位图图像所需的字体信息和颜色信息。

如图3所示，基于文本的字幕数据120包括样式表信息310的多个单元和对话信息320的多个单元。样式表信息310是一组将被应用到所有对话信息320的每个的样式信息312，并且必须存在至少一个样式表信息312的单元。制造商可以生成附加的样式表信息310，使得用户可以改变和选择应用到文本信息的样式，并且使附加的样式表信息310包括在基本文本的字幕数据120中。由用户选择的附加的样式表信息310优选地仅包括应用于文本信息的字体信息和颜色信息的多个单元。

对话信息320包括含有将输出在屏幕上的字幕内容的文本信息。对话信息320的多个单元可包括在基于文本的字幕数据120中，以处理所有高图像品质的多媒体图像上的全部字幕(标题)。通过参照参考样式信息和/或内嵌样式信息，对话信息320的一个单元将在谈话开始时间输出的文本信息转换成位图图像，并且直到谈话结束时间一直显示转换的位图图像。

图4A和图4B是再现具有图3所示的数据结构的基于文本的字幕数据的结果的示例。

参照图4A，在操作①，如图2所示的再现设备200的文本字幕处理器224读取基于包括在将被再现的对话信息420中的参考样式信息422选择的样式信息412，在包括在样式表信息410中的样式信息的多个单元中，参考样式信息422指向该样式信息412。然后，文本字幕处理器224通过将读取的样式信息412应用到文本信息424，来将文本信息424转换成位图图像，并输出转换的位图图像。再现图像结果430显示在图4A的右边。即，当输出多媒体图像时，应用由参考样式信息422指向的样式信息412的字幕的文本信息432的位图图像被一起输出以显示在屏幕上。

图4B示出在再现期间使用应用于文本信息的部分的内嵌样式信息和样式信息的情况的再现图像的结果。参照图4B，在操作①，如图2所示的再现设备200的文本字幕处理器224读取由参考样式信息462指向的样式信息452，并将读取的样式信息452应用于字幕的文本信息464。另外，在操作②，文本字幕处理器224读取内嵌样式信息466，并将读取的内嵌样式信息466应用于字幕的文本信息464的部分。即，当包括在样式表信息450中的基本样式信息452和在对话信息460中定义的内嵌样式信息466重叠时，在最终输出中反映的和在屏幕上最后显示的是内嵌样式信息466。以这种方式，应用了样式信息452和内嵌样式信息466的文本信息464被转换成位图图像并显示在屏幕上。再现图像结果470显示在图4B的右边。通过对字幕的文本信息472应用样式信息452并对字幕的文本信息472的部分应用内嵌样式信息466，输出与多媒体图像一起输出的字幕的文本信息472的位图图像。

即，当基于文本的字幕数据120与高图像品质的多媒体图像一起再现时，再现设备200，例如如图2所示，在存储在存储介质中的样式表信息的多个单元中选择将在基于文本的字幕数据120的初始再现中应用的样式表信息。如果指示最初应用的样式表信息的附加信息包括在样式表信息中，则如图2所示的再现设备200可以参照附加信息来选择在基于文本的字幕数据120的初始再现中使用的样式表信息。换言之，可以在样式表信息的多个单元中选择首次限定的样式表信息。除非用户产生样式改变请求，否则对所有的对话信息应用选择的样式表信息。

然而，在制造商已经生成了样式表信息的多个单元并且用户可以选择多个样式之一的情况下，即，在用户产生样式改变请求的情况下，会产生问题。当用户产生样式改变请求时，由于包括在随后输出的对话信息中的参考样式信息，导致应用包括在新样式表信息中的新样式信息。然而，如果新应用的样式信息与先前的内嵌样式信息相同，则在文本信息的由内嵌样式信息指向的部分没有发生改变。结果，没能实现制造商期望用内嵌样式信息来强调文本信息的部分的最初目的。图5示出了再现具有图3中所示的数据结构的基于文本的字幕数据时会产生的问题。

参照图5，示出了用户接收到将第一样式信息512改变成第二样式信息522的请求的情况的过程。在图5的左下方示出的图像540是在产生样式改变请求前应用第一样式信息512输出的结果。即，示出了在由参考样式信息532指向的第一样式信息512被应用于整个文本信息534后对文本信息534的部分应用内嵌样式信息536的结果。因此，第一样式信息512应用于全部字幕，并且由于内嵌样式信息536而强调并显示文本信息534的部分。

然而，如图5的右下方所示，在用户产生样式改变请求后由新应用的第二样式信息522显示的图像550示出了没有实现制造商期望使用内嵌样式信息536来强调文本信息的部分的最初目的。当第二样式信息522与内嵌样式信息536相同时会发生这样的现象。

以下，将描述用于解决结合图5描述的问题的包含于基于文本的字幕数据中的示例性内嵌样式信息。

图6示出了根据本发明实施例的用于解决图5中示出的问题的包含于基于文本的字幕数据中的示例性内嵌样式信息。参照图6，基于文本的字幕数据120的内嵌样式信息610包括字体类型、相关字体大小信息和相关颜色信息。此外，内嵌样式信息610还可以包括比如宽度和斜体字的信息。

如结合图6所述，由于样式表信息仅包括关于颜色和字体大小的信息，所以即使用户将样式表信息改变为新的样式表信息，也可以维持对字体类型、宽度和斜体字的强调效果。然而，对于颜色和字体的大小，会产生在图5中描述的问题。因此，优选地，内嵌样式信息610包括相关字体大小信息和相关颜色信息，以便基于当前应用的基本样式信息的字体大小和颜色值应用相对值，而不是使用包括在内嵌样式信息610中的字体大小和颜色信息的属性值的绝对值。

即，通过使用字体大小和颜色的相对属性值，即使用户改变样式表信息，也会维持由于内嵌样式信息610而起到的强调效果。这里，优选地，在相关字体超出了可实现的大小或颜色的范围的情况下，再现设备200，例如如图2所示，可以将字体大小和颜色重新创建为可实现的大小以及颜色的最小或最大值。

图7示出了根据本发明另一个实施例的基于文本的字幕数据的示例性数据结构。如图7所示，基于文本的字幕数据120包括样式表信息710的多个单元和多个对话信息720。

与图3相比，在图3中，以如下的形式示出基于文本的字幕数据120，即，内嵌样式信息包括在与样式表信息310分开的对话信息320中；图7以如下的形式示出基于文本的字幕数据120，即，样式表信息710包括基本样式信息712和内嵌样式信息714，内嵌样式信息714可应用于文本信息的部分。此外，为了将内嵌样式信息714应用于当前对话的文本信息，对话信息720还包括用于查找包括在样式表信息710中的内嵌样式信息714的标识符的参考内嵌样式信息。

包括在样式表信息710中的内嵌样式信息714限定了字体大小和颜色，以显示基于基本样式信息712的强调效果。因此，即使用户改变样式表信息710，通过应用由改变的样式表信息分开限定的内嵌样式信息714，可有利于实现制造商强调文本信息的部分的目的。

相对于关于显示文本信息的部分的区域和位置的信息，内嵌样式信息714符合基本样式信息712的属性，并可以包括作为用于强调文本信息的部分所用的渲染信息的字体类型、字体大小和颜色信息。

作为本发明的另一示例性实施例，与制造商限定了将应用于文本信息的样式信息的情况不同，用于再现包括记录在存储介质上的样式信息的基于文本的字幕数据的再现设备(重放设备)200，例如图2所示，可任意设置将应用于文本信息的样式信息。即，基本属性符合包括在上述的基于文本的字幕数据中的样式信息，并且可通过再现设备来改变样式信息的部分，比如字体类型、字体大小和颜色。换言之，例如图2所示的再现设备200可通过利用内嵌样式信息来渲染不同的输出样式，以输出文本信息。由于如图2所示的再现设备200的这些功能，输出格式通常与由制造商设置的格式不同。

现在，将详细描述解决这种问题的方法。图8示出了根据本发明另一实施例的再现设备可将预定的样式信息应用到其的基于文本的字幕数据的示例性数据结构。

参照图8，为了解决不管制造商的意图是什么，再现设备200，例如如图2所示，都可任意将样式信息应用于文本信息的问题，基于文本的字幕数据120还包括表示是否允许将预定的样式信息应用于例如图2所示的再现设备的信息830。这种信息830表示指示制造商是否允许将预定的样式信息应用于图2中示出的再现设备200的信息。当制造商允许应用预定的样式信息时，通过应用由图2中示出的再现设备200支持的预定的样式信息，可输出文本信息。

使用指示是否允许图2中示出的再现设备200支持的预定的样式信息的信息830，通过将信息830与样式表信息810分开地存储，如图8中的操作①所示，可以确定将应用于包括在基于文本的字幕数据120中的所有样式信息的预定样式信息。另外，通过对样式表信息810的每个单元存储信息830，如图8中的操作②所示，可以确定是否允许将预定的样式信息仅应用于特定的样式信息。

现在将基于记录在存储介质上的基于文本的字幕数据的示例性数据结构和如图2所示的示例性再现设备来描述再现包括样式信息的基于文本的字幕数据的方法。图9是示出了根据本发明实施例的再现包括样式信息的基于文本的字幕数据的过程的流程图。

参照图9，在操作910，从存储介质读取基于文本的字幕数据120，该基于文本的字幕数据120包括对话信息、样式表信息和内嵌样式信息，例如图3或图7所示。在操作920，将样式信息应用于包括在对话信息中的字幕文本，将内嵌样式信息应用于该字幕文本的部分，然后将字幕文本转换成位图图像。在操作930，根据关于谈话(或标题)被输出到用于视觉显示的屏幕上的时间信息，来输出转换的位图图像。

如上述所知，本发明的有利之处在于提供一种在其中记录了包括样式信息的多个单元的基于文本的字幕数据的存储介质，以及一种用于再现该基于文本的字幕数据的再现设备和方法，从而可以以多种语言来提供字幕，而不用受到字幕数据单元数量的限制。结果，可轻松地生成并编辑字幕数据，并且可以以多种方式来改变字幕数据的输出样式。而且，为了强调字幕的部分，可以应用特定的样式。

本发明的示例性实施例也可以写成计算机程序，并可以在使用计算机可读介质执行所述程序的通用数字计算机中实现。计算机可读介质的示例包括磁性存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM、DVD等)和诸如载波的存储介质(例如，通过互联网传输)。计算机可读介质也可以分布在网络连接的计算机系统上，从而计算机可读代码以分布的方式被存储和执行。

尽管已经示出和描述了被认为是本发明的示例性实施例的内容，但是本领域的技术人员将会理解，随着技术的进步，在不脱离本发明的精神和范围的情况下，可以做出各种改变和修改并且用等同物来替换本发明的元件。在不脱离本发明的范围的情况下，对于具体的情况，很多修改都适合于本发明的教导。例如，可利用多种计算机可读介质或数据存储设备，只要基准信号被记录在其上以反映最佳记录条件。此外，基于文本的字幕数据也可被构造成不同于图3或图7示出的数据结构。同样地，CPU可被实现为具有固件的芯片集，或者可选地，被实现为编程的通用或专用的计算机以执行参照图2至图9描述的方法。因此，意图是本发明并不限于在此公开的各种示例性实施例，而是本发明包括落入权利要求范围内的所有实施例。

产业上的可利用性

本发明应用了一种在其中记录了包括样式信息的基于文本的字幕数据的存储介质，以及一种用于再现记录在这种存储介质上的包括样式信息的基于文本的字幕数据的再现设备和方法。