字幕信息分析装置和字幕信息分析方法

摘要

在此公开了一种字幕信息分析装置，包括：分离器，配置为分离包括指示字符和符号的至少一个的位图数据的字幕数据；存储器，配置为通过将指示字符和符号的至少一个的样本位图数据的位模式和由所述样本位图数据表示的信息相关联，存储所述位模式和所述信息；评估器，配置为通过比较所述位图数据的位模式和所述样本位图数据的位模式，从所述样本位图数据中评估基本上等于所述位图数据的样本位图数据；以及替换器，配置为用由所述评估器评估为相等的所述样本位图数据表示的信息替换所述位图数据。

说明书

技术领域

本发明涉及字幕信息分析装置和字幕信息分析方法。

背景技术

最近视频记录设备(例如，如具有大容量存储视频记录介质的硬盘记录器)的流行，已经使得将非常大的数量和长的持续时间的运动图像内容存储在这些视频记录设备的每个中成为一般实践。然而，大多数用户受限于用于观看记录的运动图像内容的时间，需要这些视频记录设备允许用户在短时间内有效地观看运动图像内容。

另一方面，在地面数字广播的情况下，为具有听力困难的人和老人提供服务来以字幕的形式显示播放的节目中的对话和评论，即，所谓的字幕广播服务。传输在此情况下的字幕，如包括在运动图像流中作为来自广播组织的字幕数据。在这点上，例如通过使用这些字幕数据，正进行尝试来执行节目信息分析、搜索视频记录设备中存储的内容和运动图像中的场景搜索。

然而，这里要注意的是，在地面数字广播上传输的字幕数据包括所谓的DRCS(可动态重新定义的字符集)，除了普通字符外，该DRCS以位图数据表示基于电视文字广播和数据广播字符编码的标准的外部字符。DRCS是字符或符号的位图表示，并且用于各种应用。

例如，图1A所示的“一”(一是日本汉字数字)和图1B所示的“口”(表示日本汉字中的“嘴”)可以以普通字符显示；但是考虑屏幕上的显示状态，它们可以通过DRCS表示。除了这些示例外，如“元”、“騨”、“濱”、“旺”等的字符可以通过DRCS表示。此外，不能由普通字符集表示的那些字符(例如，如“薙”)可以通过DRCS表示。此外，除了字符表示外，DRCS还用于显示表示当前在运动图像中的场景的种类的符号。例如，在正在播放音乐的场景中，显示在DRCS中表示音乐正在播放的(音符)，如图1C所示。在移动电话的情况下的对话场景中，显示如图1D所示的表示移动电话的符号。此外，例如使用如图1E所示的麦克风和图1F所示的电视机的符号。

因为DRCS包含可重新定义的外部字符，所以不同于普通字符，DRCS可能逐个节目或在传输广播内容数据的广播组织之间不同。因此，实际上DRCS不能用于基于字幕数据的内容搜索和场景搜索。

为了克服该问题，提出了一种运动图像场景类型确定装置，其配置为通过像素匹配确定运动图像流中包含的字幕数据中的外部字符的形状和数据库中存储的外部字符的形状之间的匹配，然后基于音频数据确定运动图像流的场景类型(参考日本专利公开No.2008-269460)。

发明内容

然而，这里要注意的是，日本专利公开No.2008-269460中公开的运动图像场景类型确定装置只通过像素匹配执行外部字符的字符形状之间的差别的确定。结果，尽管“一”(一是日文数字)、“一”(长音符)和“-”(连字号)是不同的字符，但是这些字符的像素数目几乎相互匹配，使得这些字符可能被确定为相同。因此，该运动图像场景确定装置不能基于包括DRCS的字幕数据执行精确场景类型确定。

此外，上述运动图像场景类型确定装置通过像素匹配确定外部字符的字符形状之间的差异，然后基于音频数据执行场景类型确定，使得用于运动图像场景类型确定装置的音频处理的部件数目增加，从而提高了该装置的制造成本。

因此，本发明处理与现有技术的方法和装置相关联的上述和其它问题，并且通过提供一种字幕信息分析装置和字幕信息分析方法解决了所述问题，该字幕信息分析装置和字幕信息分析方法配置为通过用普通字符替代字幕数据中包括的DRCS，利用高精确度分析字幕信息。

在执行本发明时并根据其一个模式，提供了一种字幕信息分析装置，包括：分离部件，用于分离包括指示字符和符号的至少一个的位图数据的字幕数据；存储部件，用于通过将指示字符和符号的至少一个的样本位图数据的位模式和由所述样本位图数据表示的信息相关联，存储所述位模式和所述信息；评估部件，用于通过比较所述位图数据的位模式和所述样本位图数据的位模式，从所述样本位图数据中评估基本上与所述位图数据相同的样本位图数据；以及替换部件，用于用由所述评估部件评估为相同的所述样本位图数据表示的信息替换所述位图数据。

在执行本发明时并根据其一个模式，提供了一种字幕信息分析方法，包括以下步骤：分离包括指示字符和符号的至少一个的位图数据的字幕数据；通过将指示字符和符号的至少一个的样本位图数据的位模式和由所述样本位图数据表示的信息相关联，存储所述位模式和所述信息；通过比较所述位图数据的位模式和所述样本位图数据的位模式，从所述样本位图数据中评估基本上与所述位图数据相同的样本位图数据；以及用由所述评估步骤中评估为相同的所述样本位图数据表示的信息替换所述位图数据。

如上所述并根据本发明的实施例，通过用使用普通字符的字符串替换DRCS，DRCS可以作为普通字符分析，使得可以用高精确度执行内容搜索、场景搜索和摘要回放等。

附图说明

参考附图，本发明的其它目的和方面将从实施例的以下描述变得明显，附图中：

图1A到1F是图示通过使用DRCS表示的字符或符号的示例的图；

图2是图示实践为本发明的一个实施例的字幕信息分析装置的示例性配置的方块图；

图3是图示样本数据存储块中存储的位模式、上下文数据和出现频率信息的示例的图；

图4是图示字符串存储块中存储的字符串信息的图；

图5是指示由DRCS评估块执行的处理的流程图；

图6是指示由场景检测单元执行的处理的流程图；以及

图7是图示作为场景检测结果的缩略图表示的示例的图。

具体实施方式

字幕信息分析装置的配置

参考附图，将通过其实施例的方式进一步详细描述本发明。如图2所示，字幕信息分析装置1具有天线10、调谐器11、解调块12、分离块13、运动图像存储块14、缩略图提取块15、字幕分析块16、DRCS评估块17、样本数据存储块18、字符串存储块19和应用块20。应用块20具有场景检测单元20A和场景信息存储单元20B。

天线10接收地面广播的广播波。将接收的广播信号提供给调谐器11以转换为中频信号。中频信号提供给解调块12。通过解调块12，解调作为运动图像流的传送流用于提取。将提取的传送流提供给分离块13。

分离块13包括用于分离传送流的信号分离器和用于执行解码的解码器。基于每个分组的报头部分中写入的分组标识符(PID)，分离块13将传送流分离为视频PES(分组化基本流)、音频PES、字幕PES、PSI(节目特定信息)和SI(服务信息)。例如，SI携带各种信息，如节目频道、标题、开始日期和时间、广播持续时间、详细内容、进展情形、风格和系列信息。读取SI提供EPG(电子节目指南)数据。视频PES、音频PES和字幕PES包括作为用于同步再现的时间信息的PTS(呈现时间戳)。作为分离结果获得的视频PES、音频PES和字幕PES以预定方式进行信号处理以分别转换为视频数据、音频数据和字幕数据。然后，视频数据和音频数据提供给运动图像存储块14以存储在其中。字幕数据提供给字幕分析块16。

缩略图提取块15从记录到运动图像存储块14的视频数据提取一帧，并且从提取帧创建缩略图。由缩略图提取块15提取的缩略图用于将通过稍后描述的场景检测单元20A获得的场景检测结果显示在显示块25上。稍后将描述该处理的细节。

字幕分析块16对从分离块13提供的字幕数据执行预定分析处理，以便从处理的字幕数据生成由JIS(日本工业标准)代码格式表示的字符(以下称为普通字符)。要注意的是，如上所述，除了可转换为普通字符的那些，字幕数据还可以包括DRCS。DRCS表示位图数据中的所谓的外部字符，如符号和特殊字符。因此，DRCS不能通过上述分析处理来处理。字幕数据中的DRCS提供给DRCS评估块17，作为没有改变的DRCS。结果，由字幕分析块16处理的字符串、DRCS和PTS提供给DRCS评估块17。

如果从字幕分析块16提供的DRCS表示字符，则DRCS评估块17评估该DRCS代表什么字符，然后用由该DRCS表示的普通字符替换该DRCS。此外，如果经历判断的DRCS表示符号，则DRCS评估块17评估该符号表示什么意思，然后用基于普通字符的字符串替换该DRCS。DRCS评估块17等效于评估块和替换块。为了评估字符或符号DRCS表示什么，DRCS评估块17执行三种处理，即，模式匹配、上下文判断和基于字幕中的出现频率的选择(以下称为出现频率选择)。这里要注意的是，这三种处理不能同时执行；可以执行三种处理中的任何两者。稍后将描述这些类型的处理的每个的细节和DRCS替换的细节。

如图3所示，样本数据存储块18存储作为要在由DRCS评估块17执行的处理中使用的样本数据(以下称为样本DRCS)的DRCS的位模式、上下文数据和出现频率信息。要注意的是，位模式、上下文数据和出现频率信息存储为与由该DRCS表示的普通字符组成的字符串或由指示由该DRCS表示的符号的含义的普通字符组成的字符串相关联。如果DRCS评估块17执行模式匹配，则读取位模式。如果DRCS评估块17执行上下文判断，则读取上下文数据。如果DRCS评估块17执行出现频率选择，则读取出现频率信息。要注意的是，稍后将描述这些位模式、上下文数据和出现频率信息的细节。位模式、上下文数据和出现频率信息只是说明性的，因此实际的位模式、上下文数据和出现频率信息不限于此。

如图4所示，字符串存储块19将字幕中包含的普通字符和由DRCS评估块17从DRCS获得的普通字符存储为与每个运动图像的PTS相关联。字符串存储块19还存储节目信息。DRCS通过DRCS评估块17全部由普通字符替换，并且只有由普通字符构成的字符串和PTS存储在字符串存储块19中，使得可以通过应用块20执行各种应用。

在本发明的本实施例中，应用块20由用于从字幕数据检测视频内容中的场景的场景检测单元20A和用于存储关于由场景检测单元20A检测的场景的信息的场景信息存储单元20B配置。场景检测单元20A通过使用字符串存储块19中存储的DRCS评估块17的处理结果来检测运动图像中的场景。稍后将描述场景检测处理的细节。场景信息存储单元20B存储关于由场景检测单元20A检测的场景的信息。

如上所述配置的字幕信息分析装置1的组成块和单元的每个连接到控制块21。控制块21与ROM(只读存储器)22、输入块23、通信块24和显示块25连接。

控制块21是基于CPU(中央处理单元)的微计算机等，并且如事先存储在ROM 22中的程序所指定的，控制字幕信息分析装置1的每个组成块。输入块23表示各种输入设备，如遥控器、键盘等，用户通过其输入搜索关键字和指令到字幕信息分析装置1中。

通信块24连接到因特网。通过通信块24，字幕信息分析装置1能够下载位模式、上下文数据和出现频率信息，稍后将描述其细节。显示块25由基于LCD(液晶显示器)、CRT(阴极射线管显示器)或有机EL(电致发光)的显示设备及其接口配置。运动图像内容由显示块25显示。此外，由场景检测单元20A进行的确定结果由缩略图提取块15提取，并且该结果以缩略图方式显示在显示块25上。

字幕信息分析装置的操作

参考图3到5，以下描述由DRCS评估块17执行的模式匹配、上下文确定、出现频率选择和DRCS替换处理操作。

如图3所示，用于在由DRCS评估块17执行的处理中使用的样本DRCS的位模式、上下文数据和出现频率信息存储在样本数据存储块18中，作为与由样本DRCS表示的字符或指示符号的含义的字符串相关联。

在图3中，样本DRCS“一”(一是日本汉字数字)与普通字符“一”(一是日本汉字数字)相关联。“一”(长音符)与普通字符“一”(长音符)相关联。“-”(连字号)与普通字符“-”(连字号)相关联。如果样本是符号，则关联允许容易理解该符号的含义的普通字符的字符串。如果样本DRCS是则关联字符串“音符标记”。如果样本DRCS是移动电话标记，则关联字符串“谈话场景”。然而，要注意的是，要相关联的每个字符串不限于一种类型；考虑通过稍后描述的应用块20的应用，可以设置任何期望类型。例如，除了“音符标记”外，与字符串“音乐场景”、“具有背景音乐的场景”等相关联是可行的。在移动电话标记的情况下，可以关联字符串“移动电话上的谈话场景”。

位模式表示作为位图数据的样本DRCS的位模式。上下文数据表示在来自过去的电影、电视节目等的字幕中的DRCS之前和之后使用的字符串的各种组合的数据库。图3说明性示出结合“(一)般人”、“(一)般的”、“日本(一)”、“世界(一)”等使用的字符串与“一”(一是日本汉字数字)相关联并存储。结合“一”(长音符)使用的字符串(如“コンピユ一タ(一)”、“サ一バ(一)”等)与“一”(长音符)相关联并存储。如CD(-)ROM、DVD(-)ROM等的字符串与“-”(连字号)相关联并存储。如“入(口)”、“出(口)”的字符串与“口”(日文中的嘴)相关联并存储。如“‘钢琴’”的字符串与(音符标记)相关联并存储。要注意的是，上面撇号包括的“钢琴”例如表示音乐标题或乐器。如“你好”等的字符串与“移动电话标记”相关联并存储。

出现频率信息是基于过去的电影和电视节目的字幕中DRCS的出现频率排列的样本DRCS的数据库。在图3中，出现频率是以下顺序的“口”、“一”、“一”、“-”、应当注意的是，出现频率信息不限于DRCS的排列的出现频率；例如，出现频率信息可以是出现频率自身。

首先，DRCS评估块17确定字幕数据中是否包括DRCS(步骤S1)。如果在字幕数据中发现DRCS(步骤S1中为是)，则DRCS评估块17执行模式匹配(步骤S2)。应当注意的是，如果在字幕数据中没有发现DRCS(步骤S1中为否)，则DRCS评估块17的处理结束。

在模式匹配中，从样本数据存储块18读取样本DRCS的位模式。在样本DRCS和经历处理的字幕数据中包括的DRCS之间进行比较(该处理称为模式匹配)。在模式中匹配字幕中的DRCS的两个或更多样本DRCS中的样本DRCS评估为相同DRCS。应当注意的是，模式匹配不限于完全匹配；例如，如果匹配像素的数目高于像素的总数的某个比率，则可以实现位模式匹配。对字幕数据中包含的所有DRCS执行模式匹配。

接着，在模式匹配后，DRCS评估块17确定经历处理的字幕数据中的DRCS和样本数据存储块18中存储的两个或更多样本DRCS中的一个样本DRCS之间是否存在位模式匹配(步骤S3)。如果不存在与一个样本DRCS的匹配(步骤S3中为否)，则DRCS评估块17确定是否存在匹配两个或更多样本DRCS的位模式(步骤S4)。如果在步骤S4中存在与两个或更多样本DRCS的位模式匹配，则DRCS评估块17执行上下文判断(步骤S5。)

在执行上下文判断时，从样本数据存储块18读取上下文数据。在上下文判断时，在对应于通过步骤S3的模式匹配确定在位模式上与字幕数据中的DRCS匹配的两个或更多样本DRCS的上下文数据、和字幕数据中包括的DRCS之前和之后的字符串之间进行比较。该比较允许通过模式匹配评估为相同的两个或更多样本DRCS中的、近似字幕数据中的DRCS的样本DRCS是相同的DRCS的评估。

以下描述上下文判断的特定示例，其中字幕数据中包括的要经历处理的DRCS是“一”(一是日本汉字数字)，其与字符串“般人”结合用作词语“一般人”。当对DRCS“一”(一是日本汉字数字)执行模式匹配时，除了“一”(一是日本汉字数字)外，该DRCS类似于“一”(长音符)和“-”(连字号)是可能的，因此与三个样本DRCS相同。因此，在已经评估为相同的三个样本“一”(一是日本汉字数字)、“一”(长音符)和“-”(连字号)的上下文数据和作为字幕数据中的DRCS的“一”(一是日本汉字数字)的之前和之后的字符串之间进行比较。在该示例中，字幕数据中的“一”(一是日本汉字数字)与字符串“般人”结合使用，使得确定DRCS“一”(一是日本汉字数字)匹配作为样本DRCS的“一”(一是日本汉字数字)的上下文数据“(一)般人”，从而评估该DRCS是日本汉字数字的一。即使作为模式匹配的结果获得字幕数据中的DRCS确定为与两个或更多样本DRCS相同的评估结果，执行该处理也允许缩小评估结果以增强评估的精度。

接下来，DRCS评估块17确定是否作为上下文判断的结果已经选取一个样本DRCS(步骤S6)。如果没有选取一个标准DRCS(步骤S6中为否)，即，作为上下文判断的结果发现字幕数据中的DRCS与两个或更多样本DRCS相同，则DRCS评估块17接下来执行出现频率选择(步骤S7)。

如果通过上下文判断评估字幕数据中的DRCS与两个或更多样本DRCS相同，则出现频率选择评估这些样本DRCS中具有最高出现频率的样本DRCS与字幕数据中的DRCS相同。例如，利用图3中示出的出现频率信息，在三个DRCS“一”(一是日本汉字数字)、“一”(长音符)和“-”(连字号)中，“一”(一是日本汉字数字)具有最高出现频率。因此，出现频率选择评估字幕数据中的“一”(一是日本汉字数字)与具有最高出现频率的“一”(一是日本汉字数字)相同。结果，可以总是评估字幕数据中的DRCS与一个样本DRCS相同。

接下来，在出现频率选择后，字幕数据中的DRCS用与评估为相同的样本DRCS相关联的普通字符替换(步骤S8)。此外，如果只通过上述步骤S4的模式匹配评估字幕数据中的DRCS与一个样本DRCS相同，则在步骤S8中执行替换。此外，如果通过步骤S5的上下文判断评估字幕数据中的DRCS与一个样本DRCS相同，则也在步骤8中由普通字符替换DRCS。

在步骤S8的替换处理中，如果字幕数据中的DRCS表示字符例如“一”(一是日本汉字数字)或“口”(日本汉字中的嘴)，则该DRCS用普通字符“一”(一是日本汉字数字)或“口”(日本汉字中的嘴)替换。如果经历判断的DRCS是符号则该DRCS用指示该符号的含义的字符串“音符标记”替换。

然后，DRCS评估块17将普通字符的字符串和具有替换的DRCS的普通字符的字符串存储到字符串存储块19中，如与指示这些字符串的显示时间的PTS相关联，作为通过运动图像内容的类型分类的字符串信息，如图4所示。字幕数据中包括DRCS通过DRCS评估块17全部用普通字符的字符串替换，使得普通字符的字符串和PTS存储在字符串存储块19中。

要注意的是，在本实施例中，位模式、上下文数据和出现频率信息事先存储在样本数据存储块18中。然而，通过将字幕信息分析装置1连接到如因特网的网络，通过从服务器下载位模式、上下文数据和出现频率信息，将位模式、上下文数据和出现频率信息存储在样本数据存储块18中是可行的。间或在服务器上更新位模式、上下文数据和出现频率信息可以将样本数据存储块18中存储的这些数据和信息总是保持在最近状况。结果，如果使用了在字幕数据中没有找到的新DRCS，则字幕信息分析装置1能够迅速地处理这种情形。

下面参考图6和7描述要由应用块20的场景检测单元20A执行的场景检测处理。图6所示的流程图指示在用户已经在用于搜索的字幕数据中输入字符作为搜索关键字后要执行的处理流程。由用户输入的关键字贯穿输入块23执行。要注意的是，当视频再现没有执行或在视频再现期间的屏幕上时，用户可以执行关键字输入操作。

对于场景检测的执行，图4所示的对于每条运动图像内容具有相互关联的字符串和指示显示该字符串的时间的PTS的字符串信息，从字符串存储块19提供到场景检测单元20A。此外，视频数据和音频数据从分离块13提供到场景检测单元20A。在开始场景检测时，场景检测单元20A参考字符串信息以确定包括用户输入的关键字的字符串是否包括在字幕数据中(步骤S21)。应当注意的是，可以对用户指定的运动图像内容的特定项目、或字符串存储块19中存储的所有字符串信息而没有指定运动图像内容的特定项目进行该确定。如果在字幕数据中没有找到包括关键字的字符串(步骤S21中为否)，则场景检测处理结束，假设不存在其中显示包括用户输入的关键字的字幕数据的场景。应当注意的是，在进行该操作时，与用户输入的关键字类似或相关联的关键字可以显示在显示块25上，从而提示用户输入新的关键字。

如果在字幕数据中找到包括关键字的字符串(步骤S21中为是)，则场景检测单元20A参考与该关键字相关联的PTS，以获得指示显示该字符串的时间的时间信息(步骤S22)。然后，通过将从分离块13提供的AV数据与指示显示包括关键字的字符串的时间的时间信息相关联，该时间信息与此时的运动图像场景相关联，关联的信息和运动图像场景输出为场景信息(步骤S23)。输出的场景信息记录到场景信息存储单元20B(步骤S24)。

接下来，场景检测处理的结果(即，显示包括用户输入的关键字的字幕数据的场景)与由缩略图提取块15提取的缩略图相关联，以提供给用户，如以如图7所示的缩略图方式显示在显示块25上(步骤S25)。

传统上，字幕数据中包括的DRCS是由位图数据表示的所谓的外部字符，使得该DRCS不经历通过字幕数据的场景检测。相反，本实施例将字幕数据中包括的所有DRCS用普通字符替换，使得由DRCS表示的所有字符和符号可以经历关键字搜索处理。因此，与现有技术相比，可以提高场景检测的精度。此外，例如作为指示运动图像中的背景音乐的DRCS的(音符标记)用使用指示该符号的含义的普通字符的字符串(例如“音乐场景”)替换。结果，通过将用户用于搜索的关键字设置为“音乐场景”，可以检测播放运动图像中的背景音乐的场景。因此，用普通字符替换DRCS可以加宽要检测的检测方法和场景，从而以更详细的方式执行场景检测处理。

在本实施例中，例如场景检测处理已经描述为要由应用块20执行的应用。这里要注意的是，要执行的应用不限于场景检测处理。如上所述，在场景信息存储单元20B中，为运动图像内容的每项存储字幕，与显示这些字幕的时间信息相关联，使得可以搜索其中显示包括用户输入的关键字的字幕的运动图像内容。然后，运动图像内容搜索的结果与缩略图提取块15提取的缩略图相关联，像要以缩略图显示方式为用户在显示块25上显示的场景检测结果。这允许用户容易地发现期望的节目，从而有用地提供硬盘记录器应用，其中大量节目内容可以记录到硬盘驱动器上。

尽管已经使用特定术语描述了本发明的优选实施例，但是这种描述用于说明目的，并且要理解的是可以进行各种改变和变化而不背离权利要求的精神或范围。例如，要由DRCS评估块17执行的模式匹配、上下文判断和出现频率选择可以不全部执行；例如，DRCS评估块17可以执行模式匹配和上下文判断的组合或模式匹配和出现频率选择的组合。此外，除了经由天线10将电视广播输入字幕信息分析装置1外，还可以例如经由USB(通用串行总线)从硬盘驱动器或存储卡输入包括字幕数据的运动图像内容。

此外，本发明的实施例不限于地面数字广播的接收；例如将实施例应用于IPTV(因特网协议电视)服务的接收也是可行的。IPTV趋于通过使用IP(因特网协议)分发数字电视广播。

此外，本发明的实施例可应用于例如能够存储运动图像内容的硬盘记录器、个人计算机和移动电话。此外，本发明的实施例可应用于DVD(数字多功能盘)播放器和BD(蓝光盘)播放器，其能够再现记录到这些播放器的记录介质上的运动图像内容。要注意的是，在本发明的实施例应用于配置为记录和再现来自硬盘记录器的广播运动图像内容的设备时，例如可以在DRCS评估块17执行判断和替换处理的同时执行记录处理。这允许在完成运动图像内容的记录时，通过使用字幕数据的场景检测等。

本申请包含涉及于2009年6月4日向日本专利局提交的日本优先权专利申请JP 2009-134925中公开的主题，在此通过引用并入其全部内容。

本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。