用于创建已包括摘要和报道的视听文献的新摘要的方法以及可实现所述方法的接收器

摘要

本发明涉及一种用于创建已在设备中预记录的视听文献的新摘要的方法。该文献包含两个部分，即：摘要和多个报道。进而将综述划分成多个部分。根据本发明，设备首先查找摘要部分与报道之间的关联，然后检测与摘要部分不相关联的报道。随后，针对与摘要不相关联的报道创建概要，并将所述概要合并到初始摘要中以创建新的摘要。在这种方式下，用户可以从与所述报道相关联的摘要部分容易地选择任何报道。本发明还涉及能够实现所述方法的接收器。

说明书

技术领域

本发明涉及一种用于创建包括初始综述和报道的视听文献的新综述的方法以及实现该方法的接收器。

背景技术

当今，许多设备可以接收并再现所记录的视听作品。近来，已将大容量硬盘集成进这些视听接收器中；因此能够存储从单向广播网络或从点对点网络(例如，互联网)下载到其上的内容。在这些设备当中，PVR(个人录像机的缩写)通常配备有电子节目指南(缩写为EPG)，EPG允许用户显示硬盘中所记录的内容并通过命令来再现该内容。如今，硬盘的大小允许存储200个小时以上的节目。这样的可用信息量需要向PVR添加新功能，以实现快速的、相互之间和内部的导航。EPG可以根据许多准则对这些文献进行重组，并以组的形式呈现这些文献，例如：主题、类型、语言、家长控制等。通过与视听内容相关联的元数据来实现分类。根据变型，接收器对内容进行分析并能够对其进行分类。存储装置的另一示例关于在磁带上记录视听作品的盒式磁带录像机，在这种情况下，对视听内容的存取是顺序的。在这些产品上，可以立即记录当前信道上正在接收的视频，或者可以对未来事件进行编排。无论存储内容的方式如何，用户界面都可以对已下载并记录的作品的选择和播放进行控制。首先，用户通过节目指南选择其想要观看的节目。然后，通过按动“播放”按钮，用户触发以观看作品。

在数字记录(例如：DVD)的情况下，作品被分段为多个章节。在这种方式下，用户可以选择章节并在所选章节的起始处开始观看。通过按动“下一段”按钮，跳到下一片段来观看。还对通过广播网络接收到的一些节目进行分段，以使得一旦将这些节目记录在接收器的硬盘上，用户就可以选择具体片段来观看，或通过仅观看前几秒来从一个片段导航到另一个片段以搜索所需的片段。如果接收到未分段的节目，则利用能够在接收器级对节目进行分段的分段方法，于2002年10月28日在法国提交的专利申请FR02.13977描述了一种分割方法，该方法使用作品的视听内容以从中提取具有语义一致性的部分。在请求FR02.13977中所描述的方法可以根据多个等级来产生对体育视频的分段。还存在能够自动提取电影或记录视频的树形结构的方法。典型地，基于画面颜色内容的突然变化将视频划分成镜头。然后，基于镜头内容的视觉相似性及其时间近似性将镜头分组为场景。通常，对于多种类型的视频文献，可以定义具有多个等级的树形结构。

文献US 2006/0107289描述了一种用于接收视听节目和与这些节目相关联的服务数据的视听设备。该设备具有：多个数据接收装置，接自诸如卫星、电缆和地面等各种网络；以及从这些网络接收到的数据的存储装置。该设备显示了呈现所记录的各种文献的电子节目指南(EPG)。以作为文献的第一视频帧的缩略图(thumbnail)的形式呈现该文献。如果第一画面是黑色的，则搜寻另一画面。该文献不能通过向用户呈现除文献标题和文献第一画面以外的任何信息来使综述变得丰富。

当所记录的文献是电视新闻节目时，根据当前方法编索引将能够直接访问到报道。电视新闻节目通常以综述开始，在综述期间，呈现组成该新闻节目的主要报道。在最好的情况下，采用编索引方法的指南呈现综述作为报道并同样将该综述呈现给用户。的确，综述过程中的画面示出了口头陈述不同报道的主持人，不起作用的编索引方法将认为所有画面构成一个单位。在其他情况下，将综述划分成多个报道。在所有情况下，在相同呈现等级分别示出新闻节目的部分，这并不令人满意，这是由于用户清楚地看到新闻节目由特定数目的报道构成而没有指示这些报道是实际报道还是综述的部分。此外，如果没有在综述中呈现报道，则用户不容易发现报道。本发明通过允许报道与综述部分之间的有效导航，向用户提供了针对这种类型的文献的特别的用户友好界面。

发明内容

本发明的目的是一种用于创建在设备中所记录的视听文献的新引导性综述的方法，其特征在于包括以下步骤：

-将文献划分成两个部分，一部分是综述，另一部分由多个报道组成；

-将综述划分成多个部分；

-搜索一个综述部分与报道之间的关联，并检测与综述部分不相关联的至少一个报道；

-根据从与综述部分不相关联的至少一个报道中提取出的视听序列的至少一个画面，针对所述报道创建摘要；

-将由此创建的摘要结合到新综述中。

在这种方式下，未在综述中示出的报道因此出现在新综述中，以使得用户可以在视听文献中导航并从引导性摘要传递到文献中所包含的与该摘要相关联的的任何报道。将文献划分成综述部分和报道能够向用户提供两级信息，第一级能够向用户通知报道的主题，第二级是报道本身。

根据第一改进方式，通过遵照报道的次序，将由此创建的摘要结合到综述中。在这种方式下，用户能够更容易地遵循文献的结构。根据另一改进方式，摘要的创建在于提取具有诸如存在主持人的外形之类的确定特征的视听序列。在这种方式下，由此创建的摘要的序列具有更相关的信息内容。

根据一个改进方式，对于给定的报道，只有该报道的持续时间大于已确定的值，才进行关联的摘要的创建。在这种方式下，与不重要的报道相关联的摘要不会扰乱综述。根据一个改进方式，将多个报道连结进相同的序列中，并且该序列与本地创建了至少一个部分的摘要相关联。在这种方式下，可以通过聚集多个报道来限制摘要的数目。根据一个改进方式，所连结的报道具有特定特征，例如小于已确定的值的持续时间，或具有特定主题。因此，对多个报道进行分组以产生唯一关联的摘要对用户而言具有一定意义。

根据一个改进方式，在导航期间，在观看由设备创建的综述部分期间，该设备显示视觉指示。在这种方式下，用户知道该摘要并不在初始文献中，而是由该用户的设备所创建。

本发明还涉及一种视听接收器，包括：中央处理器；再现装置，对在文献的存储装置中记录的视听文献的至少部分进行再现；针对选择命令的接收装置，所述文献包括被划分成多个部分的综述以及多个报道，所述视听接收器的特征在于包括：用于将综述的每一部分与报道相关联的装置；用于创建与综述部分不相关联的至少一个报道的摘要的装置，所述摘要由从该报道中提取出的视听序列的至少一个画面构成；用于存储的装置，将由此创建的摘要结合到文献的新综述中，其中，在由此创建的综述部分上激活的选择命令的引入触发了对应报道的再现。

附图说明

在以下说明书的范围内，通过参照附图，根据作为示例给出的实施例的更详细描述，本发明的其他特征和优点将变得显而易见，在附图中：

-图1是针对本发明实现方式的视听接收器的框图；

-图2是由导航仪执行的主要步骤的流程图；

-图3a和3b是在创建新摘要之前和之后记录的文献的划分的图示；

-图4是在先前分段并划分的文献中实现导航的屏幕显现。

具体实施方式

首先将对配备有显示设备2的视听接收器1的操作给出描述。该接收器包括：中央处理器3，连接至节目存储器12；以及接口5，用于与高比特率本地数字总线6进行通信以实现对音频/视频数据的实施传送。该网络例如是IEEE 1394网络。该接收器还可以通过与解调器4相关联的接收器天线从广播网络接收音频/视频数据。该接收器还包括：红外信号接收器7，用于接收遥控器8的信号；存储器9，用于存储已下载的数据；以及音频/视频解码逻辑10，用于产生被发送至电视屏幕2的视听信号。根据一个实施例，存储器9是大容量硬盘，实现视听文献的记录。根据另一实施例，该视听文献被包含在诸如压缩磁盘或DVD盘等可拆卸的承载物中，该承载物被插入到并入该接收器中的读取器外围设备(图1中未示出)中。遥控器具有方向按钮↑、↓、→和←以及至少一个按钮：“OK”。根据优选实施例，方向箭头使光标能在屏幕上来回移动，用户可访问的命令以图标形式示出，并且当光标位于与所需命令相对应的图标上，用户按压“OK”时，该命令被激活。

该接收器还包括：屏幕上的数据的显示电路11，通常被称作OSD(“屏幕上显示”)电路。OSD电路11是文本和图形产生器，其实现了菜单、象形图(例如，与所显示的频道相对应的数字)的屏幕上显示，并根据本发明来显示导航菜单。OSD电路由中央处理器3和导航仪12来控制。有利地，采用只读存储器中所记录的程序模块的形式来实现导航仪12。还可以采用例如ASIC类型的专用电路的形式来实现导航仪12。

数字总线6和/或广播网络向网络传送包括视听文献的数据。在可能情况下，这些文献与描述性数据相关联。该数据来自广播网络或者来自数字网络6。特别地，该描述性数据包括定义了文献的不同片段的分段信息。有利地，该描述性数据实现对文献的精细划分，并包括向每个片段给出至少一个标题的文本。该描述性数据例如被包含在由DVB-SI标准所规定的服务信息中，并被记录在接收器的存储器9中。导航仪提取该描述性数据以管理导航。

在呈现了主要元件之后，现在将给出对这些元件如何协作的说明。图2示出了根据本发明实施例的主要步骤的流程图。首先(步骤2.1)，从数字网络6或广播网络下载文献并将该文献记录在存储器9中。在一个时刻或另一个时刻，用户指示该文献包括综述和一组报道。典型地，该文献是电视新闻节目，还可以是记录片、由多个选拔赛组成的游戏、或通常是包括有在该文献中所包含的综述中所呈现的多个序列的任何视频或音频文献。对文献进行标记的事实触发了对设计用于分析文献并丰富其综述的程序的执行。

如果没有接收到具有分段数据的文献，则程序通过软件分段模块在本地确定该分段数据，其中该软件分段模块在该文献中定位报道以及呈现这些报道的综述部分。

在步骤2.2中，将文献分段为多个报道序列。文献的许多方法提出了该问题的解决方案。例如，可能的技术在于：在将视频划分成镜头之后，识别示出了所确定画面的重复镜头，典型地为电视新闻节目的主持人。在表现出报道特征的相同视频片段内对在主持人的两次出现之间出现的不同镜头进行分组。在另一示例中，将视频序列划分成镜头，然后，基于镜头内容的视觉相似性及其时间近似性将镜头分组为场景。通过对声环境(关于足球比赛的报道、或关于生态记录片的报道、或关于具有不同特征的政治家的最后干预的报道，)或评论其报道的相同记者的话音的连续性进行分析，可以观察到音频分量。在表现出报道特征的相同视频片段内对主持人的两次出现之间出现的不同镜头进行分组。在该模块的输出处，从而获得报道的列表以及包含主持人的镜头的列表。

典型地，通过以下方式来评价片段之间的视觉相似性：用从片段中提取出的一小组“关键画面”来表示每一片段，并评价这些画面的视觉属性之间的可感知距离。所使用的属性可以例如是主色分布或梯度分布。在该第一处理之后，将新节目分段为报道，这些报道中的一个是综述。

在步骤2.3过程中，节目将综述定位在文献中并将该综述划分成呈现视觉标识的部分。一种假设在于：考虑在电视新闻节目的开始处发现该综述(还可能考虑另一个假设：在新闻节目的结束处重播该综述以便回忆起主要标题)。可以根据不同的假设对综述的画面进行搜索，例如：

-综述的画面包含通常位于主持人左上或右下部的矩形缩略图；

-在以一系列视频片段的形式显现出主持人之前，在新闻节目的起始处广播综述。

存在其他视觉辨别技术。例如，首先对第一报道之前的所有镜头进行选择。对于所有这些镜头而言，针对每一镜头的所有画面实现对缩略图的检测。该检测可以基于以下事实来进行：缩略图出现在画面的一部分中，画面的其余部分几乎保持固定。例如，可以使用一种算法，该算法基于使用由与通过数学形态学对矩形的检测相关联的连续画面之间的差值所产生的画面。

如果综述出现在文献的起始处，并且报道的画面不是出现在画面的插入片段中而是出现在全屏幕中，则可以使用基于以下事实的检测方法：

-主持人给出附随综述的口头摘要。这可以允许使用讲话者分段，然后选择其中主持人正在讲话但不可见的画面；

-综述通常被包括在致谢名单与主持人第一次出现之间。在这种情况下，基于对音乐音轨的检测或基于对致谢名单的在先了解而进行的对致谢名单的检测使综述能作为除致谢名单外的全部内容而被发现。

根据操作的变型，步骤2.2和2.3的执行次序可以颠倒。在开始分析所记录的文献时，接收器首先搜索所记录文献的画面之间的相似性。为此，将文献划分成序列镜头，序列镜头呈现了视觉连续性。然后将序列镜头彼此进行比较，以计算相似性的等级。如果该等级超过已确定的阈值，则所分析的图像或序列镜头是两两相关联的。该比较还适用于画面以及画面的部分。的确，新闻程序可以呈现主持人处于前景中的综述，以及插入片段中的对应报道的特定画面。比较模块对包括小画面的插入片段在出现在屏幕上的画面中的存在进行检测，并使用该画面来执行比较。

在相似性的第一评价步骤之后，接收器对序列镜头的分布进行分析，其中，序列镜头的分布呈现出序列镜头由与另一序列镜头的相似性所标记。接收器确定与文献的其他序列镜头具有最高度相似性的至少一个序列镜头的组。如果该组并不位于所记录的文献的起始或结束处(对于综述而言的正常位置)，则不能应用该方法。在相反的情况下，组成该组的所有序列镜头的确构成了综述，文献的剩余部分被视为报道集合。特别地，如果主持人没有出现在综述的画面中，并且综述的画面不包括任何具体特征，则不能应用该方法。

一旦检测到报道和综述，步骤2.4就可以检测存在于综述的每一部分与每一报道之间的相似性。一种方法在于将综述的画面与报道的画面进行比较。提取与距离测量相关联的画面属性特征的典型技术提供了对相似性的测量，以追溯到综述画面与报道画面的关联。在多种情况下，可以考虑综述由关联报道的视频摘要构成，本发明可以有利地使用时间分量来使画面匹配过程的鲁棒性更强。例如，综述中报道的呈现次序通常与新闻节目的报道的呈现次序相同。因此，如果呈现相似性的两画面以相同的次序出现，则相似性的测量得以改进，其中一些画面在综述中，另一些画面在报道中。

现在对文献进行分段，实现了综述部分与报道之间的关联。在步骤2.5过程中，节目测试是否每个报道都被呈现在综述中。为此，在存储器9中创建文献的索引表，以实现对文献的每一元素编索引，下表是与文献相对应的表的示例，在图3a中示出了针对该表的内容的时间记录(chronology)。

  报道号  1  2  3  4  5  报道索引  1’05”  5’23”  7’18”  11’04”  13’25”  综述中的索引  0’0”  0’15”  ---  0’30”  0’48”

在上述示例中，在综述中没有呈现报告号3。在步骤2.5的结束处，节目对与综述部分不相关联的所有报道进行识别。

在步骤2.6中，节目针对与当前综述的一部分不相关联的报道自动产生摘要，在优选情况下产生短的摘要。为此，该节目选择被连结进视听或视频序列中的特定数目的报道摘录(视频片段或关键画面)。根据优选实施例，通过对报道的每一镜头拍摄几秒钟，来执行对报道摘录的选择。通过分析报道镜头的视觉和/或音频内容，几秒钟的持续时间会有变化。例如，镜头中必须包含脸部，或包括最小运动的视频片段等。动作的另一方式在于仅拍摄包括主持人外形的报道的序列镜头。动作的另一方式在于仅拍摄具有强声功率的报道的序列镜头，这种改进方式特别有助于总结体育报道。

在步骤2.7中，节目通过向初始综述添加自动创建的摘要，对该初始综述进行修改。有利地，通过图标来标记这些摘要的视频内容，以采用这种方式向用户通知已将这些部分本地添加至所记录的文献。可以采用简单的方式在当前综述的结束处对所创建的摘要进行添加。一种变型在于，以报道在文献内的出现次序来添加由此创建的综述部分。如果综述部分还没有按照与报道相同的次序，则将针对给定报道而创建的摘要置于与文献中前一报道相对应的综述部分之后。在步骤2.7的结束处，将所有自动摘要插入综述中，该综述本身处于文献中。文献的索引表与针对每一报道的综述部分相关联，下表是与文献相对应的表的示例，在图3b中示出了针对该表的内容的时间记录。

  报道号  1  2  3  4  5  报道索引  1’25”  5’43”  7’38”  11’24”  13’45”  综述中的索引  0’0”  0’15”  0’30”  0’50”  1’08”

在该表中可以看出，针对报道3创建了20秒时间的摘要，因此，摘要和报道的后续部分移位了20秒时间。总体上，所记录的文献的持续时间增加了由节目创建的摘要的总持续时间。

图3a示出了文献的划分以及综述部分与报道之间的相似性的确定。在步骤2.2和2.3之后，节目确定了视听文献包括具有四个部分的综述，随后是五个报道。通过在步骤2.4过程中分析综述部分与报道之间的相似性，节目能够建立综述部分与报道之间的四个关联：综述的第一部分与第一报道的关联、综述的第二部分与第二报道的关联、综述的第三部分与第四报道的关联、以及综述的第四部分与第五报道的关联。在步骤2.5过程中，节目确定了在综述中没有呈现第三报道。根据上述过程，在步骤2.6过程中，节目自动产生第三报道的摘要。在该创建以及步骤2.7中将所创建的摘要合并到综述中之后，图3b示出了具有五个摘要部分的文献的划分，其中每一摘要部分与五个报道中的一个相关联。

根据一个改进方式，对于给定的报道，只有所述报道的持续时间大于已确定的持续时间，才进行关联的摘要的创建。的确，新闻节目通常包含在非常短时间内相关的琐碎新闻项目的报道。因此，甚至更短的摘要的创建几乎不具有任何意义，此外，可以考虑这些报道的重要性不足以证明应当在综述中介绍这些报道。在这样的方式下，对于持续时间小于给定值(典型地为15秒)的报道，节目不会创建摘要。根据一个改进方式，将持续时间短的报道一个接着一个地链接和连结。在这种方式下，即使在持续时间更长的报道之间的文献内传播这些报道，也可以通过相同的命令一个接着一个地选择和观看这些报道。所有短报道与屏幕页面相关联，举例而言，该屏幕页面显示诸如“简要地”之类的一般文本。用户通过激活该页面来触发以观看所有短报道。

仅作为示例给出用于选择持续时间短的报道以将其与给定摘要相关联的准则。还可以确定综述中没有提及的报道的主题，并通过将相同主题(例如，体育)的报道与相同综述部分相关联，对相同主题的报道进行重组。该综述部分可以已存在于原始文献中，节目添加用于显示例如主题名称的视频序列。

用户现在可以在文献中导航，并从综述部分容易地移动至关联的报道，反之亦然。用户界面实现了文献内的这种导航。图4示出了先前分段的视频文献内的导航的屏幕显现，其中，已经建立了报道与综述部分之间的导航链接。

图4示出了在观看所记录的视频文献期间屏幕的示例。视频内容出现在背景中，命令横幅(command banner)50出现在屏幕的底部。书本形式的图标51指示所显示的视频内容是从综述中提取出的，摄像机形式的图标指示视频内容是从新闻节目的报道部分中提取出的。横幅包含向用户提出的以下命令图标：

-对应的综述/报道交换       (52)

-回到综述或报道的起始处    (53)

-跳至综述摘录或前一报道    (54)

-跳至综述摘录或下一报道    (55)

-使帧定格                  (56)

-以正常/慢运动速度观看     (57)

-继续/逐个报道的模式       (58)

通过观看综述摘录，第一命令52实现了观看对应的报道。在缺省情况下，所观看的是综述。如果用户没有引入任何命令，则该用户可以迅速获知包括新闻节目的主要报道的主题。

命令58实现了观看报道或综述摘录，以及开始或不开始观看综述。在缺省情况下，这是连续模式：当用户已启用命令52来观看对应的报道时，观看该报道以及后续报道直到新闻节目结束为止。如果用户启用了报道/报道模式，则当通过激活图标52而触发观看的报道已经完成时，继续观看综述以观看综述的下一部分。

通过该界面，用户可以通过从综述部分跳至主题使他感兴趣的对应报道来从一个摘录导航至另一摘录。因此，该方法不需要处理画面以修改画面的显现或根据接收到的画面创建其他画面，在这种方式下，设备所使用的计算量不大。

尽管参照具体示出的实施例描述了本发明，但本发明不限于这些实施例，而仅由所附权利要求所限定。需要注意，本领域技术人员可以进行变更和修改。