对数据流创建摘要的数据摘要系统和方法

摘要

为了进一步开发用于对至少一个数据流部分(12)创建摘要的方法，提出了一种相应的数据摘要系统(100)包括至少一个接收装置(10)，接收至少一个数据流(12)，使得在接收数据流(12)之后特别在内容获取和/或数据流的记录和/或编码和/或解码之后，至少一个摘要是立即可用的，而没有任何后处理操作。对此，提供了至少一个选择装置(30)，用于选择数据流部分的至少一部分(32，32’)，以及至少一个特别是直到获得至少一个预定的摘要量，用于选择部分部分至少一个处理装置(70)，通过对选择的数据流部分的至少一部分(32’)进行汇总，特别是直到获得至少一个预定摘要量为止，来产生至少一个摘要，其中，在接收数据流(12)的期间产生所述摘要。

说明书

技术领域

本发明涉及数据摘要系统，特别涉及用于诸如视频内容或数字照 片集合的多个图像的摘要系统，该系统包括至少一个接收装置，该装 置用于接收包含具有多个数据流部分的多个数据段的至少一个数据 流，特别用于对至少一个视频内容流进行记录和/或编码和/或解码。

本发明还涉及用于对包含具有多个数据流部分的多个数据段的 至少一个数据流创建摘要的方法，特别涉及用于对至少一个视频内容 流创建摘要的方法。

背景技术

硬盘录像机和光盘录像机允许用户存储上百个小时的电视节目。

为了允许用户快速浏览存储的内容，以及决定是否观看完整的节 目，感兴趣的的特征是自动地产生视频预览和视频摘要，例如如下现 有技术文献中所描述摘要

—“Movie-in-a-Minute：Automatically Generated Video Previews”， Mauro Barbieri、Nevenka Dimitrova、和Lalitha Agnihotri，“Advances in Multimedia Information Processing-PCM 2004：5^th Pacific Rim Conference on Multimedia”，日本，东京，2004年11月30日至12月3 日。会议第二部分。“Lecture Note in Computer Science”，Kiyoharu Aizawa、Yuichi Nakamura和Shinichi Satoh，Springer-Verlag Heidelberg， 第3332卷9页至18页；以及

—“Video Abstracting”，Rainer Lienhart、Silvia Pfeiffer和Wolfgang Effelsberg，Communications of the ACM，第40卷，第12号，55页至62 页，1997年12月。

当记录TV节目时，这些传统的系统分析所记录的节目以自动地创 建视频预览或摘要。

设计如上述现有技术文献“Movie-in-a-Minute：Automatically Generated Video Previews”中描述的摘要系统，用于在记录期间或之 后分析视频内容以提取内容特征，接着使用所提取的内容特征以选择 片段并组成摘要。

根据这些传统的摘要系统，片段的选择是基于整个节目之上的特 征分布，因此一旦结束接收(特别是记录和/或编码和/或解码)及内 容分析，作为后处理步骤而执行该片段选择。

在现有技术文献“MPEG-7 Meta-Data Enhanced System for Embedded Systems”，Kohtaro Asai、Hirofumi Nishikawa、Daiki Kudo 和Ajay Divakaran，2004年3月，http://www.merl.com中描述了用于录 像机的另一视频摘要系统。

类似于上文描述的传统的摘要系统，这个视频摘要系统实时地提 取元数据(meta-data)，在结束记录之后基于提取的元数据而实际产生 摘要。

更具体地，上述现有技术文献“MPEG-7 Meta-Data Enhanced System for Embedded Systems”中描述的视频摘要系统所执行的摘要 创建分两个步骤：

—在第一步骤中，找到被称为区段(section)2的语义边界 (semantic boundary)；

—在第二步骤中，使用所谓的基于视频摘要方法的运动对感兴趣 的单独片段进行摘要创建。

在已经存储所有内容和元数据特别是片段边界和运动信息之后， 进行实际的摘要创建。

这导致记录的结束和元数据产生的结束(例如摘要产生的结束) 之间的延迟。所述延迟包括如上述现有技术文献“MPEG-7 Meta-Data Enhanced System for Embedded Systems”中陈述的大约为12秒。

此外，由于仅在压缩域内应用内容特征提取，因此上述现有技术 文献“MPEG-7 Meta-Data Enhanced System for Embedded Systems”中 描述的传统摘要系统是不利的。

由于传统的视频摘要系统基于记录之后或内容获取之后的视频 内容的后处理，因此在记录完成之后视频节目的摘要不是立即可用的。

因为如果在节目记录期间该设备被从电源或数据源拔出，那么直 到那个时刻所记录的内容是可用的但摘要是不可用的，所以已经存储 节目之后需要后处理的录像机不是令人满意的。

在现有技术文献US2003/0061612 A1中描述了在编码期间实时地 产生摘要的系统。然而，这个系统被限制为关键帧的提取。通过一组 关键帧表示该摘要。基本地，如果帧包含足够的“面部色彩(facial color)”，则选择该帧作为关键帧。

更具体地，这个传统的摘要系统仅使用DC图像用于特征提取，因 此可能忽视重要的影片事件。在这个上下文中，DC图像是压缩流中的 所谓I(内部)帧的参考帧。在I帧之间存在大量的P(预测)帧或B(双 向)帧。

两个I帧之间的距离取决于所选的画面组(GOP)结构，但是通常 地，这个值是大致表示半秒钟的12。因此，完整的特征组仅能够从参 考帧中提取。

此外，在上述现有技术文献US2003/0061612 A1中提出的系统不 允许产生具有预定义持续时间的视频摘要。根据这个传统系统，取决 于视频内容的特征，产生预先未知个数的关键帧。

基于全局优化的传统摘要系统的另一个限制是：产生例如一个30 秒的短版本和一个2分钟的较长版本的两个不同持续时间的摘要，这些 传统的摘要系统需要运行至少两次在后处理步骤中执行的优化过程， 一次用于产生例如30秒摘要的具有第一持续时间的摘要，以及另一次 用于产生例如2分钟摘要的具有第二持续时间的摘要。

此外，大量的存储器消耗是传统的视频摘要系统的另一个问题。 在节目的数据流之上选择摘要片段的全部特征分布要求在存储器中保 存所有特征或执行许多交换操作。

发明内容

从如上文描述的不足和缺点出发并考虑讨论的现有技术，本发明 的目的是进一步开发本技术领域中描述的这种数据摘要系统和本技术 领域中描述的这种方法，使得在接收数据流之后至少一个摘要是立即 可用的，特别是在内容获取和/或数据流的记录和/或编码和/或解码之 后是立即可用的，而不需要任何后处理操作。

通过包括权利要求1的特征的数据摘要系统来实现本发明的目 的，同时通过包括权利要求8的特征的方法来实现本发明的目的。从属 权利要求中公开了本发明的有利实施例和有利改进。

本发明主要地基于提供数据摘要系统和方法的思想，该数据摘要 系统和方法用于实时产生至少一个数据流、特别是至少一个视频节目 的至少一个摘要，就是说，在接收特别是获取和/或记录和/或编码和/ 或解码数据流的同时产生摘要。

例如，通过至少一个广播装置可以传送数据流，或在至少一个互 联网连接上可以形成该数据流，以及向诸如至少一个电影的至少一个 电视节目分配该数据流。另外地或可替代地，可以从例如可携式摄像 机等的IEEE1394连接或从USB连接接收数据流。

在一个步骤中，为了能够产生至少两个特别是多个不同量特别是 不同持续时间的摘要，根据本发明的优选实施例，设计该处理装置用 于：对选择的数据流部分的至少一部分进行汇总，直到获得各个预定 的摘要量、特别是各个期望的摘要持续时间为止，从而产生各个摘要。 因此，本发明允许产生具有不同持续时间的多个摘要，而没有明显附 加的计算复杂度。

与现有技术相比，其中数据部分选择或内容特征提取被限制在压 缩域中，根据本发明的优选实施例，摘要是从接收的数据流中选择的 数据流部分的集合。因此，例如视频摘要是从最能表示原始节目的原 始内容中选择的视频片段的集合。

根据本发明的优选实施例，设计接收装置用于记录和/或解码数据 流，特别是用于计算至少一个记录信号和/或编码信号，特别是至少一 个记录统计和/或编码统计，用于各个记录的和/或编码的数据流部分。

为了分析接收的数据流的内容，特别是为了分析已经被记录和/ 或编码的各个视频章节的内容，数据摘要系统有利地包括至少一个内 容分析装置。

所述内容分析装置计算至少一个内容分析信号，特别是至少一个 内容分析特征，用于各个接收的数据流部分，其中取决于各个数据流 部分的各自的记录信号和/或编码信号，有利地计算内容分析信号。

示例性的内容分析信号可以是各个数据流部分的视觉行为，其中 视觉行为例如可以基于至少一个平均亮度，基于与对特定数据流部分 进行编码所需比特数相比较的至少一个平均复杂度，和/或基于数据流 部分的至少一个剪切强度(cut density)。

针对内容分析，根据本发明的优选实施例，例如对于每一个数据 片段，提取像素域中的至少一个亮度值和压缩域中的复杂度。

针对预定个数的数据流部分，例如针对每一个数据流部分，可以 有利地对各个计算的内容分析信号累加或汇总。

对于各个接收的数据流部分，特别是对于各个记录的和/或编码的 视频镜头，通过选择装置计算至少一个第一加权因子，特别是例如至 少一个重要性得分(importance score)的至少一个优先级值。

取决于各个数据流部分的各自的累加的或汇总的内容分析信号， 有利地计算所述第一加权因子。因此，通过其内容分析信号或内容特 征(诸如其视觉行为)，有利地对数据流部分进行加权。

按照数据流部分的方式，和/或按照镜头的方式，即从镜头剪切到 镜头剪切的方式，有利地执行这个第一加权步骤。然而，同样可以针 对数据流部分的各个组来计算第一加权因子，例如通过执行第一加权 步骤合并相邻镜头并将他们看作一个剪辑(clip)。

取决于数据流部分各自的第一加权因子，有利地对其进行选择， 特别是选择最高得分的数据流部分以存储在至少一个临时存储器中， 特别是至少一个随机存取存储器中。

根据本发明的优选实施例，取决于其各自分配的第一加权因子， 可以对选择的数据流部分进行分类，并存储在至少一个临时摘要列表 中。

本发明的优选实施例的另一新颖的方面是使用预先设置的有限 数量的存储器。使用有限的和可控制的数量的存储器来产生摘要，有 利的设计临时存储器用于临时存储预定的或预定义的数量的选择的数 据流部分。

例如，可以设计临时存储器用于存储各个数据片段的12个最高加 权的数据流部分，特别是各个视频章节的12个最高加权的数据流部分。 在至少一个(特别是预定的)选择间隔结束时，特别是每当完成对各 个数据片段的部分的选择之后(例如每当检测到视频章节边界)，有利 地释放临时存储器。

根据本发明的具体细化，设计选择装置来选择在预定选择间隔结 束时存储在临时存储中的数据流部分的一部分，以进行永久存储或传 送或重新编码，特别在至少一个存储器装置或存储器单元中，诸如至 少一个硬盘，以便收集该数据流部分用于摘要。

例如，可以设计选择装置用于在选择间隔结束时，特别当遇到数 据片段边界时，选择存储在临时存储器中存储器的、特别适合反映各 个数据片段的内容的3个数据流部分。

在这个情况下，术语“数据片段边界”指章节边界和/或镜头边界， 假设在原始内容中未指出这样的数据片段边界，则通过根据本发明的 数据摘要系统可以计算这样的数据片段边界，特别是通过内容分析装 置或内容分析组件来计算。

事实上，接收的数据流，特别是记录的视频序列，包括多个数据 流部分，特别是几百个视频剪辑，选择装置的优选实施例的主要任务 是：选择哪些数据流部分存储在存储器单元中以保存用于摘要，以及 哪些数据流部分可以被丢弃。

选择装置有利地是实时摘要装置，保证在完成数据流的接收的同 时和/或之前完成摘要的产生。

为了能够产生摘要，即各个数据片段内的最高加权数据流部分的 汇总，特别是各个视频章节内的最佳视频镜头的集合，根据本发明的 优选实施例，选择的数据流部分的至少一部分被永久存储在存储器单 元中或被发送。

此外，根据优选实施例，连同选择的数据流部分，存储或传送这 些数据流部分的各自分配的第一加权因子和/或各自分配的在临时摘 要列表中的位置和/或各自分配的量(例如各自的比特数和/或各自的 偏移或长度)。

还可能的是，存储器单元和/或至少一个多路复用装置计算分配给 各个选择的数据流部分的至少一个第二加权因子，特别是至少一个第 二优先级值，其中第二加权因子取决于各个选择的数据流部分在临时 摘要列表中的位置。

当呈现和/或重放摘要时，通过收集选择的数据流部分的至少一部 分而产生摘要，特别是取决于各自的第二加权因子。

根据优选实施例，被汇总用于摘要的数据流部分的数量取决于期 望的摘要量。因此，可以在接收数据流的同时对数据流部分创建摘要， 直到获得至少一个预定数量的摘要数据片段和/或至少一个预定摘要 持续时间为止。

因此，计算第一加权因子和/或第二加权因子允许对数据流部分进 行归类，从而仅选择最佳的数据流部分，直到获得用于摘要的特定持 续时间为止。

本发明的主要优点是在完成广播数据流的接收的同时完成摘要 的产生。因此，与传统摘要系统相比较，根据本发明，在接收结束和 摘要产生结束之间没有延迟。因此，即使摘要系统被突然地从电源插 座或从数据源被拔出，也能保证产生摘要。

本发明涉及在至少一个电子系统中使用如上述描述的至少一个 数据摘要系统和/或如上述描述的至少一个方法：

用于在记录和/或编码和/或解码视频内容流期间实时地产生至少 一个视频内容流的至少一个视频摘要，特别用于在视频记录和/或视频 编码和/或视频解码时，实时地产生一分钟电影，其中，

—特别使用有限的和受控的数量的存储器来产生摘要，和/或

—还覆盖无重新编码的情况，例如当记录来自其内容无需重新编 码的数字卫星或陆地(数字视频广播)接收机的数字电视时，和/或

用于产生视频内容流的至少两个摘要，每一个摘要具有不同的 量，特别是不同的持续时间。

在这个上下文中，可以按照如下方式来实施该电子系统

—设计至少一个软件和/或硬件用于记录和/或编码数据流，例如 至少一个录像机、至少一个视频编码器，和/或诸如至少一个家庭媒体 中央个人计算机的至少一个个人计算机，和/或

—至少一个软件和/或硬件设备用于视频压缩和/或广播机器 (machinery)，和/或

—至少一个数字可携式摄像机和/或至少一个相关软件

更具体地，本发明可以应用在消费电子产品中，诸如个人录像机、 家庭媒体中央个人计算机和视频编码器(软件和硬件)。另外，本发明 可以应用在用于视频压缩和广播机器的专业软件/硬件设备中。

在从可携式摄像机下载内容至固定设备时，同样可以将本发明用 于产生家庭视频摘要的数字可携式摄像机。

如上述讨论的，采用有利的方式有若干选择来体现和改进本发明 的教导。为此，参考分别从属于权利要求1和权利要求8的权利要求； 参照作为示例的优选实施例和附图，下面更加详细的解释本发明的其 他改进、特征和优点。

附图说明

图1示意性地示出了根据基于本发明的方法操作的本发明的数据 摘要系统的优选实施例；以及

图2示意性地示出了本发明的方法的优选实施例。

具体实施方式

图1示出了数据摘要系统100(即，视频内容摘要系统，特别是实 时视频摘要系统)的优选实施例的框图，用于对至少一个数据流12(特 别是至少一个视频内容流)的内容创建摘要。

数据流的源，特别是内容源，可以是例如至少一个有线电视调谐 器、至少一个卫星调谐器、至少一个硬盘或光盘驱动器和/或至少一个 互联网流连接。

为了接收视频内容流12，视频摘要系统100包括设计用于接收以 及记录(特别是用于编码)视频内容流12的接收装置10。

接收装置10可以是例如根据运动图像专家组-2标准、运动图像专 家组-4标准，和/或视窗媒体视频而操作的任何多媒体编码器。

接收装置10对接收的视频内容流12进行编码，特别是通过压缩视 频内容流12以节省存储空间。在记录期间，特别是当产生视频内容流 12的编码内容14时，接收装置10例如在画面切片(slice)级上还产生 至少一个低级信号或至少一个编码信号16，特别是至少一个低级信号 统计或至少一个编码统计。

低级信号统计或编码统计16可以是编码期间计算的与视频内容 流12有关的任何统计信息，诸如平均亮度、平均帧差、运动矢量平均、 复杂度、比特率，等等。

接收装置10被设计用于向至少一个可选的多路复用装置50提供 视频内容流12的编码内容14，特别是相应的编码的视频镜头。此外， 接收装置10被设计用于向至少一个内容分析装置20(特别是至少一个 内容分析组件)提供低级信号统计或编码统计16。

内容分析组件20使用低级信号统计或编码统计16以计算至少一 个内容分析信号22，特别是诸如亮度、黑帧(black frame)的存在、 视频镜头剪切、动作量、面部位置和/或章节(chapter)边界的所谓的 低级和/或高级内容分析特征(参考现有技术文献WO 02/093929 A1)。

换言之，在内容分析块20中进行镜头剪切检测和章节边界检测， 特别是当接收的数据流12不包括具有已指出的任何数据流部分的任何 数据片段时，例如当接收的视频内容流不包括具有已指出的任何视频 镜头的任何视频章节时；因此如图1示出，在内容分析组件20中计算视 频章节。

可以按照计算的流部分的方式和/或按照视频镜头的方式(从视频 镜头剪切到视频镜头剪切)来有利地计算低级特征和/或高级特征22。 在计算之后，将低级特征和/或高级内容分析特征22传送至多路复用单 元50和至少一个选择装置30，特别是至少一个实时摘要装置。

实时摘要装置30有利地是分级计算组件，特别是旨在计算至少一 个第一加权因子的分级计算组件，该加权因子特别是至少一个第一优 先值，尤其是取决于相应的内容分析特征22的至少一个重要性得分 (importance score)。

该实时摘要装置30使用内容分析特征22以评估被选择用于视频 内容流12的至少一个摘要的视频镜头。视频镜头的选择和摘要的实时 产生是基于保持针对当前视频章节的至少一个分类列表，即所谓的最 佳N个视频镜头的临时摘要列表。在这个上下文中，N的个数取决于可 用的存储器空间的数量。

例如，实施摘要装置30能够被设计用于选择取决于相应的第一加 权因子的数据流部分或视频镜头32的一部分，并向至少一个临时存储 器40(特别是至少一个随机存取存储器)发送这些选择的视频镜头32。

例如，所述随机存取存储器40被设计用于在临时摘要列表中存储 12个选择的视频镜头32，其中，通过具有较高的第一加权因子的选择 的视频镜头32来替代具有较低第一加权因子的选择的视频镜头32。

在至少一个选择间隔之后，例如，在已经执行视频章节的视频镜 头32的选择之后，释放临时存储器40，选择的视频镜头32’的至少一部 分32，例如三个视频镜头，取决于其各自的第一加权因子而选择为永 久存储。

将至少部分地选择的视频镜头32’发送至多路复用单元50。例如， 依靠运动图像专家组节目或特征和摘要是私有流的传输流中的至少一 个对编码内容14、内容分析特征22和摘要数据32’进行多路复用，并存 储到至少一个存储器单元60中，特别是存储到诸如至少一个硬盘的至 少一个存储器中。

在备选实施例中，编码内容14、内容分析特征22和最终摘要分别 存储在不同的流中。另外，根据运动图像专家组—7标准或任何其它合 适的元数据标准，对内容分析特征22和最终摘要进行编码。

在备选实施例中，使用至少一个广播系统传送产生的流，或者在 至少一个互联网连接上传送产生的流。

至少一个处理装置70，特别是至少一个摘要播放器，被设计为： 选择已选择的数据流部分中至少一部分32’，直到获得至少一个预定的 摘要量为止，从而产生摘要。

摘要播放器70从存储设备60获取摘要数据62，并呈现(特别是在 解码之后)具有用户和/或至少一个应用所需要的持续时间的摘要。

摘要播放器70通过获取针对每个数据片段具有最高优先级的数 据流部分而再现摘要，直到到达期望的持续时间。采用这种方式，不 需要重新分析特征就可能获取具有不同持续时间的多个摘要。

在图2中示出了通过实时摘要装置30执行的逻辑步骤。特别地， 图2示出了在视频记录或编码或解码期间实时产生一分钟电影 (movie-in-a-minute)的流程图。

在开始(＝图2中的附图标记[i])时，开始视频内容流12的记录， 特别是编码。

使用产生的低级信号统计或编码统计16来计算内容分析信号或 内容分析特征22，其中针对各个视频镜头，对各自产生的内容分析特 征22进行累积(＝图2中的附图标记[ii])。

在视频剪切时(＝图2中的附图标记[iii])，计算当前视频镜头的重 要性得分(＝图2中的附图标记[iv])。因此，针对每一个新的视频镜头 而计算第一加权因子，即重要性得分。

重要性得分对视频镜头作为摘要的一部分的适合度进行建模，它 是内容分析特征22(例如动作量、检测到的面部的个数和尺寸)的组 合。

例如，如下现有技术文献中描述了计算重要性得分的方法， “Movie-in-a-Minute：Automatically Generated Video Previews”，Mauro Barbieri、Nevenka Dimitrova、和Lalitha Agnihotri，“Advances in Multimedia Information Processing-PCM 2004：5^th Pacific Rim Conference on Multimedia”日本，东京，2004年11月30日至12月3日。 会议第二部分。“Lecture Note in Computer Science”，Kiyoharu Aizawa、 Yuichi Nakamura和Shinichi Satoh，Springer-Verlag Heidelberg，第3332 卷，9页至18页。

如果当前视频镜头的重要性得分值大于临时摘要列表中当前存 储的视频镜头的重要性得分值，则将当前视频镜头及其重要性得分插 入(＝图2中的附图标记[v])到分类列表中，即插入临时摘要列表。可 以根据至少一个传统的计算机科学方法，创建视频镜头及其重要性得 分，并将其插入分类列表。

在各个选择间隔的结束，特别是在每一次由内容分析组件20检测 到章节边界时(＝图2中的附图标记[vi])，存储在临时摘要列表中的视频 镜头32从临时摘要40中移除，以成为摘要的一部分。因此，周期性地 清除(flush)临时摘要列表(＝图2中附图标记[vii])。

每一个摘要数据32’，即通过多路复用单元50从实时摘要装置30 传送到存储器单元60的视频镜头，都与第二优先级值相关联。该第二 优先级值是该摘要数据在临时摘要列表中的位置。

在任意时刻，用户可以停止记录或拔出摘要系统100的电源电缆 或数据源电缆，而不会影响已经产生的摘要。如果临时摘要列表存储 在易失性存储器40中，则丢失的数据流部分或视频镜头仅为该列表中 存储的数据流部分或视频镜头。

附图标记列表

100 数据摘要系统，特别是视频内容摘要系统

10 接收装置，特别是记录单元和/或编码单元

12 数据流，包括具有多个数据流部分的多个数据片段，特别是包括 具有多个视频章节的多个视频镜头的视频内容流

14 接收装置10的输出信号，特别是记录的和/或编码的接收数据流， 例如从接收装置10发送至多路复用装置50的编码内容

16 记录信号和/或编码信号，特别是从接收装置10发送至内容分析装 置20的记录统计和/或编码统计

20 内容分析装置，特别是内容分析组件

22 内容分析信号，特别是通过内容分析装置20计算的内容分析特征， 例如低级特征和/或高级特征

30 选择装置，特别是实时摘要装置

32 选择装置30所选择的用于临时存储的数据流部分中的一部分，特 别是选择的数据流部分，

32’ 选择装置30所选择的用于永久存储的选择的数据流部分32的一 部分

40 临时存储器，特别是易失性缓冲器或易失性存储器，例如随机存 取存储器，例如存储临时摘要列表

50 多路复用装置，特别是多路复用器

52 多路复用装置50的输出信号，特别是多路复用流

60 存储器单元，例如硬盘

62 存储器单元60的输出，特别是从存储器单元60传送至处理器单元 70进行摘要产生的选择的数据流部分中的一部分

70 处理装置，特别是摘要播放器