事件的特征提取和检测以及视频序列中活动的时间变化

摘要

一种在视频中检测异常事件的方法。从场面相机所获取的视频的每一帧中提取运动矢量。从运动矢量为每一帧确定零运行长度参数。对视频预定时间间隔内的零运行长度参数求和，并确定在当前时间间隔内的零运行长度总和与先前时间间隔内的零运行长度总和之间的距离。然后，如果该距离大于预定的阈值，异常事件就被检测到。

说明书

技术领域

本发明总体上涉及从序列视频帧中提取运动矢量，特别是涉及检测视频中的异常事件。

背景技术

压缩视频格式

用于压缩数字彩色视频信号带宽的基本标准已被运动图像专家组(MPEG)采用。MPEG标准通过仅偶尔产生用于图象全帧的信息来实现高的数据压缩率。全图像帧，即内编码帧(intra-coded frame)，通常是指“I帧”或“固定帧”，并包含与其它任何帧无关的全帧信息。图象差帧，即间编码帧(inter-coded frame)，通常是指“B帧”和“P帧”，或者是“预测的帧”，并在“I帧”之间被编码，仅反映相对于参照帧的图象差别(即残留)。

典型地，视频序列的每一帧被分成更小块的画面元(即像素)数据。对每一块执行离散余弦转换(DCT)函数的转换，把统计上相关的空间域像素转换为在无关的频率域DCT系数。对各个8×8或16×16像素块(称为“宏块”)执行DCT函数转换，以便提供编码信号。

这些DCT系数通常是能量集中的，以致宏块中仅有几个系数包含画面信息的主要部分。例如，如果一个宏块包含一个对象的边缘边界，那么转换之后(即如DCT系数所表示)的块中的能量包括遍及系数矩阵的一个相对大的DC系数和随机分布的AC系数。

另一方面，非边缘宏块通常被表征为相似的大DC系数和几个邻近的AC系数一它们基本上大于与该块相关的其他系数。DCT系数通常接受自适应量化，然后接受用于传送媒体的运行长度(run-length)和可变长度编码。这样，传送数据的宏块通常包含比8×8矩阵更少的代码字。

间编码帧数据的宏块，即编码的P或B帧数据，包括仅代表该宏块中预测的像素与实际像素之间的差值的DCT系数。内编码和间编码帧数据的宏块也包括诸如所应用的量化等级、宏块地址或位置指示器以及宏块种类的信息。后面的信息常常被称为“头部”或“开销”信息。

每一P帧从最后出现的I或P帧中预测。每一B帧从它放置其间的I或P帧预测。该预测编码过程包括产生位移矢量(通常称为“运动矢量”)，这些矢量表明到最匹配于目前正被编码的B或P帧的宏块的I帧宏块的帧位移大小。从正在被编码的P或B帧中的块中，以一个个像素为基础减去I帧中匹配块的像素数据，从而产生残留。经过转换的残留和矢量形成部分的P和B帧的编码数据。

较旧的视频标准(如国际标准化组织MPEG-1和MPEG-2)是主要用于处理视频信号的时间和空间压缩的相对低级的规范。使用这些标准，人们可以在很宽的应用范围内实现高压缩率。较新的视频编码标准(如MPEG-4)，见“Information Technology-Generic coding ofaudio/visual objects，”ISO/IEC FDIS 14496-2(MPEG-4 Visual)，Nov.1998，允许任意形状的对象被编码和解码为分离的视频对象平面(VOP)。这些涌现的标准的目的是实现多媒体应用(如交互式视频)，其中自然材料和合成材料是集成在一起的，并且通路是通用的。例如，某人可能想从一种特殊类型的视频对象中提取特征，或者展示一特殊种类的视频对象。

随着新的数字视频服务(例如互联网上的视频分发)的到来，这样的一种需要在增加，即需要用于辨别视频序列中(在帧或者对象级别上)的信息(如活动辨别)的信号处理技术帧。

特征提取

以前在压缩数据中对于视频索引的特征提取主要强调DC系数提取。在一篇题目为“Rapid Scene Analysis on Compressed Video，(对压缩视频的快速场面分析)”，IEEE Transaction on Circuitand system for video Techology，，vol.5，No.6，1995年12月，第533-544页，Yeo和Liu描述了一种在MPEG-2压缩视频域中检测场面改变的方法。作者也回顾了早期基于一系列完整的非压缩图像数据来检测场面改变时所作的努力，以及其他各种压缩视频处理技术。Yeo和Liu引入了原图像(所谓DC图像)的空间减小版本的使用，以及从压缩视频中提取出来的DC序列，以便于场面分析操作。他们的“DC图像”由像素组成，这些像素是在一块原图像中像素的平均值，而DC序列是DC图像中减少的数目的组合。值得注意的是，基于DC图像提取的技术对I帧有利，因为从I帧提取DC值相对简单。然而，对于其他类型的帧，附加的计算是必要的。

在一篇发表在“Proc.SPIE Conf.on Storage and Retrieval forImage and Video Databases”(1998年1月)的文章中，Won等人描述了一种从压缩的MPEG-2视频提取特征的方法，该方法是通过利用在DC系数上消耗的“位”来定位帧中的边缘。然而，他们的工作仅限于I帧。

Kobla等人描述了一种具有相同处理的方法，它运用Yeo等人的DC图像提取来形成表征视频剪辑的视频轨迹。

Feng等人(IEEE international Conference on ImageProcessing，Vol.II，第821-824页，1996年9月16-19日)通过使用在MPEG-2帧的宏块上分配位来检测突发的场面改变，同时不用提取DC图像。Feng等人的技术是在计算上来说是最简单的技术，因为它不要求超出分析压缩位流所需的大量计算。

名为“Methods of scene change detection and fade detectionfor indexing of video sequences，(场面改变检测方法和视频序列索引消失检测)”的美国专利申请(申请系列号09/231,698，1999年1月14日提交)、“Methods of scene fade detection for indexingof video sequences，视频序列索引的场面消失检测方法”(申请系列号09/231,699，1999年1月14日提交)、“Methods of FeatureExtraction for Video Sequences，(视频序列的特征提取方法)”(申请系列号09/236,838，1999年1月25日提交)描述了在计算上比较简单的技术，这些技术建立在Feng等人和Yeo等人的给出精确而简单的场面改变检测的方法的某些方面上。

在已经使用基于DC图像提取的技术将可疑的场面或对象改变精确地定位在一组连续的帧中之后，将一种适当的基于位分配的技术和/或一种适当的DC残留系数处理技术应用于所定位的场面附近的P和B-帧信息，就可以快速而准确地定位该截点。这种组合的方法可应用于或者MPEG-2帧序列，或者MPEG-4多对象序列。在MPEG-4的情况，有利的情况是使用帧的每一对象中的改变的加权和，同时利用每一对象的面积为加权因子。

名为“Compressed Bit-Stream Segment Identification andDescriptor，压缩位流段标识和描述符”的美国专利申请(申请系列号09/345,452，Divakaran于1999年7月1日提交)描述了一种技术：间编码帧的位移大小决定于与间编码帧有关的压缩位流的数字位。间编码帧包括许多宏块。每一宏块与间编码帧位的各个部分有关，这些帧位表示从该宏块到最匹配的内编码帧的位移。该位移大小是与间编码帧有关的所有宏块的位移大小的平均值。那些小于平均位移大小的宏块的位移大小被设为零。零大小位移宏块的运行长度数目被用于辨别第一间编码帧。

活动

迄今为止所作的工作已集中于运动信息的提取，以及利用运动信息于低级应用(如检测场面变化)。此外还需要提取用于高级应用的特征。例如，需要提取视频序列中表示活动本质和异常事件的特征。视频或动画序列可被认为是慢序列、快步调序列和活动序列等等。

高活动的例子包括如足球比赛中的得分、篮球比赛中的得分和高速的汽车追逐的场面。另一方面，一些如新闻阅读者的镜头、采访场面或者静止镜头的场面可被认为是低活动镜头。静止镜头是在逐个帧中活动改变很小的镜头。视频内容通常跨越从高活动到低活动的全范围。能鉴别涉及观察到的活动的某一视频中的异常事件也将是有用的。异常事件可以是活动的突然增加或减少，或者是活动的其他时间变化，这取决于应用。

发明内容

一种在视频中检测异常事件的方法和系统。从场面相机所获取的视频的每一帧中提取运动矢量。从运动矢量为每一帧确定零运行长度参数。在视频预定时间间隔上对零运行长度参数求和，并确定在当前时间间隔的零运行长度总和与先前时间间隔的零运行长度总和之间的距离。然后，如果该距离大于预定的阈值，异常事件就被检测到。

“零运行长度参数”可分成短、中和长“零运行长度”，并且该“零运行长度参数”关于视频每一画面宽度被归一化，以便“零运行长度参数”表达视频中明显移动对象的数目、尺寸和形状。

从下面对本发明的优选实施例所作的详细描述连同伴随的附图中，本发明将变得更加明了，其中，

图1是根据本发明活动描述符的方块结构图；

图2是从一帧运动矢量大小提取活动描述符的方法的流程图；

图3是视频中一帧稀少活动的结构图；

图4是视频中一帧密集活动的结构图；

图5是检测视频中异常事件的方法的流程图。

具体实施方式

活动描述符

图1示意了一活动描述符100，根据本发明，它用来检测视频102中的异常事件。视频102包括组成“镜头”103的帧序列(f₀，...，f_n)。下面，一个镜头或一段视频表示一组具有某些粘结性的帧，例如，所有取自于透镜开与关之间的帧。本发明分析视频102中空间的、时间的、方向的和强度的信息。

空间信息表达在逐个帧基础上镜头中的帧移动区域的尺寸和数量，空间信息在具有小数量的大移动区域的例如“谈话的头像”的“稀少”镜头与具有许多小移动区域的例如足球比赛的“密集”镜头之间作区分。因而，一个稀少级的活动镜头被说成是包含小数量的大移动区域，而一个密集级活动镜头被说成是包含大数量的小移动区域。

时间信息的分布表达镜头中每一级活动的持续时间。时间信息是时间维度的运动活动强度的延伸。方向信息表达在一组八个相等分开的方向中的移动的主要方向。方向信息可从视频的运动矢量的平均角度(方向)中提取出来。

因此，该活动描述符100组合110视频序列102的活动级别中的强度111、方向112、空间的113以及时间的114属性。

运动矢量大小

活动描述符100的参数源自下面的视频运动矢量的大小。对于对象或帧，“活动矩阵”C_mv被定义为

C_mv＝{B(i，j)}

其中 $>>>(>B>>(>i>,>j>)>>)>>=>>>x>>i>,>j>>2>>+>>y>>i>,>j>>2>\; >,>>>其中(x$_i，j，y_i，j)是与第(i，j)个块B有关的运动矢量。为了在某一MPEG视频中提取活动描述符100，该帧或对象的描述符根据下面的步骤被构造。

活动描述符提取

图2示意了提取活动属性100的一种方法200。在210步骤，内编码块，B(i，j)211被设为零。步骤220决定平均运动矢量大小C_mv^avg221，或者“平均运动复杂度”，对于帧/对象的每一块B：

$>>>C>mv>avg>>=>>1>MN>\underset{}{\overset{}{\underset{}{\overset{}{}}}}$

M为以块的宽度；N为以块的高度。

步骤230决定C_mv^avg中的变量σ²231：

$>{\underset{}{\overset{}{\underset{}{\overset{}{{}^{}}}}}}^{}$

M为以块的宽度；N为以块的高度。

步骤240通过利用所述平均值作为活动矩阵上的阈值决定运动矢量活动矩阵C_mv的“运行长度”参数241如下：

为了下文描述的目的，只讨论零运行长度参数(依据光栅扫描长度)。

我们把零运行长度参数分为三类：短、中和长。零运行长度参数被对于对象/帧宽度规格化。短零运行长度参数被定义为帧宽度的三分之一或更短，中零运行长度参数是大于帧宽度的三分之一并短于帧宽度的三分之二。长零运行长度参数等于或大于帧宽度，即运行长度扩展超过一排中的几个光栅扫描线。关于“零运行长度”的进一步描述，请见美国专利申请09/236,838，“Methods of Feature Extractionof Video，视频的特征提取方法”，由Divakara等人于1999年1月25日提交，在此引入作为参考。

在下面的符号中，我们用参数N_sr作为短零运行长度的数目，中零运行长度的数目和长零运行长度的数目类似地被分别定义为参数N_mr和N_lr。零运行长度参数被量化来获得相对于旋转、转换、反射以及类似的一些不变性。

因此，帧/对象的活动参数100包括：

$>>>C>mv>avg>>,>>\sigma >fr>>,>>N>sr>>,>>N>mr>>,>>N>lr>>.>>>$

零运行长度

如图3和4所示，零运行长度参数241可以表达帧中不同移动对象的数目、尺寸和形状以及它们在这一帧中的分布。在图3和4中，水平线通常表明光栅扫描级。对于具有一个小或稀少数目的大移动区域的帧，如说话的头300，当与长零运行长度302的数目相比时，相对短的零运行长度301的数目是相对高的。注意：只有两个长零运行长度，一个在帧的顶部而一个在帧的尾部。对于一个具有几个小对象400的帧，当与中和长零运行长度402的数目相比时，短零运行长度401的数目是相对小的。

异常事件检测

图5示意了在每一帧中使用零运行长度参数来检测异常事件的方法500。在步骤510，运动矢量从视频的一序列中被提取。步骤520为每一帧决定短、中和长零运行长度的数目。步骤530对每一时间间隔t_n的运行长度参数求和。例如，以每秒三十个帧的速率，每一时间间隔t是一分钟，或1800个帧。

步骤540决定当前时间间隔内运行长度参数的总和与先前时间间隔之间的“距离”。如果该距离大于预定的阈值T，那么某一异常事件已出现544，否则，没有542。在异常事件的情况下，一警报器件550可被启动。

公制的距离是作用于运行长度的某一函数f，即f(S_n，S_n-1)＞T。在简单的例子里，仅短运行长度被考虑到，并且该距离是这些短运行长度和的绝对差值，即|S_n(N_sr)-S_n-1(N_sr)|。依赖于要检测的异常事件的种类，不同的函数可被使用。例如，考虑只有短和长零运行长度的话，距离是平方差。

例如，一种监督应用，其中一个相机在观察一另外的场面(即一空走廊)，可把运行长度之和的任何改变看作是一异常事件，即入侵者的突然闯入。

当在一时间间隔内移动对象的平均数目突然减少时，高速路上的交通监督相机可类似地检测到可能是由于某一场面外的“下游”事故造成的交通堵塞。此处应该注意，异常事件(即“下游”  事故)是被推断出来的，而不是象现有技术的交通监督应用一样被相机直接观测到的。

应该注意的是，本发明可在实时视频中检测异常事件，或者它可以处理事情之后的视频。

尽管本发明是通过优选实施例的例子的方式被描述的，然而能够理解，可以在本发明精髓和范围之内作出的各种其他调整和修改。因此，附加权利要求的目标是覆盖伴随本发明的真正精髓和范围所作的所有这些改变和修改。