使用变化检测和分类的视频场景背景保持

摘要

本发明涉及一种视频处理，其为视频保持了背景模型，在该视频中检测目标，检测该目标是否是固定目标，并将固定目标分类为插入在背景模型中或从背景模型中移走。

说明书

发明领域

本发明总地涉及视频处理领域，更具体地涉及分割视频处理领域。特别地，本发明涉及在分割视频中背景模型的保持以及对背景模型变化的分类。

背景技术

许多视频处理应用都需要视频对象分割(即，从视频序列所显示的静态背景中适当地移动对象的分化)。这样的应用包括，视频拼接，基于对象的视频压缩，基于对象的视频编辑，以及自动视频监测。许多视频对象的分割算法都使用视频场景背景模型(可以简称为“背景模型”)来作为辅助。其总的构想是，视频序列的每一帧都可以被记录到背景模型并可以一个像素一个像素地压缩成背景模型。显示出充分差异的像素认为是前景或移动像素。但导致像素水平变化的因素很广泛，例如，不稳定的背景(如，有波纹的水面，吹落的树叶，等)；光影现象(如，浮云掠日，阴影，等)；以及摄影现象(例如，自动增益控制(AGC)，自动虹膜，自动对焦，等)。

使用视频对象分割(或其中的变量)，通常能检测到显示独立运动的对象或部分对象。但场景中的对象长时间固定时会出现两个基本的问题，而这两种现象中的任何一种都能使任意的应用降低视频对象分割的性能。

首先，如果对象长时间保持固定，则该对象就“永久地”被检测为前景对象。但，就所有的实际目的而言，该对象已变为了背景的一部分。在图1A中，显示了当车11驶入视频序列中并停在其中时出现的这种问题。该车连续地作为前景对象12而被监视但实际上它已经成了背景的一部分(即，“永久”的分割)。

第二，如果对象开始时静止并作为背景模型的一部分(例如，被“嵌入”burned in)而后开始移动，则该对象就会暴露还未建模的背景模型区域中(例如，静态背景)。所暴露的背景模型区域会被错误地检测为前景对象。在图1B中，显示了停泊的车13驶出了视频序列时出现的这种问题。该车13在背景模型中露出了一个分割后所形成的车形的“洞”14。

如在1999年12月27日提交的申请序列号为N0.09/472,162，标题为“Method，Apparatus，and System for Compressing/Decompressing Digital Video Data(用于对数字视频数据压缩/解压缩的方法，装置，和系统)”的美国专利申请以及2000年7月3日提交的申请序列号为No.09/609,919，标题为“Scene Model Generation fromVideo for Use in Video Processing(在视频处理中所使用的从视频所产生的场景模型)”的美国专利申请中所讨论的(其共同受让，引用在此作为参考)，当构建图像镶嵌图，视频镶嵌，或视频场景模型时，常常需要剔除源图像中那些表示“真正”背景的部分。例如，在视频序列(或任意其他的图像集)中在整个视频序列中都在停泊的车辆就可以认为是真正的背景。但，在视频序列中刚开始是停止的而后来在视频序列的某一点驶走的车就应当认为它“不是背景”。

如果不仔细确定真正的背景区域，则就会产生假象。如果目标是产生镶嵌或背景图像，则前景对象能“嵌入”到看起来不自然的成像所产生的背景模型中。如果目标是构建作为视频分割基础的场景模型，则结果会是拙劣的分割，在其中会检测不到部分前景对象，而一些暴露的背景区域会被检测为前景对象。

图2图示了现有技术中前景对象使背景模型讹误的实例。视频序列描述了一个打高尔夫球的人正准备发球。源自视频序列的源图像的子集21描述了该视频序列的一部分。源图像用于产生背景模型22和前景对象23。但，背景模型22包含了已嵌入到背景模型22之中的前景对象23(例如，在左边的打高尔夫球的人，和在右边的打高尔夫球的人的衬衫部分)，而且前景对象23并没有被完全地分割(例如，打高尔夫球的人残缺的部分，和高尔夫俱乐部的部分)。

发明内容

本发明提出了用于保持视频序列的背景模型变化的检测和分类。而且，本发明保持了视频序列的背景模型并对背景模型的变化进行了分类。

本发明包括用于处理视频的方法，其包括步骤：保持视频的背景模型；检测在视频中的目标；检测该目标是否是固定的目标；并将固定的目标分类为插入在背景模型中或从背景模型中移走。

本发明还包括用于处理视频的计算机系统，该系统包括：视频的背景模型；基于背景模型的像素分类，产生基于视频和背景模型的变化掩码和成像；背景模型更新，基于变化掩码和成像而更新背景模型；基于运动的像素分类，产生基于视频的运动掩码；斑块产生，产生基于变化掩码和运动掩码的至少一个斑块；斑块跟踪，产生基于斑块的至少一个斑块；固定目标检测和分类，产生基于每个目标的固定目标描述，该固定目标描述用来确定每个目标是插入背景模型还是从背景模型中移走；背景模型局部更新，基于固定目标描述更新背景模型。

本发明的系统包括了包含具有按照本发明而操作计算机的软件的计算机可读介质的计算机系统。

本发明的设备包括了包含具有按照本发明而操作计算机的软件的计算机可读介质的计算机。

制造本发明的主题包括了具有按照本发明而操作计算机的软件的计算机可读介质。

本发明的其他特性和优点，以及本发明的各种实施例的结构和操作将在以下参考附图详细描述。

定义

“计算机”是指任何能够接受结构化输入，根据规定的规则处理结构化输入，并将处理结果作为输出的设备。这样的计算机的实例如：计算机；通用计算机；超级计算机；主机；超小型计算机；小型计算机；工作站；微型计算机；服务器；交互式电视；网络设备；具有互连网接入的通信设备；计算机和交互式电视的结合；以及模拟计算机和/或软件的特定应用的硬件。计算机可以是固定的或便携式的。计算机可以具有一个或多个并行或非并行的处理器。计算机也可以指两个或多个通过网络连接的用于在计算机之间发送和接收信息的计算机。这样的计算机的实例包括通过由网络链接的计算机来处理信息的分布式计算机系统。

“计算机可读介质”是指任何用来存储计算机可以访问的数据的存储设备。计算机可读介质的实例如：磁盘；软盘；诸如CD-ROM和DVD的光盘；磁带；存储芯片；以及诸如在发送和接收电子邮件或在接入网络中所使用的可以加载计算机可读电子数据的载波。

“软件”是指所规定的操作计算机的规则。软件的实例如：软件；代码段；指令；计算机程序；以及可编程的逻辑。

“计算机系统”是指具有计算机的系统，其中计算机包括了提供操作计算机的软件的计算机可读介质。

“网络”是指通过通信设备连接的多个计算机和关联设备。网络包括了诸如有线的永久性连接以及诸如通过电话，无线，或其他通信链路等连接的暂时性连接。网络的实例如：互联网，例如因特网；企业内部互联网；局域网(LAN)；广域网(WAN)；以及例如互联网和企业内部互联网的网络组合。

“视频”是指以模拟和/或数字形式表示的运动画面。视频的实例如：电视，电影，从照相机或其他捕获装置而来的图像序列，和计算机生成的图像序列。这些都能通过例如实况传送，存储设备，基于IEEE1394的接口，视频数字转换器，计算机图形引擎，或网络连接而获取。

“视频处理”是指任何视频的操作，例如压缩和编辑。

“帧”是指在视频中特定的图像或其他离散的单元。

附图说明

本发明前述的以及其他特性和优点将从以下结合附图而对本发明的优选实施例所作的详细描述中变得更为清楚。在相应的参考数字最左边的阿拉伯数字表示在附图中第一次出现的元素。

图1A和1B图示了现有技术中使用视频对象分割来显示独立移动的对象或对象的一部分所出现的问题；

图2图示了现有技术中前景对象使背景模型讹误的实例；

图3图示了本发明的第一实施例的流程图；

图4图示了用于检测前景像素的像素统计背景建模；

图5图示了用来处理光线变化的像素统计背景建模；

图6图示了用于移动检测的使用三帧的区分；

图7图示了检测移动像素和变化了的像素；

图8图示了固定目标检测和分类的流程图；

图9图示了背景变化检测；

图10图示了前景对象的插入；

图11图示了背景部分的移走；

图12图示了用于检测强边缘的流程；

图13图示了用于检测强边缘的另一个流程；

图14图示了检测边缘强度的流程；

图15图示了确定边缘强度；

图16图示了本发明的第二实施例的流程。

具体实施方式

以下详细讨论本发明的示例性实施例。虽然讨论的是特定的示例性实施例，但可以理解的是，其仅仅起到示意性的目的。本领域的技术人员在不背离本发明的精神和范围的情况下也能使用其他的组件和结构。这里所讨论的实施例和实例也不是限制性的。

本发明为保持视频序列的背景模型而提供了变化的检测和分类。本发明能用于实时的视频处理应用(例如，实时的基于对象的压缩，或视频监视)其中视频序列可以不是任何时候都能完全得到的，并且背景模型递增的变化可能需要保持其有效性。本发明还能用于非实时的视频处理应用。视频序列是指视频的一部分或全部。

根据本发明，首先，检测在背景模型中的局部变化并用其来保持背景模型，其次，对这种检测到的变化分类并做进一步处理。所检测到的变化被分成两大主类：第一，在场景中放置并且长时间保持静止的对象(即，插入)；第二，从场景中移走并且暴露出了背景模型(例如，静态的背景)的一部分的对象(即，移走)。这两大类的相同方面是在背景模型中存在永久性的局部变化。

将变化分成这两类在例如视频监视应用等的大范围应用中是很重要的。用于视频监视应用的第一类(即，插入)的实例如：监视不能停车的区域(例如，如果车在不能停车的区域中待的时间超过了特定的时间则就发出警报)；检测在机场中无人照顾的袋子；并检测在诸如军事设施和发电厂等敏感区域附近未被注意的物体。用于视频监视应用的第二类(即，移走)的实例如：检测高价值物品的移动，例如博物馆的艺术品，硬件设备的昂贵部分，或停了很久的车。

图3图示了本发明第一实施例在通用视频处理系统的一个可能的处理流程图。视频序列首先输入到系统中，接着产生并保持背景模型31，32，和33。输入的视频通过两种独立的低级像素分类技术进行处理：基于背景模型的像素分类31和基于运动的像素分类34。这两种技术都产生表示所感兴趣的像素的像素掩码(每帧)。基于背景模型的像素分类31产生变化掩码和成像，基于运动的像素分类34产生运动掩码。变化掩码和运动掩码都提供给斑块产生35，其将掩码转换成在每帧中表示每个可见的前景对象轮廓的一个或多个独立的斑块组。总的来说，如果看不见前景对象，则就不产生斑块。斑块使用斑块跟踪36来记录追踪，其将一帧中的斑块与其他帧中的斑块连接以产生表示场景中的每个对象的“目标”。目标是随时间推移的视频对象的时空上的描述。目标通过固定目标的检测和分类37而分析，其确定目标中的任何一个是否表示背景模型33的“永久”变化以及变化是表示“插入”(例如，对象进入场景)还是“移走”(例如，对象离开并暴露了背景模型的一部分)。最后，任何检测到的固定目标都能通过背景模型局部更新38而插入背景模型33。

产生和保持背景模型包括基于背景模型的像素分类31，背景模型更新32，以及背景模型33。基于背景模型的路径31，32，和33的一个选项采用了动态统计像素建模。动态统计像素建模保持了图像背景的精确表示并将背景像素从前景像素中区分开来。在示例性的实施例中，动态统计像素建模通过共同受让的2001年3月23日申请的题目为“Video Segmentation Using Statistical Pixel Modeling(使用统计像素建模的视频分割)”美国专利申请No.09/815,385所公开的技术而实现，其引入在此作为参考。该示例性的技术的总的构想是，在几个帧中保留所有像素的历史，包括像素色彩(或亮度)值及其统计值。静态的，未变化的像素作为背景。如果像素的统计变化显著，则该像素就为前景。如果像素转换成了它的原始状态，则能转换的像素就认为是背景像素。这种技术能降低传感器噪声并能自动地解决由于光线条件和照相机的自动增益控制(AGC)在背景中的缓慢变化。除了动态统计像素建模，基于背景模型的像素分类能使用静态背景模型、高斯背景模型混合或高斯模型的动态适应性混合而实现。

背景模型33为在任意给定时间上的视频中所描述的静态场景的内部表示。每当分析一个新帧时，背景模型33都能通过背景模型更新32而递增地更新。除了递增性的更新外，背景模型33在检测到背景变化时也需要更新。例如，表示新的局部静态背景区域的色彩信息应当被“嵌入”到背景模型33中，这由背景模型局部更新38来完成。

图4和5图示了使用像素建模来产生并保持背景模型。在图4中，图示了用于检测前景像素的像素统计背景建模。帧41是源自一个人从一排椅子前走过并扔下手提箱的视频的当前帧。在帧41中，那人已经扔掉了手提箱并继续向前走。如所绘的视频中像素的亮度和时间的曲线图42所示，每个像素43的亮度平均值和标准偏差用来建模背景44。背景模型33包含了每个像素的平均值和标准偏差。像素分类法则31将当前帧41的每个像素与背景模型33的相应像素进行比较。当物体移动“通过”当前帧41中的像素时，它的值与在背景模型33中所捕获的统计值不一致，从而认为其是前景45。前景像素的变化掩码通过基于背景模型的分类31而创建并发送给斑块产生35。这个变化掩码和当前帧41都发送给背景模型更新32以便更新包括背景模型33的像素统计。

在图5中，图示了用于处理光线变化的像素统计背景建模。帧51图示了在视频中光线的缓慢变化。如所绘制的视频像素的亮度与时间曲线图52所示，每个像素53的亮度平均值和标准偏差都被用来建模背景。由于每个像素的平均值和标准偏差仅仅是从最近的帧计算所得的，因此背景模型33适于遵从缓慢变化的像素亮度54。

基于运动的像素分类34确定像素是否在实际上经历一帧帧的独立运动。基于运动的像素分类34的一种可能的例子是三帧区分，如在共同受让的2000年10月24日提交的美国专利申请No.09/694,712中所描述的，其引用在此作为参考。运动像素分类34的其他可能的例子还包括两帧区分和光流。

图6图示了在基于运动的像素分类34中用于运动检测的三帧区分。帧61，62和63分别为源于一个人在一排椅子前走过并扔掉手提箱的视频的过去、当前和将来帧。差分掩码64通过比较帧61和62得到，而差分掩码65通过比较帧62和63而得到。运动掩码66通过使用逻辑与(AND)比较差分掩码64和65而得到。运动掩码66发送给斑块产生35。

从基于背景模型的像素分类31和基于运动的像素分类34来的输出不会同时检测一个新的背景对象。例如，新近停泊的车辆根据基于背景模型的分类31而作为前景对象出现。但，由于停泊的车辆并未显示出任何实际的独立运动，因此基于运动的分类34不会检测任何的前景对象。

在变化像素和移动像素之间的这种差异的另一个例子如图7所示。帧71为源自一个人走过一排椅子并扔掉手提箱的视频的一帧。由基于运动的像素分类34而产生的运动掩码72，只检测人而不检测手提箱。由基于背景模型的分类31所产生的变化掩码73则既检测人又检测手提箱。在该例子中，新近插入的前景对象(即，手提箱)由基于背景模型的像素分类31而不是基于运动的像素分类34检测。

斑块产生35和斑块跟踪36将每帧像素运动掩码和变化掩码集成到目标(视频对象的时空描述)中。对于斑块产生35来说，有很多现有的技术来将像素聚集成斑块，例如：如在D.Ballard和C.Brown的，“Computer Vision”，Prentice-Hall，1982年5月所公开的连接组件，现将其引用在此作为参考；以及如在T.E.Boult，R.J.Micheals，X.Gao，P.Lewis，C.Power，W.Yim，和A.Erkan的“Frame-RateOmnidirectional Surveillance and Tracking of Camouflaged and Occluded Targets”，关于视频监视的IEEE会议的会议论文集，1999年6月所提出的准连接组件，现将其引用在此作为参考。对于斑块跟踪36来说，也有很多现有技术可以随时间而跟踪斑块以形成目标。示例性的跟踪技术如以下所讨论的，其也全部引用在此作为参考：2000年10月24日申请的标题为“Interactive Video Manipulation”的共同受让的美国专利申请No.09/694,712；Wren，C.R.等的，“Pfinder：Real-TimeTracking of Human Body”，IEEE Trans.On Pattern Matching and MachineIntelligence，Vol.19，pp.780-784，1997；Grimson，W.E.L.等的“Using Adaptive Trackingto Classify and Monitor Activities in a Site”，CVPR，pp.22-29，1998年6月；和Olson，T.J.and Brill，F.Z.的“Moving Object Detection and Event Recognition Algorithmfor Smart Cameras”，IUW，pp.159-175，1997年5月。

固定目标检测和分类17分析由斑块跟踪36所产生的目标以确定每个目标是否是固定的。如果目标表示在背景模型33中的局部变化，则就能确定该目标是固定的。如果视频对象已经停止了移动(即，插入)或先前固定的视频对象已经暴露出了作为目标出现的静态背景的一部分(即，移走)，则目标就能表示在背景模型33中的变化。

一旦检测到了固定的目标，则该信息就反馈到背景模型局部更新38以更新背景模型33。根据该反馈，背景模型33就能保持涉及构成静态背景和合法的前景行为的日期。

固定目标检测和分类37确定目标是否固定，如果是，则它是否应该加上插入，移走或未知的标签，如果不可能确定差别，则是否加上不知道的标签。在区分插入和移走时，在用于插入和移走的时标之间的关系是很重要的。插入可以比移走涉及更多的不同时标，而这些时标也可以是应用依赖的。例如，应用可能需要对象在被认为是插入之前在左边的适当位置待很长时间而在被认为是移走之前待很短的时间。如具体的例子，在机场的路边停了大约5分钟的车辆可以不考虑并可以认为不是插入，但在机场的路边停大约十五分钟的车辆就应当被考虑并认为是一个插入。而且，对同一辆车，只要它从路旁移开，就可以认为是移走。在这个例子中，插入的时标要比移走的时标长。在另一种应用中，插入和移走的相对时标可以与上述例子中的相反以使移走的时标比插入的时标长。而且，插入和移走的时标都能由用户来配置。

图8图示了用于固定目标检测和分类37的流程图。用于执行固定目标检测和分类37的伪码如下：

if(target is POTENTIALLY_STATIONARY)

            if(insertion_time_threshold＜removal_time_threshold)

            1^st_time_threshold←insertion_time_threshold

            1^st_test←insertion_test

            1^st_label←INSERTION

            2^nd_time_threshold←removal_time_threshold

            2^nd_test←removal_test

            2^nd_label←REMOVAL

        else

            2^nd_time_threshold←insertion_time_threshold

            2^nd_test←insertion_test

            2^nd_label←INSERTION

            1^st_time_threshold←removal_time_threshold

            1^st_test←removal_test

            1^st_label←REMOVAL

        end

            if(target_age＞1^st_time_threshold)

              if(1^st_test is true for target)

                target_label←1^st_label

           else if(target_age＞2^nd_time_threshold)

             if(2^nd_test is true for target)

                target_label←2^nd_label

        else

                  target_label←UNKNOWN

              end

           end

        end

    end

在模块81中，检测每个由斑块产生35提供的目标以确定该目标是否可能是固定的。该模块相应于上述伪码中的第一个“if”条件(即，if(target isPOTENTIALLY_STATIONARY))。如果该目标不是固定的，则流程转到模块82并结束。

确定目标是否可能是固定的示例性的技术使用了目标的各种时空属性和特征。如果目标实际上在很长的时间中并没有改变其形状和大小，则该目标就可能是固定的目标。而且，如果目标与背景呈现出了很大的变化(如变化检测31，32，33所检测的)，但只是非常小的独立运动(如运动检测34所检测的)，那么该目标几乎可以确认为固定目标。

可能的固定目标的两个例子如图9所示。图像91是源自一个人走过一排椅子并扔掉手提箱的视频的当前帧，而图像94是源自一个人从屋子中移走艺术品的视频的当前帧。运动掩码92和95由基于运动的像素分类34产生，并显示“移动”像素的像素掩码(即，显示出移动的像素)。在帧91中，运动掩码92检测该人但未检测出手提箱，而运动掩码95检测到艺术品与人一起走，但没有检测出墙上的缺失。变化掩码93和96由基于背景模型的像素分类31产生并显示出了“变化”像素的像素掩码(即，与背景模型33不同的像素)。变化掩码93检测人和手提箱，而变化掩码96检测艺术品与人一起走动并从墙上缺失。如在变化掩码93和96上的覆盖的正方形所示，存在与背景模型33明显变化的区域，但并未呈现出任何独立的运动。在变化掩码93中，手提箱的插入并未显现出任何独立的运动，并且在变化掩码96中，将艺术品从墙上移走也并未显示出任何独立的运动。这些区域都由固定目标检测和分类37确定为可能的固定目标。

在本发明确定固定目标的一个实施例中，确定示例性的可以计量的目标属性。例如，用μ_ΔC和σ_ΔC表示目标的重心轨迹的统计属性。具体地，μ_ΔC表示在连续帧之间重心位置(以像素计)差异的平均数(按时间)，而σ_ΔC表示在连续帧之间重心位置(以像素计)差异的标准偏差(按时间)。总的来说，μ_ΔC和σ_ΔC表示固定目标的重心轨迹的统计属性。

而且，μ_R和σ_R表示目标的像素区域的统计属性。具体地，μ_R表示在连续帧之间的目标(以像素计)区域比率的平均值(按当前时期的时间)，而σ_R表示在连续帧之间的目标(以像素计)的区域比率的标准偏移(按当前时期的时间)。这四个示例性的目标属性(即，μ_ΔC，σ_ΔC，μ_R和σ_R)捕获目标的一般性运动和大小变化。

此外，μ_M和σ_M表示固定目标的移动像素的统计属性。具体地，μ_M表示“移动”像素数与目标区域(按像素计)比率的平均数(按当前时期的时间)，而σ_M表示“移动”像素数与目标区域(按像素计)比率的标准偏差(按当前时期的时间)。这两个示例性的目标属性(即，μ_M和σ_M)捕获显示出独立运动的目标范围，正如以上所讨论的。

使用这六个示例性的目标属性，一种可能的技术基于以下的伪码来确定目标是否可能是固定的：

If(μ_ΔC＜THRESHOLD1 && σ_ΔC＜THRESHOLD2 && μ_R＜THRESHOLD3 && σ_R＜THRESHOLD4 && μ_M＜THRESHOLD5 && σ_M＜THRESHOLD6)

target←potentially_stationaryend

在伪码中，六个阀值(即，THRESHOLD1，THRESHOLD2，THRESHOLD3，THRESHOLD4，THRESHOLD5和THRESHOLD6)用来执行与示例性的目标属性的阀值比较。这六个阀值能作为用户参数而预设和/或任意设定。

虽然四个示例性的目标属性(即，μ_ΔC，σ_ΔC，μ_R和σ_R)如所讨论的表示随时间的目标的一般性运动和大小变化，而对本领域的普通技术人员来说，使用其他的属性也是显然的。

虽然两个示例性的目标属性(即，μ_M和σ_M)如所讨论的表示所呈现的独立运动，而对本领域的普通技术人员来说，使用其他的属性也是显然的。

虽然讨论了以上的六个统计属性(即，μ_ΔC，σ_ΔC，μ_R，σ_R，μ_M和σ_M)，但对本领域的普通技术人员来说使用这些统计属性的组合，或其他的统计属性，和/或其他的属性是显然的。

在模块83中，确定在插入的阀值和移走的阀值之间的关系。该模块相应于在上述伪码中的第二个“if”条件(即，if(insertion_time_threshold＜removal_time_threshold))。用于对所检测的目标分类的伪码取决于在插入时间阀值和移走时间阀值之间的关系。该关系决定了两个检测，即插入检测或移走检测中的哪个首先执行。插入时间阀值和移走时间阀值是基于为插入和移走所设定的时标的点，如以上所讨论的。在伪码中，插入时间阀值和移走时间阀值均与目标时长进行比较。

在模块84中，提供了插入检测和/或移走检测。，如果应用这些检测确定了目标是插入，则流程转到模块85，并将目标分类为插入。如果应用这些检测确定目标是移走，则流程转到模块86，并将目标分类为移走。如果应用这些检测不能确定目标是插入还是移走，则流程转到模块87，并且将目标分类为未知。模块84-86相应于在上述伪码中的第三个“if”条件(即，if(target_age＞1^st_time_threshold))。一旦通过插入检测和/或移走检测而认为可能的固定目标是固定的，则将对它的描述发送给背景模型局部更新38，其在可能的固定目标的处修改背景模型33。该处理涉及重置表示可能的固定目标的像素的背景模型统计(平均值和变量)。表示固定目标的平均值和变量的值被修改为表示从表示可能的固定目标的更近的帧来的像素的平均值和变量。

图10和11图示了插入检测和移走检测。本发明示例性分类技术所用的理论是插入的特征在于，在当前图像中在其外围显示强边缘而在背景模型中的相同区域的外围没有显示强边缘的区域。相反地，移走的特征在于，在背景模型中在其外围显示强边缘而在当前图像中在其外围没有显示强边缘的区域。

图10图示了对插入的分类。在该例子中的视频为一个人在一排椅子前走过并扔掉手提箱。图像101显示了背景模型的图像，而背景边缘图像102则显示了使用Sobel边缘检测器所确定的图像101相应的边缘。图像103显示了当前帧的图像，而当前帧的边缘图像104则显示了使用Sobel边缘检测器所确定的图像103相应的边缘。正如所看见的，在当前帧中的手提箱显示出了非常强的边缘(即，当前帧的边缘图像104)，而在背景模型(即，背景的边缘图像102)中则没有。变化掩码105显示了检测到的变化像素，其包括了固定的对象(即，手提箱)。图像106是在变化掩码105中的手提箱区域的特写，而图像107则是在图像106中的手提箱区域外围部分的特写。图像108和109分别显示了相应于用于背景边缘图像102和当前帧边缘图像104的图像107部分的边缘。正如所看见的，在用于当前帧的图像109中的边缘强度要大于在用于背景模型的图像108中的边缘强度。因此，目标(即，手提箱)分类为插入。

图11显示了对移走的分类。在该例子中的视频为一个人从房间中移走艺术品。图像111显示了背景模型的图像，而背景边缘图像112则显示了使用Sobel边缘检测器所确定图像111相应的边缘。图像113显示了当前帧的图像，而当前帧边缘图像114显示了使用Sobel边缘检测器所确定图像113相应的边缘。正如所看见的，艺术品在背景模型(即，背景模型边缘图像112)中显示出了很强的边缘，而在当前帧(即，当前帧图像114)中则没有。变化掩码115显示了检测到的包括了固定目标(即，艺术品)的变化像素。图像116是在变化掩码115中的艺术品区域的特写，而图像117是在图像116中的艺术品区域外围部分的特写。图像118和119分别显示了相应于用于背景边缘图像112和当前帧边缘图像114的图像117部分的边缘。正如所看见的，在用于背景模型的图像118中的边缘强度大于在用于当前帧的图像119中的边缘强度。因此，目标(即，艺术品)分类为移走。

图12和13显示了用于图8中的模块84-87的两个实例。图12显示了插入时间阀值比移走时间阀值要短的情况的实例，而图13显示了插入时间阀值不少于移走时间阀值相应的其他情况。

在图12中，对于模块1201，背景的边缘强度E_B沿着可能固定的目标(即，检测到的变化)的边界而确定。

在模块1202中，当前帧的边缘强度E_F沿着固定目标的边界而确定。

在模块1203中，确定在背景的边缘强度E_B和当前帧的边缘强度E_F之间的差别(即，ΔE＝E_B-E_F)。

在模块1204中，将目标的时长与插入时间阀值进行比较。如果目标的时长比插入阀值要大，则流程转到模块1205。否则，流程转到模块1211并结束。

在模块1205中，将差别ΔE与插入阀值TH_I进行比较。此处所用的公式为，如果ΔE＜TH_I(TH_I＜0)，则固定目标为插入，并且流程转到模块1206。否则，流程转到模块1207。

在模块1206中，将固定的目标被分类为插入。

在模块1207中，将目标的时长与移走时间阀值进行比较。如果目标的时长比移走时间阀值要大，则流程转到模块1208。否则，流程转到模块1211并结束。

在模块1208中，将差别ΔE与移走阀值TH_R进行比较。这里所用的公式为，如果ΔE＞TH_R，则固定目标为移走，并且流程转到模块1209。否则，流程转到模块1210。

在模块1209中，将固定的目标被分类为移走。

在模块1210中，固定目标不能被分成插入或移走，而应当分为未知。

在模块1206，1208，和1210后，固定目标的描述被发送到背景模型局部更新38，其修改背景模型33以修正由检测的固定目标所产生的变化。即便固定目标不能被分类为插入或移走(模块1210)，背景模型也依然更新。

为了增加强壮性(robustness)，在边缘强度E_B和E_F能够在模块1201和1202中根据连续帧和平均时间而确定。

图13除了用于模块1204-1206和模块1207-1209的流程顺序发生变化外，其余均与图12相同。

图14图示了用于确定模块1201和1202的边缘强度E_B和E_F的示例性技术的流程。但，对本领域的普通技术人员来说也可以使用其他可以得到的技术。图14所讨论的内容涉及到了图15，图15图示了根据边缘强度所确定的示例性的固定目标。根据图14所示的示例性技术，可以调节在检测到的变化中的一些不确定因素，并且可以忽略在对象上的孔和细小缝隙。

在模块141中，选择图像的色带。例如，在YCrCb图像中选择Y色带。除了Y色带外，也能选择其他的色带。同时，作为选择，也可以选定多个色带。此外，本发明也提供了其他类型的图像，例如RGB或CMYK图像。

在模块142中，选择经过目标的外围像素P_p和重心P_c的一条直线。在图15中，目标151的重心P_c由一个星形来表示，而示例性的外围像素152，153和154由沿着目标151的重心的圆圈来表示。在图15中确定了三个示例性的外围像素，对每个外围像素而言，都通过外围像素P_p和重心P_c来选择一条直线。

在模块143中，在直线上的两个像素P₁和P₂从与外围像素相等的+/-距离选取。在图15中，每条线上的两个像素用黑圈来表示。

在模块144中，如果两边的像素都在目标之内或之外，则流程转到模块145。否则，如果一边的像素在目标之内而另一边的像素在目标之外，则流程转到模块146。在图15中，外围像素152和153都具有在目标151之内的两边的像素，而外围像素154具有一边在目标之内而另一边在目标之外的像素。

在模块145中，如果两边的像素都在目标之内或之外，则忽略该外围像素，流程转到模块147。在图15中，忽略外围像素152和153。

在模块146中，具有一边在目标内部而另一边在目标外部的像素的外围像素的反差C_p基于两边的像素的I_p1和I_p2的亮度而确定，即：C_p＝|I_p1-I_p2|。

在模块147中，如果所有的外围像素都已检查过了，则流程转到模块148。否则，流程转到模块142以继续检查外围像素。

在模块148中，平均反差通过在模块146中所确定的所有外围像素的反差C_p而确定。这个平均的反差能分别用作在模块1201和1202中的边缘强度E_B和E_F。

在以上对图15的讨论中，同时针对三个示例性的外围像素151，152和153。但，在根据图14而对外围像素的检测中，每个外围像素均独立地检测直到根据从模块147到模块142的循环，所有的外围像素都已检测过了。

而且，根据图14的示例性技术，可以忽略在图15中的目标151的孔以及细小缝隙，从而增强了技术的强壮性。

在根据本发明的另一个实施例中，还监视检测的目标以确定新近检测的目标是否已经被固定目标的检测和分类37作为在背景模型中的变化而检测过了。例如，在监视程序中，感兴趣的话可以在目标进入场景并停止移动(例如，停车)时检测并随后监视该目标(或目标停止移动的场景区域)以确定目标是否以及何时再次移动(例如，所停的车辆离开)。

图16图示了用于本发明的第二实施例的流程图。图16除了加入固定目标监视器161外，与图3相同。固定目标监视器161接收从固定目标的检测和分类37来的固定目标描述并将目标的再次恢复活动提供给斑块跟踪36。如果固定目标被分类为插入，则固定目标监视器161记录下目标(例如，时间，大小，颜色，和位置)并监视该目标任何进一步的活动。在这点上，目标被系统其余部分“忘记”并集成到背景模型33中，并有效地进入睡眠。此后的任何时候，如果固定目标被检测为移走并通过在以前插入的临近中的固定目标的检测和分类37而报告，则固定目标监视器161根据睡眠的固定目标而记录下该移走并通知斑块跟踪36以重新激活该目标。

本发明的实施例能够用计算机系统来执行。图17显示了一个示例性的计算机系统171，其包括计算机172和计算机可读介质173。参照图3和16，模块31-38和161都能通过驻留在计算机系统171中的一个或多个计算机可读介质173上的软件来执行。根据本发明的要处理的视频和/或图像都能驻留在一个或多个计算机可读介质173上，或通过例如视频或图像输入174或网络175而提供。

虽然以上描述了本发明的各种实施例，但可以理解的是，它们仅仅是示例性的，而非限制性的。因此，本发明的广度和范围不应当通过以上所描述的任何示例性实施例而限定，而应当仅仅根据以下的权利要求及其等同而限定。