视频监视系统的视频分析、存档和报警方法和设备

摘要

公开了用于分析，管理和分类由视频监视系统产生的视频轨迹的系统和方法。根据本发明的系统和方法从视频监视系统接收视频轨迹；分析它们的特定类别，例如对象或事件，向视频轨迹分配唯一标识标签；和在高度交叉索引的数据库中保存它们，使得能够容易地搜索和取得包含例如特定对象或事件的视频轨迹。另外，本发明提供了用于查看刚刚经过的事件，准实时发生的事件的浏览设备。

说明书

对相关专利申请的交叉引用

本专利申请要求于2004年10月12日提交并且转让给本申请的相同受让人的美国专利临时申请No.xxx和yyy的优先权。这里如同完整重述一样对这些临时专利申请进行完整的参考引用。本申请还涉及于同一天提交并且转让给本申请的相同受让人的美国专利申请vvv。这里如同完整重述一样对美国专利申请vvv进行完整的参考引用。

技术领域

本发明一般涉及视频监视系统，更具体地涉及用于视频轨迹的分析，管理和分类的方法和系统。更具体地，本发明还涉及用于在良好索引的数据库中组织视频轨迹和相关事件与统计信息，使得容易地通过Web服务和浏览器管理和访问包含例如某些类型的对象；事件；和活动的视频轨迹的系统和方法。

背景技术

在当前对罪犯和恐怖分子活动日益关注的环境中，本领域的技术人员认识到更加广泛地应用视频监视系统的必要性。这种认识导致对物理视频监视器材(例如高度可编程的摄像机，具有处理多个监视位置的固有能力)的更加灵活的组件和用于集成和管理视频监视器材的分布式系统的期望。转让给本发明的相同受让人的美国专利应用yyy公开了这种方法和系统，并且在这里如同完整重述一样被完整地参考引用。

对灵活性的期望还扩展到视频监视活动的建立和管理。当前用于建立和管理视频监视活动的系统缺乏灵活性，因此难以加以修改以响应演变中的威胁环境。尤其是，当前用于建立和管理视频监视活动的系统通常被构造成响应相对有限数量的威胁并且执行较少的视频分析或不执行视频分析。为了利用视频监视摄像机和视频分析引擎的灵活性和可编程特性，需要新的视频监视系统体系结构。

本领域的技术人员期望得到对视频分析应用和操作采用模块化方案的视频监视系统体系结构。例如，本领域的技术人员期望得到适于向预先存在的视频分析应用组件快速添加视频分析应用的软件和中间件架构。这种架构会使得更加易于定制视频监视系统器材以适应演变的威胁环境。

另外，当前技术水平的视频监视系统，尤其是具有大量视频监视摄像机和视频分析引擎的视频监视系统产生许多视频和数据。显然，使用人工来监视这种高度集成和分布式的视频监视系统的各个摄像机的输出是非常昂贵和不切实际的。另外，这会阻碍这种系统的目标之一的实现，即通过高度分布式的视频分析操作为监视系统分析人员核心提供特定监视环境的整体视图。相反，监视系统分析人员只会得到特定监视环境的视野狭窄的视图。

另一个问题单纯源于包括这种分布式和大型视频监视系统的摄像机的数量。由于使用安全人员监视各个摄像机的成本非常昂贵，因此必须有用于记录，分析和分类视频监视系统的输出，以及用于根据通过分析而揭示的演变威胁来提醒监视系统分析人员的系统。否则，这种系统产生的数据会作为大量未检查数据而被浪费。

另外一个问题源于这样的事实，即下一代视频监视系统的安全系统分析人员不会连续监视相对有限数量的视频馈送，以使他们有能力随着视野中的事件演变而得到视野的上下文理解。相反，由于有大量可用视图，不可能监视所有视图。结果，必须设计某种方式以分析，管理，分类和呈现视频轨迹，使得监视系统分析人员的形势探知能力得到实质改进以超越当前视频监视系统。

于是，本领域的技术人员期望得到容易适应视频分析应用的添加和管理的模块化，可扩展和分布式的视频监视系统体系结构。本领域的技术人员还期望得到用于分析，管理，分类和呈现视频轨迹的系统。尤其是，本领域的技术人员期望得到用于分配有意义的轨迹标识标签以简化和方便这种轨迹的分类的系统。另外，本领域的技术人员期望得到能够产生从适于改进监视分析人员的形势探知能力的关键帧，到概括所监视对象活动和事件的统计信息的广泛轨迹信息的视频分析应用组件。

发明内容

根据这些指导的当前优选实施例，克服了上述和其它问题，并且实现了其它优点。本发明包括用于执行和管理视频监视活动的方法和设备。

尤其是，本发明的第一可选实施例包括视频监视系统，其包括：至少一个视频监视系统模块，包括：视频监视摄像机，其中视频监视摄像机是远程可编程的；视频编码器，用于对视频监视摄像机收集的视频进行编码；和视频分析引擎，其被连接到视频监视摄像机以分析视频监视摄像机收集的视频，并且产生由视频导出的数据；至少一个视频监视系统网络，其被连接到至少一个视频监视系统模块；至少一个数据库和应用系统，其被连接到至少一个视频监视系统网络以存储视频监视摄像机收集的视频和视频分析引擎产生的数据，并且接收和处理针对视频和数据的查询；视频监视系统控制接口，其被连接到至少一个视频监视系统网络以控制视频监视系统的操作；和视频监视应用和控制接口，其被连接到至少一个视频监视系统网络以控制视频监视活动，该视频监视应用和控制接口包括：用于控制视频监视活动的程序；用于显示视频监视摄像机收集的视频和视频分析引擎产生的数据的显示器；和至少一个输入设备，用于产生数据库和应用系统的查询。

本发明的第二可选实施例包括：信号承载介质，其有形地体现可由计算机系统的数字处理设备执行以进行包括使用电子视频监视系统管理视频监视活动的操作的机器可读指令程序，该操作包括：实时地对视频监视摄像机收集的视频应用视频分析应用工具，其中视频分析应用工具包括至少一个用户指定的视频分析准则，并且对视频应用视频分析应用工具产生涉及至少一个用户指定视频分析准则的数据流；发送数据流到电子数据库和应用系统；在电子数据库和应用系统中存储包括数据流的信息；选择包括数据流的至少一部分信息以传递到进行视频监视活动的视频监视分析人员，其中根据至少一个用户指定信息传递准则来进行选择；和传递所选择的信息到视频监视分析人员以显示在电子视频监视系统的接口设备上。

于是，可见本发明的实施例克服了现有技术的局限性。尤其是，本发明的方法和设备提供了用于增加新视频分析应用的高度灵活的中间件体系结构，以适应新技术的可用性或响应新威胁环境。

另外，本发明的方法和设备通过昼夜连续的自动对象和事件检测；对象跟踪和对象分类实现连续形势探知。在当前的视频监视系统中，由于人类的先天局限性，例如不能保持高度注意，系统通常依赖于视频监视分析人员对充满危险的位置的不断警惕。与现有技术相反，在本发明中，计算机控制的自动系统执行大部分对象和事件检测，对象跟踪和对象分类，这意味着视频监视分析人员缺乏注意不会成为问题。

并且，本发明的方法和设备通过以更加结构化的方式执行视频监视来提高视频监视分析人员的形势探知能力。在现有技术中，视频监视通常包括设置一组摄像机和相关视频显示器并且监视它们。这种低水平的方案没有考虑到可能的威胁；而是简单地在视频监视器上观察″任何可能发生的事情″。相反，本发明的方法和设备提出了高度系统化的视频监视过程和活动，其考虑到可能的威胁和期望的响应。例如，根据威胁环境选择视频分析方法。另外，预先设置警告事件，这意味着人工判断的可能负作用得到降低。

此外，本发明的方法和设备连续应用视频分析，并且有时实时提供结果，从而为视频监视分析人员提供许多现有技术系统中不能简单得到的焦点信息。执行视频分析和保存结果数据的系统方式意味着信息可用于实时报警情形和近期和远期调查情形。由于视频监视分析人员不能观察到只有经过许多月或年才变得可见的模式，这显然尤其重要。

另外，对象和事件的连续记录和分类意味着视频监视分析人员始终具有可用的刚出现事件信息。用于决定如何响应威胁情形的最重要信息通常是刚过去几分钟或数十分钟的事件信息。在没有记录信息或即使记录也不能立即或容易地访问(例如视频磁带)的现有技术情形中，根据对刚出现事件信息的几乎立即的检查来作出决定的能力是非常困难或不可能的。在本发明中，刚出现事件信息被连续保存，并且响应简单查询而立即可用，以协助决定者决定如何响应威胁情形。

总之，本发明的上述可选实施例是示例性和非限制性的。例如，本领域的普通技术人员会理解，来自一个可选实施例的一或多个方面或步骤可以与来自另一个可选实施例的一或多个方面或步骤相结合以产生本发明范围内的新实施例。

附图说明

当结合附图进行读取时，这些教导的上述和其它方面在下面优选实施例的详细描述中会更加清楚，其中：

图1A描述了结合视频监视摄像机组织的电子视频监视摄像机系统的前端的模块图，其包括视频监视摄像机系统并且根据本发明而形成；

图1B描述了结合视频监视摄像机的编程视图组织的电子视频监视摄像机系统的前端的模块图，其包括视频监视摄像机系统并且根据本发明而形成；

图2描述了根据本发明的分布式视频监视摄像机系统的数据流体系结构；

图3描述了根据本发明的分布式视频监视摄像机系统的控制流体系结构；

图4描述了根据本发明的可选分布式视频监视摄像机系统的数据流体系结构；

图5描述了根据本发明的可选视频监视系统体系结构；

图6描述了自动进行分布式视频监视摄像机系统的视频分析操作和数据采集与分布活动的方法的步骤；

图7A和7B描述了可用于自动进行分布式视频监视摄像机系统的视频分析和数据采集与分布活动的视频分析准则和信息传递准则；

图8描述了根据本发明的轨迹数据模型的示意图；

图9描述了根据本发明一个实施例的轨迹摘要文档；

图10描述了根据本发明一个实施例的轨迹数据文档；

图11描述了根据本发明一个实施例的背景图像文档；

图12描述了根据本发明一个实施例的轨迹标识格式；

图13描述了用于根据本发明组织视频轨迹数据的基于时间的分层数据结构；

图14的概念模块图图解了建立用于根据本发明的分布式视频监视摄像机系统的电子数据库系统的示意体系结构的控制流；

图15描述了建立用于根据本发明的分布式视频监视摄像机系统的电子数据库系统的体系结构的方法步骤；

图16描述了可用于管理用于根据本发明的分布式视频监视摄像机系统的电子数据库系统的示意体系结构的附加操作；

图17描述了根据本发明的电子数据库系统的数据组织的示意图；

图18描述了在根据本发明一个实施例的电子视频监视系统中从视频分析引擎到电子数据库系统的数据流的示意图；

图19描述了在根据本发明的视频监视摄像机系统中可能在某些实施例中真或准实时出现的从视频分析引擎到电子数据库系统的数据流；

图20描述了在根据本发明的视频监视摄像机系统中可能在某些实施例中出现于背景模式或非峰值时间的从视频分析引擎到电子数据库系统的数据流；

图21描述了在引入到根据本发明的分布式视频监视摄像机系统中的事件检索模块中的控制流的概念模块图；

图22描述了用于从根据本发明的视频监视摄像机系统的电子数据库系统检索事件信息的方法步骤；

图23描述了可用于管理从根据本发明的视频监视摄像机系统的电子数据库系统的事件信息检索的附加操作；

图24描述了在引入到根据本发明的分布式视频监视摄像机系统中的轨迹信息检索服务中的控制和数据流的概念模块图；

图25描述了用于管理根据本发明的分布式视频监视摄像机系统中的轨迹信息检索的方法步骤；

图26描述了可用于管理根据本发明的分布式视频监视摄像机系统中的轨迹信息检索的附加操作；

图27描述了引入到根据本发明的分布式视频监视摄像机系统中的数据变换服务的控制和数据流；

图28描述了用于转换从根据本发明的分布式视频监视摄像机系统中的电子数据库系统检索的数据的格式的方法步骤；

图29描述了可用于本发明的变换服务的附加操作；

图30的模块图描述了引入到根据本发明的视频监视系统中的即时报警管理服务的控制和数据流；

图31的模块图描述了根据本发明的即时报警管理服务中的轨迹数据流；

图32描述了执行本发明的即时报警管理服务的方法步骤；

图33描述了可用于本发明的即时报警管理服务的附加操作；

图34描述了用于本发明的即时报警管理服务的加速报警定义的建立；

图35描述了用于本发明的即时报警管理服务的闲荡报警定义的建立；

图36描述了包括本发明的即时报警管理服务产生的即时报警摘要的浏览器页面；

图37的模块图描述了根据本发明的摘要管理服务的控制和数据流；

图38描述了执行本发明的摘要管理服务的方法步骤；

图39描述了可用于本发明的摘要管理服务的附加操作；

图40描述了概括人工活动的本发明的摘要管理服务所产生的关键帧的图表和浏览器页面；

图41描述了每小时一次地概括汽车活动的本发明的摘要管理服务所产生的关键帧的图表和浏览器页面；

图42描述了概括日常对象活动的本发明的摘要管理服务所产生的图表；

图43描述了概括到达和出发时间的本发明的摘要管理服务所产生的图表；

图44-46是描述本发明的摘要管理服务所产生的对象运动轨迹的背景图像；

图47是包括本发明的摘要管理服务所产生的与人工活动相关的关键帧的浏览器页面；而

图48是包括本发明的摘要管理服务所产生的与汽车活动相关的关键帧的浏览器页面。

具体实施方式

在图1-5的示意模块图中图解了本发明的具体实施例和特征。图1A的模块图描述了包括根视频监视集群102的视频监视系统前端100的一部分，根视频监视集群102包括各个视频监视摄像机集群112，114。每个集群112，114包括至少一个视频监视摄像机；例如，集群1包括4个视频监视摄像机122，124，126，128，而集群114包括一个视频监视摄像机130。

包括视频监视摄像机集群的各个摄像机最好是高度可编程的，具有可编程的摇摆镜头，倾斜，变焦和数字变焦特征。各个摄像机也具有视图编程能力，其中由从摇摆，倾斜，变焦或数字变焦选项的至少一个中选择的特定集合的操作或运动构成的视图(view)被编程为操作或运动序列。在某些实施例中，每个摄像机可以具有多个编程视图，如图1A中摄像机124，摄像机128和摄像机130所示，摄像机124具有视图142，144和146，摄像机128具有视图148和150，摄像机130具有视图152和154。

除了视图编程之外，由视频分析引擎214根据一或多个用户指定标准(criteria)来分析对应于由视频监视摄像机124采集的特定视图146的视频。视频分析引擎214通过分析由例如视频监视摄像机124的视频监视摄像机采集的视频来产生轨迹(track)数据162。如图1A所示，在视频监视摄像机124的指定视图146上进行视频分析。轨迹数据至少包括指向满足用户指定标准的视频的指针。例如，如果该标准对应于汽车进入摄像机的视野的事件，则视频分析引擎将产生至少包括指向每个视频部分的指针的轨迹数据，其记录了进入视野的汽车的出现。

与图1A描述的实施例相反，图1B中描述的实施例被组织成编程摄像机视图的集群。象在图1A描述的实施例的情况中那样，视频监视摄像机前端170包括根集群171，根集群171进一步包括集群172和173。每个集群172，173包括从不同摄像机中选择的编程摄像机视图。例如，集群172包括从摄像机1选择的视图1(174)；从摄像机2选择的视图3(175)；和从摄像机5选择的视图2(176)；并且集群173包括来自摄像机7的视图4(177)和来自摄像机9的视图3(178)。另外，视频分析操作能够被应用于视图集群，或构成集群的各个视图。此外，能够从以集群为中心的角度来报告由应用于视图集群的视频分析导出的数据和报警条件。

这个特征说明了本发明的具体优点在于能够容易地和不断地针对特定威胁环境而定制视频监视和分析活动。视频监视分析人员没有象现有技术中那样面临这样的情况，其中在建立视频监视系统时预定视频监视选项；而是当实施本发明的方法和设备时，视频监视分析人员能够不断地调整系统以适应演变的威胁情形。

图2描述了数据管理细节，图3描述了按照本发明形成的视频监视系统200的控制管理细节。特别地，视频监视系统200部分地包括多个视频监视系统模块210，视频监视系统模块210包括摄像机212；视频分析引擎214；视频编码器216；和摄像机控制器218。至少一个视频监视系统模块包括图2和3描述的实施例中的视频监视摄像机集群。视频监视系统模块210是本发明的特定优点，因为它们提供高度的可编程性，模块化，灵活性和可扩展性。可通过摄像机控制器218对视频监视系统模块中的每个视频监视摄像机212进行远程编程。另外，视频分析引擎214是远程可编程的，从而允许用户远程指定视频分析标准。在图2描述的数据流中，视频分析引擎通过视频监视系统网络215将根据视频监视摄像机212采集的视频的分析而导出的数据传送到电子数据库系统220。虽然把视频监视系统模块描述成合并视频分析引擎和视频编码器，然而在其它实施例中，可以通过其它方式分布视频分析引擎和视频编码器。例如，视频编码器可以针对多个摄像机执行编码操作。

在其它实施例中，视频监视系统模块还包括关键帧产生系统，用于产生视频监视摄像机看到的特定视野的关键帧。每当满足用户指定的视频分析标准时，产生关键帧，并且关键帧通常对应于最优捕获所观察的对象或事件的视场的静止图像。在进一步的实施例中，关键帧可以是进入设施的人的头像。可以通过使视频监视摄像机随时变焦在人的面部上来产生头像。

在图2和3中描述了单元系统网络215，但是在本发明的各种可选实施例中，视频监视系统网络可以被划分为按照各种协议进行操作的各种部件网络。例如，视频监视系统网络的部分可以是硬接线的，而其它部分可以是无线的。另外，可以在系统的各个层次使用不同有线和无线网络协议。

电子数据库系统220包括数据库服务器，用于对视频分析引擎214产生的数据进行接收和分类；视频管理器，用于接收经过视频编码器216编码的视频；和应用服务器226，用于管理视频监视应用。在图2和3描述的特定实施例中，通过视频监视系统200的电子数据库系统220来进行视频监视系统200的实施和管理，并且管理视频监视活动。在可选实施例中，可以通过分立的手段来管理这些活动。

另外，在图2和3中数据库系统被描述为集成了数据库服务器222和视频管理器224。在可选实施例中，这些可以是分立的；而在其它实施例中，在按照本发明操作的大规模分布式视频监视系统中可以有多个数据库服务器222和视频管理器224。事实上，用于标识视频监视摄像机集群；视频监视摄像机；视频监视摄像机视图和轨迹数据的全局唯一标识符的使用大大地减少了数据库管理开销，因为不必集中管理标识活动，并且使得能够实现分布式视频监视系统。

在图2和3描述的实施例中，2个应用228和230通过电子数据库系统220与视频监视系统200交互。尤其是，应用228是用于实现和管理视频监视系统的控制应用，而应用230是用于控制利用视频监视系统200完成的监视活动的监视应用。例如，在各个实施例中，监视应用230会自动地将视频监视系统200采集的视频和数据传播到执行监视活动的视频监视分析人员。在其它实施例中，监视应用会接收视频监视分析人员所编制的电子数据库系统200的查询；找出满足查询的数据和视频，并且如图2和3所示以浏览器格式240显示数据和视频。在进一步的实施例中，监视应用230会产生用于向执行视频监视活动的视频监视分析人员报警的报警条件。这些各种选项还可以在单个实施例中同时可用。

在图2和3中能够看出本发明的方法和设备的特定优点。例如，可以由视频分析引擎214连续执行视频分析，从而产生能够准实时地访问以帮助例如公安活动或更加滞后地访问以帮助调查活动的对象和事件数据的丰富数据库。另外，显然能够通过添加模块化视频监视系统模块210来扩展具有图2和3描述的体系结构的视频监视系统。通过为视频监视摄像机集群；视频监视摄像机；和视频监视摄像机视图分配唯一标识符，可使此更加容易。唯一标识符的分配不仅有助于电子数据库系统220中数据和视频的分类和存档，而且有助于视频监视分析人员对形势的感知的形成，其中通过视频监视摄像机和视图与唯一标识符的关联来增加视频监视分析人员的感知。

另外，分配给集群，摄像机和视图的唯一标识符还可以充当基于Web的系统中的Web地址，从而大大简化与电子视频监视系统的交互。例如，如果视频监视分析人员期望看到与特定摄像机视图相关的直播馈送，则分析人员只需要使用唯一标识符输入摄像机视图的地址以形成访问摄像机视图的一部分地址。

在图4中描述了按照本发明的方法和设备操作的可选视频监视系统。在图4中，视频分析引擎214被编程有执行对象检测的对象检测应用250；执行对象跟踪的对象跟踪应用252；执行对象分类的对象分类应用254；和执行活动分析的活动分析应用256。在图4描述的实施例中，分析活动被应用于从单个视频监视摄像机212采集的视频，从而说明多个视频分析活动能够被同时应用于该视频。

视频编码器216包括多个视频编码应用，从而为使用视频监视系统的视频监视分析人员提供大范围的选项。特别地，视频编码器216包括MPEG4编码器260；Windows媒体编码器262；和Verint编码器264。

图4中描述的数据库服务器222被编程为响应从视频分析引擎214接收的数据而执行各种报警。例如，数据库服务器的编程包括发出加速报警的加速报警应用270；发出车辆报警的车辆报警应用272；发出闲荡报警的闲荡应用274；和发出其它报警的其它应用276。在其它实施例(例如图2-3中描述的实施例)中，也可以将报警本地实现为由至少一个视频分析引擎214来执行。

在图5的概念模块图中描述了根据本发明的视频监视系统200的补充细节。视频监视系统200包含连接到至少一个系统总线302的至少一个数据处理器301，其中数据处理器301通过该系统总线302可以寻址这里简称为存储器303的存储器子系统303。存储器303可以包含RAM，ROM和固定和活动盘和/或磁带。存储器303被假定存储至少一个程序，该程序包括用于使得数据处理器301执行基于本发明的教导的方法的指令。数据处理器301也通过总线302连接到用户接口，用户接口优选为图形用户接口(″GUI″)305，包含例如一个或多个键盘，鼠标，轨迹球，语音识别接口的用户输入设备306，以及例如高分辨率图形CRT显示器终端，LCD显示终端或任何适当的显示设备的用户显示设备307。通过这些输入/输出设备，用户能够执行其中需要用户指定的值的本发明的方法步骤。

数据处理器301也可以通过总线302连接网络接口308，网络接口308提供对例如内部网和/或因特网的视频监视系统网络215的双向接入。在本发明的各种实施例中，能够通过显示器307和输入设备306执行系统实现和管理以及监视活动。

通常，可以通过以下方式实现这些教导：使用个人计算机，服务器，微型计算机，大型计算机，便携式计算机，嵌入式计算机上运行的至少一个软件程序，或通过与电子数据库系统200上驻留的视频监视系统管理应用228和视频监视应用230配合操作的任何合适种类的可编程数据处理器301。视频监视系统技术人员也可以通过显示器305和输入设备306管理包括至少一个视频监视摄像机集群211的视频监视系统模块210。

本发明的一个优点是能够快速和容易地构造分布式视频监视系统。这是图3-5中反映的体现在系统中的模块式概念的结果，其中用于建立和管理视频监视系统的固件和软件被设计成与具有高度可编程性的视频监视摄像机和提供大范围视频分析方法的视频分析引擎操作。

上述说明一般地涉及根据本发明的方法和设备操作的视频监视系统的体系结构。以下说明涉及视频监视活动的建立-尤其是自动视频分析操作的建立-和视频监视操作期间产生的数据的处理。

例如，图6的模块图图解了用于在按照本发明操作的分布式视频监视系统中建立视频分析操作和数据分布的方法步骤。特别地，第一个步骤410包括选择视频监视摄像机的视图。然后，在步骤420，视频监视分析人员选择被应用于由视频监视摄像机的视图所采集的视频的视频分析标准。然后，在步骤430，视频监视分析人员选择信息传递标准，该信息传递标准与在步骤420选择的视频分析标准相关，决定何时以及由视频分析引擎214和在有些情况下的数据库服务器220产生的何种类的数据将被传递到视频监视分析人员。接着，视频分析引擎214在步骤440对视频监视摄像机采集的视频执行视频分析，并且在步骤450将视频分析操作产生的数据流发送到电子数据库系统220的数据库服务器222以进行存储。接着在步骤460，数据库服务器220对从视频分析引擎214接收的数据流应用视频监视分析人员选择的信息传递标准，并且选择满足由视频监视分析人员建立的信息传递标准的信息。接着在步骤470将满足标准的信息传递到视频监视分析人员。

图7A和7B描述了可由视频监视分析人员选择的各种视频分析标准和信息传递标准，其中视频监视分析人员执行得到按照本发明操作的视频监视系统协助的视频监视活动。特别地，图7A中列出的可用视频分析标准是对象检测481；对象跟踪482；对象分类483；活动检测484；活动监视485；和活动分析486。图7B中描述了可用信息传递标准，可用信息传递标准包括加速报警491；事故报警492；车辆出现报警493；闲荡报警494；和用于传递由监视视频监视摄像机的特定视图而导出的一般信息的视图监视器495。能够选择许多其它视频分析标准和信息传递标准以用于按照本发明操作的视频监视系统。图7A和7B在视频分析和报警层次上描述了本发明的模块化。特别地，视频监视分析人员能够容易对视频监视系统进行重新编程，以便通过增加新视频分析应用和报警标准来适应新威胁环境。

紧接在前的说明涉及按照本发明操作的系统的视频分析活动的选择和一般信息分布细节。以下说明将涉及与按照本发明操作的分布式视频监视系统中的数据标识和存储相关的细节。

通常，在按照本发明操作的视频监视系统中，由视频监视系统的视频分析引擎214连续分析视频监视摄像机的特定编程视图所采集的视频，以产生轨迹，并且由分析而导出的数据接着被传送到电子数据库系统220以便在数据库服务器222中存储。每个轨迹包括轨迹数据，并且捕获对象在视频监视摄像机的视场内的活动。轨迹数据至少包括指向包含对象的视频段的指针，并且在各个实施例中还可以包括位置数据，迹线(trajectory)数据，运动数据，可视特征(例如，颜色纹理和形状)和对象类或标识。除了指向视频段的指针之外，轨迹数据也可以包括数字视频片段，关键帧，前景模型和背景模型。图8描述了按照本发明操作的电子视频监视系统的一个可能数据模型。在图8描述的特定数据模型中，轨迹数据510能够由4个部分构成：视频媒体512；背景信息514；对象信息516和轨迹摘要信息518。

在本发明的一个可选实施例中，从视频分析引擎214输出的基本轨迹被表示成XML文档。在这个特定可选实施例中，存在3个种类的XML文档：轨迹摘要文档，轨迹数据文档和背景图像文档。图9描述了轨迹摘要文档520的例子；图10描述了轨迹数据文档530的例子；图11描述背景图像文档540的例子。图9中描述的轨迹摘要文档520被构造如下：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<Tracks>

<TrackSummary>...</TrackSummary>

*

*

*

<TrackSummary>...</TrackSummary>

</Tracks>

这个文档类型允许<TrackSummary>的多个出现，使得视频分析引擎214能够根据实时数据传送的负载条件和紧急性向电子数据库系统的数据库服务器222发送最优数量的轨迹摘要文档。每个轨迹摘要文档520与通过使用全局唯一标识符来标识的特定视频监视摄像机视图相关。

轨迹数据文档530均包含根标记<TrackData>…</TrackData>，并且被构造如下：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<TrackData>

<TrackDataFragment>...</TrackDataFragment>

*

*

*

<TrackDataFragment>...</TrackDataFragment>

</TrackData>

象在轨迹摘要文档的情况中那样，轨迹数据文档类型允许<TrackDataFragment>的多个出现，使得视频分析引擎214能够根据实时数据传送的负载条件和紧急性向电子数据库系统220的数据库服务器222发送最优数量的<TrackDataFragment>。每个<TrackDataFragment>包含基本轨迹的所有元数据。

背景图像XML文档540包含根标记<BGImages>…<BGImages>，并且被构造如下：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<BGImages>

<BGImage>...</BGImage>

*

*

*

<BGImage>...</BGImage>

</BGImages>

象在轨迹摘要和轨迹数据文档的情况中那样，背景图像文档类型允许<BGImage>的多个出现，使得视频分析引擎214能够根据实时数据传送的负载条件和紧急性向电子数据库系统220的数据库服务器222发送最优数量的<BGImage>。

在对视频监视摄像机的特定视图所采集的视频进行操作的视频分析引擎的视频分析活动期间产生的轨迹摘要520，轨迹数据530和背景图像540 XML文档均至少包含子标记<ViewID>nnnnn</ViewID>，以便以全局方式唯一标识视频分析引擎214所分析的视图。

<TrackSummary>和<TrackDataFragment>也至少包含子标记<TrackID>nnnnn</TrackID>以标识由视频分析引擎214提取的基本轨迹。这个标识符在电子数据库系统220上是全局唯一的。响应于查询，电子数据库系统能够使用唯一标识符访问与基本轨迹相关的所有数据。通过将唯一轨迹标识符与多次出现的XML文档设计相结合，本发明的电子数据库系统220能够支持视频分析引擎214的准实时搜索和报警。在图12中描述了按照本发明操作的视频监视系统的唯一轨迹标识符550，并且通过组合唯一视图标识符552，相对于标准参考时间553的轨迹创建时间的秒数，和视频分析引擎轨迹计数器的计数(ticks)554。″计数″指示几乎同时发生的对象，事件或活动的多个出现。计数用于区别在这种情形中产生的多个轨迹。对于分布式电子数据库系统，存在预订位551。唯一轨迹标识符的分布式创建是本发明的特定优点，因为它消除了集中式解决方案(能够向服务器增加显著的负载)的必要性。特定轨迹标识符正好是本发明范围内的一个可能实施例；例如，可以增加一个单独的项来指示被应用于对应于视频轨迹的视频的特定视频分析。可选地，视图标识符552可以被用来指示所分析的唯一视图和被应用于视图的特定视频分析方法。

在本发明的各个实施例中，某些类的数据被实时″推送″到视频监视系统200的电子数据库系统220的数据库服务器222，而其它种类的数据被本地保存。

本地保存的数据接着在非峰值期间被推送到数据库服务器222，此时视频监视系统网络的传输相对较少。在图13中描述了用于存储由按照本发明操作的视频分析引擎产生的数据的本地数据存储结构570。在根据本发明的某些实施例中，响应于与连续视频分析活动相关的开端数据增长，以时间方式组织数据文件，其中以唯一视图572标识符作为摄像机视图的根目录。该结构的下3个层对应于产生特定轨迹的年(574，576，578)，月(580，582，584)和天(586，588和590)。在可选实施例中，目录可以进一步被细分为对应于小时和分钟的目录。

在最小型时间目录对应于特定一天的一个可能实施例中，在那天针对视频监视摄像机的特定视图产生的所有轨迹数据将被存储在相同目录，例如/ViewID/Yxxxx/Mxx/Dxx。在本发明的各个实施例中，特定天的目录可以包含视频592，背景图像594，关键帧596，前景模型598和XMLS子目录600。此外，XMLS子目录600被分成3个附加子目录：BGImages 602，TrackData 604和TrackSummary 606。为防止较大目录的低效率访问，可以建立文件限制，这会导致在超过文件限制时产生新目录。

与基于时间的数据结构相关的本发明的特定优点是：长期轨迹数据的可伸缩增长；容易根据时间信息访问数据分段；根据时间信息的联机和脱机档案管理；容易进行基于时间信息的数据包的合成和分解；和容易根据时间信息进行基于Web的访问。

本发明的另一个特征是与视频监视摄像机的特定视图相关、针对许多连续时间段的数据可以容易地被打包和拆包。这可以通过如下直接驻留在ViewID目录结构内的xML文档来实现：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<ViewManifest>

<ViewStruct>

  <ViewID>vwvvvvv</ViewID>

  <TemporalUnit>Day</TemporalUnit>

  <StartTime>yyyy-mm-dd</StartTime>

  <EndTime>yyyy-mm-dd</EndTime>

  <MaxDirSize>100</MaxDirSize>

  <ContainVideos>Yes</ContainVideos>

  <ContainBGImages>Yes</ContainBGImages>

  <ContainKeyframes>Yes</ContainKeyframes>

  <ContainFGModels>Yes</ContainFGModels>

  <ContainXMLS>Yes</ContainXMLS>

<ViewStruct>

*

*

*

</ViewStruct>

</ViewManifest>

这个格式允许<ViewStruct>...</ViewStruet>的多个出现。每个<ViewStruct>提供连续时间范围的轨迹数据结构。该声明文件允许对许多连续时间范围的数据文件进行打包和拆包。

上述基于时间的数据库体系结构涉及根据本发明的视频监视系统中的本地数据存储策略。以下说明涉及与数据库体系结构相关的细节，该数据库体系结构用于执行准实时报警和对视频监视系统的视频分析引擎214所产生的数据进行存档，以便以后响应于查询而进行检索。

本发明的特征包括用来建立和管理用于视频监视系统的数据库体系结构的方法和设备，该视频监视系统能够例如根据视频分析活动执行准实时报警。在图14中描述了与数据库模式管理服务相关的控制流。数据库模式管理器620接收数据库名指定622；与轨迹数据624相关的细节；和映射协议626，并且根据这个信息创建628数据库体系结构。

在图15中描述了用来创建和管理用于视频监视系统的数据库体系结构的方法，该视频监视系统能够例如根据视频分析活动的结果执行准实时报警。在步骤652，针对所建立的特定数据库选择唯一标识符；这是本发明的特定优点，因为它减轻了在包括许多数据库的分布式视频监视系统中进行中央数据库管理的必要性。接着，在步骤653得到轨迹数据规格。该轨迹数据规格标识和指定数据库将从视频分析引擎接收的数据的种类，类和文件类型。接着在步骤654将轨迹数据的类别映射到数据库表。

接着的步骤涉及本发明的另一个特定优点，其中涉及自动向视频监视分析人员传递某些类别的数据。在步骤655，得到信息传递规格。信息传递规格指定将传递什么数据，以及何时传递。接着应用被编程为在步骤656识别满足信息传递规格中指定的信息传递标准的信息，并且在步骤657传递数据。

在图16中描述了可用来建立和管理用于分布式视频监视系统的电子数据库系统的其它操作。该操作包括：删除数据库682；检索预定数据库模式684；修改预先存在的数据库模式686；将已有的数据库模式迁移到新数据库688；和输出数据库690。

在图17中提供了根据本发明的方法和设备形成的数据库服务器222的表格体系结构705的示意描述。如示意图所示，存在对应于轨迹摘要信息710；轨迹数据信息712和背景图像信息714的表。在某些实施例中，从中挑选出轨迹摘要；轨迹数据和背景信息的XML文档得到保存。在这些实施例中，表716，722和726包含指向初始轨迹摘要520；轨迹数据530；和背景图像XML文档的指针。另外，数据库服务器也包含分别由指向视频段和关键帧的指针构成的表718，720。此外，数据库服务器包含由视频分析引擎214产生的原始数据724。在某些情形中，视频监视分析人员可能期望对视频分析引擎214产生的数据执行搜索。

在图18-19中描述了将视频分析引擎214产生的数据摄取到电子数据库系统的数据库服务器中。如图所示，轨迹摘要520；轨迹数据530；和背景图像540 XML文档被发送到数据库服务器220，其中根据模式映射740，文档中包含的数据被重新映射到数据库服务器222的表。

本发明的一个特定优点是能够真或准实时地将视频分析引擎214产生的数据″推送″到视频监视分析人员。在图19中，某些类别的高优先级数据准实时地被连续发送到电子数据库系统的数据库服务器。通过根据参照图14-16描述的方法而建立的模式映射740，将接收的信息映射到数据库表。这个数据于是可用于例如图4中描述的报警应用的操作。例如，在一个特定实施例中，车辆速度数据可以准实时地被连续发送到数据库服务器222。当超过加速限制标准时，车辆速度限制报警应用产生被传送到视频监视分析人员的报警条件。根据本发明，报警可采取许多形式；例如，与包含令人生厌的车辆的关键帧相关的报警；与标识令人生厌的车辆的文本消息相关的报警；或与超过速度限制的车辆的循环视频片段相关的报警。

并非所有由视频监视系统的视频分析引擎产生的数据均需要实时被发送到电子数据库系统220的数据库服务器222。在这种情况下，可以根据参照图13描述的方法本地存储数据。例如，由视频分析引擎214针对指定一天产生的所有非关键数据可以被保存到jar文件，以便本地存储在与视频分析引擎相关的硬盘上。在该天的预先选择的非峰值时间，如图20所示，jar文件被发送到数据库服务器。接着通过模式映射740对包括jar文件的数据进行重新映射以便存储在数据库服务器222中。

由作为视频分析引擎的一部分或与视频分析引擎相独立的数据存档服务管理器来控制数据的本地存档。数据存档服务管理器主动监视视图结果；存档数据；和将数据摄取到本地的基于时间的数据库中。服务依赖于用户指定的策略参数，其指示如何存档数据和/或何时进行档案摄取。例如，视频监视分析人员可以指定只保留从今天开始的数据并且将其余数据存档，并且在今天结束时向电子数据库系统发送今天的视图jar文件以进行摄取。以下基本函数可以被用来实现该服务：

·Jar-File JarView(Root-View-Path)

·Jar-File JarTemporalView(Root-View-Path，

BGIMGES|FGIMAGES|VIDEOS|KEYFRAMES|XMLS，

Temporal-Path-1，Temporal-Path-2

·Jar-File ListTemporalView(Jar-File，

BGIMGES|FGIMAGES|VIDEOS|KEYFRAMES|XMLS，

Temporal-Path-1，Temporal-Path-2)

·Jar-File ExtractTemporalView(Jar-File，

BGIMGES|FGIMAGES|VIDEOS|KEYFRAMES|XMLS，

.Temporal-Path-1，Temporal-Path-2)

·Jar-File MergeTemporalView(Jar-File-1，Jar-File-2)

·UnjarTemporalView(Jar-File，

BGIMGES|FGIMAGES|VIDEOS|KEYFRAMES|XMLS，

Temporal-Path-1，Temporal-Path-2

紧接在前的说明涉及根据本发明的方法和设备的数据存档。接着要描述的特征涉及事件检索。本发明的特定优点是对象和活动统计和轨迹数据的丰富数据库。可以准实时地访问该信息以辅助例如公安活动，或可以很久后访问该信息以辅助例如调查活动。本发明的事件检索特征响应于自动触发器和监视分析人员查询而自动检索事件和对象数据。

在接收到查询之后，事件检索服务响应该请求而对数据库执行搜索以检索数据库服务器中存储的信息。在图21的模块图中图解了与这个活动相关的数据和控制流。在数据和控制流图例中，事件检索管理器接收一般涉及对象或事件约束781；或时间范围782；或监视区域784的监视分析人员查询，并且根据初始用户查询编制数据库查询786。  数据库服务器接着在步骤787返回结果，并且在步骤784将轨迹数据传递给视频监视分析人员。

图22描述了在根据本发明的视频监视系统中执行事件和对象数据检索的方法步骤。在步骤820，事件检索管理器780接收查询。接着在步骤822，事件检索管理器分析该查询，并且在步骤824以数据库服务器222预期的格式编制新查询。接着在步骤826，根据数据库查询得到响应信息。

图23图解了电子数据库服务器能够执行的其它操作。那些操作是检索轨迹摘要特性列表840；检索轨迹数据特性列表842；检索空间特性列表；和检索时间特性列表846。

可以由视频监视分析人员编制各个用户查询。例如，以下是在步骤820可以由视频监视分析人员产生并且由事件检索管理器接收的基于特性的查询的3个例子：

DoSummaryQuery(″PCS(p₁，p₂，p₃，...，p_m)″)

DoDataQuery(″PCD(p₁，p₂，p₃，...，p_n)″)

DoSDQuery(″PCS(p₁，p₂，p₃，...，p_m)″，(″PCD(p₁，p₂，p₃，...，p_n)″)

″DoSummaryQuery″是对轨迹摘要信息的请求，p₁等等是涉及例如对象类；对象特性；或事件类的搜索参数。″DoDataQuery″是对包括例如对象迹线信息的轨迹数据信息的请求。″DoSDQuery″是寻找轨迹摘要和轨迹数据信息的组合请求。

以下是基于时间的查询的例子：

DoTSummaryQuery(″PCS(p₁，p₂，p₃，...，p_m)″，″TC(开始时间，结束时间)″)

DoTDataQuery(″PCD(p₁，p₂，p₃，...p_n)″，″TC(开始时间，结束时间)″)

DoTSDQuery(″PCS(p₁，p₂，p₃，...，p_m)″，″PCD(p₁，p₂，p₃，...，p_n)″，″TC(开始时间，结束时间)″)

这些请求的编制类似于基于特性的请求，除了它们进一步由时间标准″TC(开始时间，结束时间)″加以限定之外。

以下是基于空间的查询的例子：

DoSSummaryQuery(″PCS(p₁，p₂，p₃，...p_m)″，″SC(l₁，l₂，l₃，...，l₁)″)

DoSDataQuery(″PCD(p₁，p₂，p₃，...p_n)″，″SC(l₁，l₂，l₃，...，l₁)″)

DoSSDQuery(″PCS(p₁，p₂，p₃，...p_m)″，(″PCD(p₁，p₂，p₃，...NY，″SC(l₁，l₂，l₃，...，l₁))

基于空间的查询涉及视频监视摄像机的视场的特定部分，并且寻找涉及进入视场的指定部分的对象，或在指定视场中出现的事件或活动的信息。在具有此能力的实施例中，视频分析引擎214产生涉及在视场的何处对象进入或发生事件的数据。

以下是基于空间时间的查询的例子：

DoSTSummaryQuery(″PCS(p₁，p₂，p₃，...，p_m)″，″SC(l₁，l₂，l₃，...，l₁)，

″TC(开始时间，结束时间)″

这个请求是组合时间空间请求，其寻找涉及在指定时间周期内出现于视场的指定部分的活动或事件的信息。

可以对视频轨迹信息的数据库进行各种查询。例如，在事件检索管理器780已经分析用户查询并且以数据库服务器可以理解的格式重新编制查询之后，事件检索管理器可以发出以下查询之一。例如，以下查询将检索标识由视频监视系统观察的特定类的所有成员的轨迹：

Select Track ID

From MILS_Track_Summary_Tab

Where IdentityClassID＝

以下查询发现包含特定对象(例如特定汽车)或特定个人(例如特定的人)的轨迹：

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where Identity＝

以下查询发现与指定类型的活动相关的轨迹(例如所有进入特定建筑物的人的轨迹)：

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where ActivityClassID＝

以下查询发现包含行进速度超过指定速度的汽车及其他车辆的轨迹：

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where AreaStatMax>

以下查询发现包含具有小于指定数值的最小速度的汽车及其他车辆的轨迹：

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where VelStatMin<

以下查询发现包含类似特性的轨迹：

Select TrackID，SFunction(？.FVBlob)

From MILS_TRACK_SUMMARY_TAB

Order By SFunction(？，FVBlob)ASC

以下查询对于检测时延非常长的闲荡和检测时延非常短的噪声(例如由突然的摄像机移动，摆动的树，雨点)是非常有用的。

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where EndTimestamp-StartTimeStamo<

这个查询发现质心通过边界框的所有轨迹：

Select TrackID

From MILS_TRACK_SUMMARY_TAB

Where CentroidX>and CentroidX<and CentroidY>andCentroidY<

当返回响应于任何例子查询的轨迹标识符时，它们被传递给请求它们的进程或人。

图24描述了与本发明的另一个特征，即轨迹信息检索服务相关的控制和数据流。如控制和数据流所示，轨迹信息管理器850接收针对与特定轨迹标识符相关的信息的请求852，并且发出数据库查询856以检索与该轨迹标识符相关的信息。轨迹信息管理器接收所返回的与轨迹标识符相关的信息858，该信息可以包括轨迹摘要特性；轨迹数据特性；和背景特性。另外，该信息可以进一步包括指向涉及该轨迹标识符的关键帧，视频或统计信息的指针。返回的信息接着被发送854给视频监视分析人员。

图25描述了在根据本发明的方法和设备的分布式视频监视系统中执行轨迹信息检索的方法步骤。在步骤860，轨迹信息检索管理器780接收轨迹标识符860。接着在步骤862，轨迹信息检索管理器编制用于检索与轨迹标识符相关的信息的数据库查询。接着在步骤864，该查询被发送到数据库服务器222。接着，在步骤866，轨迹信息检索管理器接收响应该查询的轨迹信息，该轨迹信息接着在步骤868被传递给请求该信息的进程或人。

图26描述了可以由轨迹信息检索服务执行的附加操作，例如检索轨迹摘要信息890；检索轨迹摘要文件信息892；检索轨迹数据信息894；检索轨迹数据文件信息896；检索关键帧信息898；和检索视频指针信息900。

图27描述了本发明的变换服务。响应于来自视频监视分析人员的查询，数据库服务器和视频服务器将响应查询而检索信息。通常，信息所具有的用于在数据库服务器中存储的格式不会是适于呈现给视频监视分析人员的格式。因此，变换管理器910从轨迹信息管理器920接收具有用于在电子数据库中存储的格式的信息，并且格式化该信息以呈现给视频监视分析人员。这种格式化通常包括若干不同的操作以适应数据库中存储的各种格式。

图28描述了与本发明的变换服务相关的方法。在第一步骤940中，从电子数据库检索信息。接着在步骤942，变换应用确定是否已经为检索的信息指定定制呈现模板。如果是，则在步骤944应用该定制模板。如果不是，则在步骤948应用标准模板。在任一情况下，在步骤946或950将信息传送到视频监视分析人员。

图29描述了可用于本发明的特定变换选项。例如，在某些实施例中，期望变换操作952包括将数据格式化成XML文档。这可以出现在这样的情况中，其中该信息将由期望根据特定XML标准格式化的数据的另一个视频监视系统部件来使用。在其它实施例中，信息将被显示给视频监视分析人员。在这种情况下，变换服务将执行操作954以检索HTML模板，以便在显示之前应用于数据。在特定情况下，这可以包括检索特定表956或报告格式958。在其它情况下，这可以包括检索关键帧962或视频呈现960的HTML格式。最终，在要播放视频的情况下，视频播放器将被启动964。

本发明的另一个特征是即时报警管理服务。如本说明书所描述的，根据本发明的分布式电子视频监视系统的特定优点是系统根据电子视频监视系统执行的视频分析执行实时或几乎实时的报警的能力。图30的模块图描述了与本发明的即时报警管理服务相关的控制流。按照下面的方式实现报警。视频监视分析人员通过报警约束或标准1012和在1014的期望动作和动作名对报警管理器进行编程。如控制流图所示，即时报警管理器1010与数据库服务器222交互。即时报警管理器在1018产生数据库服务器中的触发器，并且一旦建立触发器，便在1020从数据库接收报警通知。即时报警管理器1010也被编程为当在1016发出报警动作时采取系统动作1022，并且可能返回轨迹数据1024和轨迹摘要特性1026。

图31的模块图描述了与根据本发明的视频监视系统中的即时报警管理器服务相关的轨迹数据流。即时报警管理器1010对即时报警库1030中存储的预编程的报警起作用。编程的报警包括报警约束或标准1032和当出现报警标准时要采取的动作1034。所示流入即时报警管理器的活动包括数据库服务器222的活动报告，并且可以进一步包括预编程的触发器。触发器事件不需要在数据库服务器中特别地编程；而是在某些实施例中，即时报警管理器1010可以监视从数据库服务器222接收的数据流。当发出报警时，报警事件和与报警事件相关的轨迹数据被存储在报警活动存档1036中。报警事件和与报警事件相关的轨迹数据可以被事件检索管理器780检索。

在图32中描述了基于即时报警服务的方法。在步骤1040，即时报警服务管理器接收已经由视频分析引擎214真或准实时地传递的信息。接着在步骤1042，即时报警服务管理器检索通常依据某种数据条件，例如″车辆速度大于x mph″来表示的即时报警警告标准，并且比较实时接收的数据。如果存在匹配，则在步骤1044发出警告。在报警条件中，通常结合警告发出的信息在步骤1046被收集，并且在步骤1048被传递给要报警的进程或视频监视分析人员。

在图33描述了可以由根据本发明的即时报警管理器执行的附加操作，包括检索要与报警一起发出的轨迹摘要信息1050；检索要与报警一起发出的轨迹数据信息1052；检索要与报警一起发出的空间特性信息1054；检索要与报警一起发出的时间特性信息1058；检索要与报警一起发出的关键帧1058；检索要与报警一起发出的视频1060；和删除报警1052。

图34和35描述了由视频监视技术人员编制并且由即时报警管理器1010在视频监视系统中实现的报警的定义。如考虑″产生报警″指令的格式所得知的，它由报警名；报警条件；和当出现报警条件时要采取的动作构成。

在图34描述的加速报警指令1070，1072中，各个报警名是″speedingDetectorM″和″speedingDetectorW″。各个报警条件相同-″velStatMax＞40″-意味着车辆已经超过40英里每小时。1070中的报警动作是以电子邮件发出报警，以及在1072中更新浏览器页面。

在图35描述的闲荡报警指令1080，1082中，各个报警名是″loiteringDetectorM″和″loiteringDetectorW″。各个闲荡条件相同-″结束时间-开始时间＞60″-意味着一人在视频监视摄像机的视场中已经闲荡了超过60分钟。1080中的报警动作是以电子邮件发出报警，以及在1082中更新浏览器页面。

图36描述了由根据本发明的即时报警管理器发出的基于Web的报警。能够明白，报警在浏览器页面1090中累积。随着它们出现在浏览器页面1090，各个报警被添加。单个报警包括标题和关键帧。例如，在浏览器页面中记录有4个加速报警1094；1098；1104和1106；3个大型车辆报警1096；1100和1102；和一个闲荡报警1092。

在图36描述的实施例中，伴随有关键帧地发出报警。在可选实施例中，报警信息可以包括指示出现时间；报警种类；和轨迹标识符的文本消息。在其它实施例中，可以重放视频段。总之，可以立即检索与报警相关的所有数据。例如，在图36描述的实施例中，当视频监视分析人员将光标放置在关键帧上时，可以在气泡消息(bubble message)中显示附加信息。在其它实施例中，下拉菜单可以看上去具有各种选项；例如恢复轨迹摘要或轨迹数据信息；检索由视频分析导出的速度信息；检索描述对象或人的外表和活动的其它类别的时间或空间统计信息；或检索捕获导致该报警的事件的视频段。

图37-48描述了本发明的活动摘要服务。本发明的另一个优点是提供概括处于视频监视和视频分析下的活动的大范围摘要信息的能力。图37的模块图描述了与摘要信息管理器1140相关的控制和数据流。如图37所示，摘要管理器1140接收针对摘要信息、受各种条件控制的查询，这些条件例如是对象或活动约束1142；时间范围1144；分辨率1146；和区域1148。分辨率1146是指时间增量，区域是指所监视的视场的特定部分。一般由视频监视分析人员编制摘要查询，该视频监视分析人员对可以由轨迹导出的统计信息及由视频分析引擎214产生的其它类别的信息感兴趣。

根据从视频监视分析人员接收的查询，活动摘要管理器1140传递约束1150给事件检索管理器780；这通过检索满足约束的轨迹标识符来开始信息收集处理。在1152返回轨迹标识符。另外，在没有描述的其它实施例中，活动摘要管理器可以在产生视频监视分析人员寻找的统计信息需要附加信息的情况下检索与轨迹标识符相关的轨迹信息。在已经检索了产生统计信息所需的信息之后，活动摘要管理器在1154产生统计信息并且发出摘要。

在进一步的实施例中，活动摘要管理器与信息变换管理器910交互以便以视频监视分析人员指定的方式对活动摘要信息进行格式化。

在图38中描述了执行活动概括的方法，该方法至少包括以下步骤。在步骤1180，活动概括服务从进程或视频监视分析人员接收时间周期选择，其中该进程或视频监视分析人员期望得到对应于该时间周期的活动摘要数据。活动概括服务接着在步骤1182从数据库服务器检索与选择的时间周期相关的活动数据。活动概括服务接着在步骤1184产生期望的统计信息，并且在步骤1186将统计信息格式化成期望的输出格式。

在图39中描述了可以由活动摘要管理器执行的附加操作，这些操作对应于检索轨迹摘要特性列表1210；检索轨迹数据特性列表1212；检索空间特性列表1214；检索时间特性列表1216；检索受开始时间，结束时间，分辨率和区域约束的控制的时间摘要1218；检索受开始时间，结束时间，区域和分辨率约束的控制的空间摘要1220；和检索受特性，开始时间，结束时间和区域约束的控制的特性摘要1222。

图40描述了响应于查询1230而返回的浏览器页面1232，1234，该查询1230针对的是在按小时分割的一天的过程中人员活动的摘要。左边的浏览器页面1232是描述在按小时分割的指定天通过视频监视摄像机的视场的人的数量的图表。右边的浏览器页面1234是与来自左边图表的小时段之一相对应的关键帧的集合。在本实施例中，每当满足指定监视标准时，产生轨迹。在图40描述的特定实施例中，每当人进入视场时产生轨迹，并且也产生该事件的关键帧。轨迹包含轨迹摘要信息，轨迹摘要信息至少包括指向关键帧的指针。

因此，在图40的视频监视系统中，视频监视分析人员已经指定视频分析标准以针对特定摄像机视图在一天的过程中监视人的外表。随着人进入视场，产生轨迹，以及关键帧。为了恢复图40中描述的信息，视频监视分析人员提交如图40所述的查询1230，并且摘要服务处理通过应用指定的标准而产生的轨迹信息。通过选择条形图的一个条，可以恢复记住人的活动的关键帧。例如，如果视频监视分析人员选择第一条，由在右边的浏览器中将描述3个关键帧。在1234已经选择不同的时间周期。

图41描述了摘要查询1240和视频监视系统响应于摘要查询而返回的信息。在这个例子中，视频监视分析人员请求以逐小时方式概括指定天的汽车活动的信息。与图40相反，如果取回和显示所有关键帧以记住在指定天的指定小时某人在视频监视摄像机的视场中出现的事件，则右边的浏览器页面1244简单地显示将由视频监视系统检测的最后19辆汽车的关键帧。左边的浏览器页面1242显示包含期望统计信息的图表。

图42描述了逐天请求摘要信息的2个摘要查询1250，1260。在浏览器页面1252和1262中描述了返回的统计信息。

图43描述了表970，表970概括了响应于查询而返回的到达和出发统计信息。首先从数据库服务器检索信息，接着变换服务对数据应用预先选择的表格式。

图44-46图解了可以由活动摘要服务产生的另一个类别的信息。图44-46示出了叠加有指示运动的对象轨迹的背景图像1280，1290和1330。本发明的这个特征对于捕获交通流模式尤其有用，并且取决于根据本发明的视频分析引擎由视频流中恢复对象迹线信息的能力。

图47描述了响应于针对进入和离开所监视的建筑物的人们的查询而返回的HTML文档1310。在HTML文档中，对应于特定视频段的关键帧被插入到文档中。如果视频监视分析人员期望观看对应于关键帧的视频段，则视频监视分析人员可以选择所显示的特定关键帧。视频监视系统接着检索用于播放的视频段。图48描述了响应于针对通过视频监视摄像机所观察的视场的中型尺寸的汽车的查询而返回的类似HTML文档1320。

在其它实施例中，可以使用可选和更加复杂的呈现策略。例如，在包括HTML文档的每个关键帧中，可以用彩色编码的边界框绘出对象的轮廓，并且对象包含覆盖初始关键帧图像的彩色编码的迹线。该关键帧是最优描述监视摄像机所看到的对象的轨迹视频片段的代表帧。可选地，对于每个轨迹或事件可以有不止一个关键帧。通过控制活跃监视摄像机来捕获所跟踪的对象的特写外表，可以获得附加关键帧。通过点击关键帧，立即播放相关的视频轨迹片段。

于是可以发现，上述说明已经通过示例性和非限制性的例子提供了发明人当前考虑的用于实现分布式视频监视系统的最优方法和设备的完整和丰富的说明。本领域技术人员将理解，在这里描述的各种实施例可以单独实施；与在这里描述的一或多个其它实施例结合实施；或与不同于在这里描述的查询接口的交互式表格查询接口结合实施。此外，本领域技术人员将理解，本发明可以通过不同于所述实施例的实施例实施；这些描述的实施例用于图解和非限制性的目的；而且本发明仅仅由之后的权利要求限制。