监视系统、监视设备、搜索方法、和搜索程序

摘要

提供一种搜索方法，以便积累从监视终端的图像拾取单元发送的视频数据，积累从监视终端的元数据生成单元发送的视频数据，搜索准则是事先被存储的，其中搜索准则被用于从视频数据和/或元数据中提取想要的数据，显示事先被存储的搜索准则，以及当从所显示的搜索准则中选择了预定的搜索准则时，提取满足预定的搜索准则的元数据和/或视频数据，并显示所提取的元数据和/或所提取的视频数据。

说明书

相关专利申请的相互参考

本发明包含涉及2006年6月30日提交给日本专利局的日本专利申请JP-2006-182825的主题内容，该专利申请的整个内容在此引用以供参考。

技术领域

本发明涉及包括至少一个监视终端和至少一个监视设备的监视系统、监视设备、搜索方法、和搜索程序。

背景技术

至今为止，一直使用包括至少一个监视终端和至少一个监视设备的已知的监视系统，以便观看被监视终端实时地拾取的监视对象的图像。另外，监视系统被用来存储关于监视对象的数据，在所存储的数据中搜索预定的数据，并在以后确认该预定的数据。

通常，有关数据和该数据被存储的时间的信息和/或有关给予所存储的数据的名称的信息被采用作为搜索准则，根据该准则搜索所存储的数据。上述的已知的监视系统的例子在日本未审查的专利申请公布号No.2003-274390中被公开。

发明内容

顺便提及，当根据有关进行数据存储的日期和时间的信息和/或有关所存储的数据名称的信息来搜索存储的数据时，会提取大量数据项。另外，为了减少要提取的数据项的数目，搜索准则应当精确地设置，因此，用来进行上述搜索的接口的配置变为复杂的。

另外，由于希望在多种情形下存储监视对象数据，当监视对象数据以增加的频率被存储时，不得不用从来没有预期的准则来搜索所存储的数据。在这种情形下，用户必须人工地输入另一个准则。然而，用户几乎在每次希望进行搜索时必须麻烦地输入准则，这给用户带来很大的负担。

按照本发明的实施例，搜索所存储的监视对象数据可以方便而快速地进行。

按照本发明的实施例，从监视终端发送的视频数据和/或元数据被积累，搜索准则事先被存储，其中搜索准则被用来从视频数据和/或元数据中提取想要的数据，事先存储的搜索准则被显示，以及当预定的搜索准则从所显示的搜索准则中间被选择时，满足预定的搜索准则的元数据和/或视频数据被提取，并且所提取的元数据和/或提取的视频数据被显示。

按照上述的设计，当预定的搜索准则是从所显示搜索准则中间选择时，满足预定的搜索准则的元数据和/或视频数据被提取。

按照本发明的一个实施例，当预定的搜索准则是从所显示搜索准则中间选择时，满足预定的搜索准则的元数据和/或视频数据被提取。因此，用于进行搜索而执行的步骤的数目被减小，因此可以有效地进行搜索。

附图说明

图1显示按照本发明的实施例的监视系统的示例性结构；

图2是显示按照本发明的另一个实施例的监视设备的示例性内部结构的框图；

图3A显示按照本发明的另一个实施例的示例性过滤器；

图3B显示按照本发明的另一个实施例的示例性封装；

图3C显示按照本发明的另一个实施例的示例性过滤器；

图4是显示按照本发明的另一个实施例执行的示例性搜索处理的流程图；

图5是按照本发明的另一个实施例的示例性显示的搜索屏幕图；

图6是按照本发明的另一个实施例的示例性显示的搜索屏幕图；以及

图7是按照本发明的另一个实施例的示例性显示的搜索屏幕图。

具体实施方式

以下，参照附图描述本发明的实施例。

图1示意地显示按照上述的实施例的监视系统的结构。在该监视系统中，监视终端10a和10b经由网络1连接到监视设备20。每个监视终端10a和10b被提供以具有生成元数据的功能的照相机。即，每个监视终端10a和10b包括图像拾取单元(未示出)，其被配置成拾取监视对象的图像，以及元数据生成单元(未示出)，其被配置根据图像拾取单元拾取的图像的数据来生成元数据，这将在后面描述。每个监视终端10a和10b输出视频数据和元数据，以及每个输出的视频数据和元数据经由网络1被传送到监视设备20。

监视设备20作为计算机等被提供，这样，监视设备20可以存储和分析从监视终端10a和/或监视终端10b发送的上述视频数据和元数据，以及例如，通过发布由每个监视终端10a和10b拾取的图像的编码译码切换指令来控制每个监视终端10a和10b。按照上述的实施例，监视设备20存储和/或分析从监视终端10a和10b发送的数据，并控制每个监视终端10a和10b。然而，可以单独提供一个服务器，以使得服务器存储和/或分析数据，而监视设备20可以控制每个监视终端10a和10b，并读出数据。

元数据由每个监视终端10a和10b生成，并被用作为有关由图像拾取单元拾取的视频的数据的属性的信息。元数据在移动对象被监视终端10a和10b的至少一个检测到时生成，其中元数据包括表示移动对象(目标)的识别号(ID)、坐标、尺寸等等的目标信息，视频被获取时的时间数据，有关该至少一个监视终端10a和10b的取向(扫视、倾斜等等)的信息，有关至少一个监视终端10a和10b的位置的信息，有关拾取的视频和/或图像的特征的信息等等。

接着，参照图2的框图描述上述的实施例的监视设备20的每个单元的结构。在接收到从监视终端10a和/或监视终端10b发送的视频数据和元数据后，监视设备20把视频数据发送到视频数据缓存单元21和把元数据发送到元数据缓存单元22。在接收到从监视终端10a和/或监视终端10b发送的视频数据后，视频数据缓存单元21把已编码的视频译码。元数据缓存单元22存储从监视终端10a和/或监视终端10b发送的元数据，并把存储的元数据发送到元数据过滤器确定单元25，这将在后面描述。

元数据过滤器确定单元25确定从元数据缓存单元22获取的元数据和/或从元数据积累数据库(DB)24获取的元数据是否满足已设置的元数据过滤器的条件，以使得已被存储在元数据积累DB 24的记录数据反映该确定结果。另外，元数据过滤器确定单元25把过滤结果告知过滤器封装确定单元27。有关设置的元数据过滤器的信息被存储在元数据过滤器设置值DB 26中。

元数据过滤器(此后称为过滤器)表示一个确定条件，在该条件下从目标信息生成报警信息。报警信息是通过分析满足过滤器条件的元数据、根据目标位置数值的改变计算目标的速度、确认目标是否通过了一条预定的线、或组合地分析上述的数据而得到的。作为过滤器类型，提供的确定条件“出现(Appearance)”是当监视目标出现在预定区域时生成报警信息；提供的确定条件“消失(Disappearance)”是当监视目标出现在预定的区域并从预定的区域消失时生成报警信息；提供的确定条件“通过(Passing)”是当监视目标穿过预定的线时生成报警信息；提供的确定条件“容量(Capacity)”是当在预定的区域进行人头计数并且人头计数值超过预定的数值时生成报警信息，其中“容量”表示对象极限数；提供的确定条件“闲逛(Loitering)”是当对象在预定的区域中闲逛时生成报警信息；等等。

作为在报警信息中所包括的数据，提供了：表示满足过滤器条件的至少一个目标的数目的“积累目标数”；表示在预定的帧内的满足过滤器条件的至少一个目标的数目的“目标数”，有关满足过滤器条件的至少一个目标的属性的信息；等等。在使用上述的过滤器之一(即相应于确定条件“容量”等的过滤器)时每个上述的数据被记录，以便根据积累的目标数来生成报警信息。

此外，多个上述的过滤器可以组合地被使用和被设置为过滤器封装(此后称为封装)。例如，在相应于过滤器A和B的条件都满足时可以设置定封装C，以及封装可以在相应于过滤器A的条件或相应于过滤器B的条件满足时可以设定封装D。图3A，3B，3C的每个图显示示例性设定过滤器和/或示例性设定封装。在图3A，3B，3C上，几个过滤器和/或封装用于例如被设计成以广角拾取整个购物中心的图像的监视系统。

在图3A，过滤器FT1被设置成使得当在区域AR1中检测到至少一个目标时，该至少一个目标被检测和该至少一个目标的数目被计数。在图3B，穿过过滤器A被设置成使得当该至少一个目标穿过线LN1时，该至少一个目标被检测和该至少一个目标的数目被计数；穿过过滤器B被设置使得当该至少一个目标穿过线LN2时，该至少一个目标被检测和该至少一个目标的数目被计数；以及穿过过滤器C被设置成使得当该至少一个目标穿过线LN3时，该至少一个目标被检测和该至少一个目标的数目被计数。此外，在图3B，封装PK1被设置成使得仅仅当该至少一个目标顺序穿过线LN1-LN3时，该至少一个目标被检测和该至少一个目标的数目被计数。在图3C，过滤器FT2用来使得当在区域AR1中检测到至少一个目标和目标在预定的时间段内在区域AR1中闲逛时，该至少一个目标被检测和该至少一个目标的数目被计数。每个上述的封装不仅可包括在监视设备20中使用的过滤器，而且还可包括为不同监视设备设置的过滤器。

回到图2，过滤器封装确定单元27从存储有关上述的设置的封装的信息的过滤器封装设置DB 28读出数据，并确定要被发送到过滤器封装确定单元27的元数据是否与封装条件一致，以使得早已被存储在元数据积累DB 24中的已存储的数据反映该确定结果。此外，如果要根据确定结果生成报警信息，则过滤器封装确定单元27产生报警信息。

报警信息分析单元29分析从过滤器封装确定单元27获取的报警信息，执行控制处理，以使得监视设备10a和/或监视设备10b以及外围设备执行适当的操作，并且发送信息到显示单元35。报警信息分析单元29按照各种不同的方法分析报警信息。例如，当在预定的时间间隔内连续地发布报警时，该警报被假设为方波警报，即使发布的警报是脉冲波警报。上述的方法被称为“连续时间”。另外，当有关报警的信息在规定的时间段内以高于规定的速率生成时，就对报警信息的生成频率进行分析。上述的方法被称为“生成频率”。再者，当在规定的区域内以比起规定的速率更高的速率存在至少一个目标时，就对该比率进行分析。上述的方法被称为“占用区域”。报警信息分析单元29可以选择上述各方法的任一种。而且，用户可以设置另外的分析方法。可以根据分析结果执行封装重新选择和/或进程改变。

分析法则设置DB 30存储有关分析法则的信息。分析法则信息被报警信息分析单元29使用来进行上述的分析。被存储在分析法则设置DB 30中的分析法则信息，包括例如有关所提供的分析法则数目和/或分析法则名称的信息，用来唯一地识别报警分析信息；有关所提供的封装数目和/或封装名称的信息，用来唯一地规定用于进行报警分析的封装；有关分析方法“连续时间”，“生成频率”，“占用区域”等等的信息；有关表示时间和/或阈值频率的详细设置值项的信息，该详细设置项对于执行分析方法是必要的；有关当条件满足时执行的操作的信息，其中操作被执行，以便执行一个动作、从一个封装改变到另一个封装、改变分析法则等等。

进程设置DB 32存储所提供的有关进程设置的信息，以便设置施加分析法则和/或封装时的日期和/或时间。被存储在进程设置DB 32中的信息包括：有关所提供的进程号和/或进程名称的信息，以便唯一地识别进程信息；有关其中开始施加分析法则和/或封装时的开始时间(年、月、日、时间、分、和秒)的信息；有关其中结束施加分析法则和/或封装时的结束时间(年、月、日、时间、分、和秒)的信息；有关所提供的分析法则的数目的信息，以便规定在按进程的时间段内施加的分析法则等等。

进程设置单元31监视进程。在数据被存储在进程设置DB 32时的所规定的日期和时间内，施加预定的分析法则和/或封装。例如，在营业时间内，报警信息按照“生成频率”方法进行分析，以便确定在自动门处是否拍摄到旅客和/或旅客的行李。在营业时间以后，要发出的报警被改变为在检测到任何目标的侵入时所发出的报警“侵入”。

搜索准则确定单元33从在视频数据积累DB 23和/或元数据积累DB 24以及视频数据缓存单元21和/或元数据积累DB 24中积累的视频数据和/或元数据中提取与由用户规定的搜索准则相符的数据。每次数据被提取时，搜索准则并不由用户规定。即，有关过滤器和/或封装的组合的信息事先被设置为搜索准则，以及在设置信息被用户选择时进行搜索。搜索准则设置DB存储例如包括过滤器和/或封装的组合的搜索准则，并且还存储有关使用该过滤器和/或封装的监视终端的信息。

显示单元35包括液晶板等，用来显示由搜索准则确定单元33提取的元数据和/或视频数据。

接着，将参照图4的流程图和图5，6，和7所示的示例性显示的屏幕图像描述由每个监视终端执行的按照上述实施例的搜索处理过程。首先，在步骤S11，事先接受搜索准则登记，执行该准则登记是为了缩小包括过滤器、封装等等的数据。在这时登记的搜索准则被存储在图2所示的搜索准则设置DB 34中。

接着，在步骤S12，从监视终端10a和10b获取视频数据和元数据，在步骤S13，由视频数据缓存单元21存储所获取的视频数据，以及由元数据缓存单元22存储所获取的元数据。在经过预定的时间段后，视频数据缓存单元21中存储的视频数据被积累到视频数据DB 23，以及在元数据缓存单元22中积累的元数据被存储在元数据积累DB 24。

这时，在元数据过滤器确定单元25和/或过滤器封装确定单元27中确定所发送的元数据是否满足过滤器和/或封装的条件。如果确定要生成报警信息，则生成报警信息。然后，有关由元数据过滤器确定单元25作出的决定的结果的信息、有关由过滤器封装确定单元27作出的决定的结果的信息、和报警信息再次被积累到元数据积累DB 24。

当在视频数据和元数据通过重复执行步骤S11到S13被积累到预定数量的状态下，用户希望提取预定的数据时，在步骤S14，用户启动搜索软件程序。搜索软件程序包括例如图5所示的图形用户接口(GUI)和搜索准则确定单元33。

这里，参照图5详细地描述搜索屏图像。搜索屏图像包括存储数据选择部分、监视终端选择部分、详细准则选择部分、存储属性选择部分，这些部分以上述次序提供在搜索屏图像的左上方。搜索屏图像还包括存储属性选择部分和搜索结果显示部分。存储日期选择部分被提供来接收有关该信息被选择的年、月、和日的信息。年、月、和日描述监视数据被存储在监视设备时的日期。有关年、月、和日的选择的信息被设置为搜索准则，并且通过使用有关年、月、和日的信息作为关键信息进行搜索。在存储数据选择部分中，可以事先作出初始设置值，以便可以在规定的日期限度内在三天、一星期等内执行数据存储。所以，如果用户一星期检验一次存储的数据，则可以这样来确定初始设置值，以便只显示一星期的数据。随后，当启动搜索软件程序时，仅仅自动提取最近一星期的数据，这减小了执行搜索步骤的数目。

在监视终端选择部分中，由监视系统控制的监视终端以浏览(at-a-glance)图来显示。当从该浏览图中间选择预定的监视终端时，仅仅由所选择的监视终端获取的和存储的数据从视频数据缓存单元21和/或元数据缓存单元22，以及视频数据积累DB 23和/或元数据积累DB24被提取。提取的已存储的数据在搜索结果显示部分被显示。图6显示例如上述显示的存储的数据。在监视终端选择部分中，选择被称为“RZ50”的监视终端，以及由监视终端RZ50获取和存储的图像的数据以在搜索结果显示部分中生成的另一个浏览图的形式被显示。

另外，在图6，仅仅存储的一个数据项按照搜索结果被显示。然而，如果搜索结果显示，至少存在两个存储的数据项，则搜索结果显示至少两行。另外，在图6上，监视终端的名称在监视终端选择部分中生成的另一个浏览图上被显示。然而，监视设备可以按类型被显示。即，被配置成在广大区域中获取图像的监视终端和被配置成在窄的区域中获取图像的监视终端可以分开地显示。在这种情形下，如果用户选择上述的一个类型，则有关按所选择的类型而分类的监视终端的多个监视终端的信息被设置为搜索准则。

回到图5，在详细准则选择部分中，在图4所示的步骤S11所登记的搜索准则被显示在包括树状图、表格等等的浏览的图中。当从浏览图中选择规定的搜索准则时，只有所存储的满足搜索准则的数据，即，满足过滤器和/或封装的条件的数据，和所提取的已存储的数据显示在搜索结果显示部分。

图7显示例如上述的提取的和显示的存储的数据。在详细准则选择部分中，被称为“RX550-封装1”的封装或搜索准则被选择，作为封装的“RX550-封装1”的、满足准则组的存储的数据被显示在选择结果显示部分。如果搜索准则在详细准则选择部分中被选中，则有关过滤器“出现”，“通过”等等的细节(项目：“过滤器”)、有关检测的目标的详细信息(项目：“目标细节”)、有关生成报警信息时的时间的信息(项目：“报警时间”)等等作为在搜索结果显示部分显示的项目被显示。

另外，例如，用于执行编辑的链接和/或按钮(未示出)显示在详细准则选择部分中，以便添加上其它搜索准则，对搜索准则作出改变等等。通过使用链接和/或按钮的功能，在搜索准则被登记后和/或在搜索中，可实现另外的搜索准则的添加和/或对于搜索准则的编辑。

回到显示搜索屏图像的图5，存储属性选择部分被提供以便规定属性作为搜索准则。存储属性选择部分包括，例如，照相机按钮BT1、声音按钮BT2、报警按钮BT3、进程按钮BT4、人工按钮BT5、组合框(combo box)KB6等等。当任何上述的按钮被按下时，按钮被按下的状态被保持，以及在上述的状态被保持的期间当前的设置值是有效的。

当照相机按钮BT1被按下时，就设置一个准则使得只选择由该监视终端获取的图像的存储数据。同样地，当声音按钮BT2被按下时，就设置另一个准则使得只提取声音数据。另外，当报警按钮BT3被按下时，就设置另一个准则以便只提取包括报警信息的数据，以及当进程按钮BT4被按下时，就设置另一个准则以便只提取根据进程而存储的数据。再者，当人工按钮BT5被按下时，就设置另一个准则以便只提取有关启动人工地获取图像的指令的数据，提供该指令是为了触发图像获取处理过程。在组合框KB6中，有关属性的设置值可被改变，以使得例如仅仅提取针对它来生成报警信息的存储的数据和/或满足过滤器和/或封装的条件的存储的数据。

回到图4的流程图，进一步描述搜索处理过程。在搜索软件程序启动后，在步骤S14，确定是否作出初始搜索准则的设置，即，例如，在步骤S15，在存储日期选择部分中是否作出日期和时间的设置。当作出初始搜索准则设置时，在步骤S16，通过使用有关存储日期和时间的信息作为搜索准则而缩小了存储的数据。如果没有作出初始搜索准则的设置，则在步骤S17，确定在存储属性选择部分中是否设置任何准则。如果在存储属性选择部分中任何准则被设置成使得报警按钮3被按下，则在步骤S18，例如，通过使用有关所选择的存储属性的信息作为搜索准则而缩小存储的数据。

如果在存储属性选择部分中没有设置搜索准则，则在步骤S19，确定是否在监视终端选择部分中选择任何监视终端。如果选择了任何监视终端，则在步骤S20，仅仅提取由选中的移动终端所获取和/或存储图像的数据，并且所提取的数据的图像在图2所示的显示单元35中被显示。接着，在步骤S21，确定是否在详细准则选择部分中选择任何过滤器和/或封装作为搜索准则。如果详细搜索准则被规定，则在步骤S22，提取满足所规定的详细搜索准则的存储的数据，并且存储的数据的图像在显示单元35上被显示。如果详细搜索准则没有被规定，则处理过程返回到步骤S15，以便等待到用户规定了搜索准则为止。

如上所述，作为生成报警信息的确定条件的过滤器功能和/或包括通过使用逻辑准则而互相联系的多个过滤器的封装事先被登记，以作为藉其搜索被存储在监视终端的监视数据的准则。所以，可以通过执行诸如点击过滤器和/或封装那样的简易的操作而进行搜索，这减少了为进行搜索而执行的步骤的数目。

另外，由于由用户经常使用的搜索准则可以例如通过规定过滤器和/或封装而事先设置，用户不必每次在希望进行搜索时输入搜索准则。所以，当用户特别地希望搜索大量数据时，对于搜索所需要的时间大大地减少。

另外，由于可以根据详细准则设置进行搜索，而详细准则设置可以在所提供的单个GUI上作为搜索屏图像被编辑，搜索和详细准则设置可以分开实现。例如，详细准则设置可以由技术熟练的人执行，而搜索可以由一个不同的人执行。

另外，当封装在详细准则选择部分中作为搜索准则以树状图显示时，这些树是可以开启的，使得它们的分级被平滑，以及可以选择和搜索在不同的封装中显示的多个过滤器。再者，当封装被显示在列表中时，在不同的封装中显示的多个过滤器可以被选择和搜索，而不用在列表中进行任何修改。通过执行上述的操作，搜索可以在减少步骤数目的情况下以灵活的方式执行。

在上述的实施例中，例如描述了一个包括图像拾取单元的照相机作为监视终端。然而，可以使用话筒作为监视终端。

此外，在上述的实施例中，描述了包括视频数据和/或声音数据的存储的数据的属性，以及藉以启动数据存储的方法等等，例如，作为属性准则功能，作为搜索准则。藉以启动数据存储的方法可包括：由用户人工地启动数据存储的方法、根据进程控制启动数据存储的方法、当预定的准则满足时启动数据存储的方法，等等。然而，属性准则可包括由用户附加到存储的数据的信息，其中附加上的信息包括有关书签、评论等等的信息。

此外，在上述的实施例中，数据被存储时的日期和时间是在存储日期选择部分中规定的，并且日期和时间界限是作为初始设置值而规定的。然而，按照本发明的另一个实施例，实现数据存储的日期和时间是可以在搜索软件程序被启动时可靠地规定的。

另外，在上述的实施例中，没有提供为了发出用来启动进行搜索的指令而使用的按钮等。即，搜索是在移动终端选择部分和/或详细准则选择部分中选择了预定的准则时就开始。然而，可以单独提供一个为了发出用来启动搜索的指令所使用的GUI，该GUI包括搜索按钮等等。

另外，按照上述的实施例，搜索是通过选择监视终端和/或详细的准则而启动的。然而，如果进行搜索不需要详细准则设置，则可以不进行上述的选择。

另外，按照上述的实施例，有关执行数据存储的日期和时间的信息可被设置为初始搜索准则。然而，一个被假设为经常要使用的搜索准则(诸如“确定整个屏幕图像是进行搜索监视目标的区域”)，则可以例如事先在监视系统设置以作为初始搜索准则，而不用等待到用户把上述的搜索准则设置在监视系统中。

本领域技术人员应当看到，可以在所附权利要求或它们的等价物的范围内，根据设计要求和其它因素，作出各种修改、组合、子组合和替换。