对象监视系统、对象监视方法和用于提取待监视对象的程序

摘要

第一摄影装置(60)生成在第一范围中出现的状态在其中被摄影的状态图像。第二摄影装置(70)生成待监视对象的图像，在该图像中，在第二范围中存在的待监视对象被摄影。特定状态检测装置(81)从状态图像检测特定状态。待监视对象分析装置(82)通过使用特定状态在其中被检测到的状态图像来分析待监视对象的状况。待监视对象特征提取装置(85)从待监视对象的图像并且基于待监视对象的状况来提取在指定待监视对象时使用的特征。

说明书

技术领域

本发明涉及一种用于监视感兴趣的对象的对象监视系统、监视目标提取设备、对象监视方法、监视目标提取方法和监视目标提取程序。

背景技术

已知各种从由为了监视而安装的相机捕获的图像检测各种情形的方法。另外，随着脸部识别技术的新近发展，现在有可能通过比较由用于捕获人脸的相机捕获的图像来确定不同图像中的人是否为相同人。

也已知各种检测有问题行为(比如倾倒垃圾或者涂鸦)的方法。例如，非专利文献(NPL)1描述了一种通过从由用于监视繁忙场景的相机捕获的图像检测可疑背景改变来检测有问题状态的方法。

引用列表

非专利文献

NPL1:D.Gibbins,G.N.NewsamandM.J.Brooks,“DetectingSuspiciousBackgroundChangesinVideoSurveillanceofBusyScenes”,1996。

发明内容

技术问题

近年来，存在对于不仅从由监视相机捕获的图像检测有问题状态而且还指定这样的问题的原因的需求。例如，优选的是可以从由监视相机捕获的图像自动地发现表现有问题行为(比如倾倒垃圾或者涂鸦)的惯常违反者。

这需要两种技术，即，检测问题行为(比如倾倒垃圾或者涂鸦)的技术和确定有问题行为是否为相同人所为的技术。然而，难以使用检测有问题行为的技术来指定对每个有问题行为负责的人。

为了捕获有问题行为的图像，希望安装具有大俯角的相机以即使在拥挤环境中仍然未被其他人遮挡。在另一方面，为了确定不同图像中的人是否为相同人，由于在图像之间的脸部识别中的约束而有必要尽可能从前部捕获每个人脸。因此，为了捕获人脸的图像，希望安装具有小俯角的相机。

因此，难以使用相同相机来同时实现以上提到的两种技术。换而言之，例如，表现有问题行为的惯常违反者难以通过简单地组合以上提到的两种技术而被自动地发现。

有鉴于此，本发明的示例性目的是提供一种用来可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象的对象监视系统、监视目标提取设备、对象监视方法、监视目标提取方法和监视目标提取程序。

对问题的解决方案

根据本发明的一个示例性方面的一种对象监视系统包括：第一成像装置，该第一成像装置用于通过捕获在第一范围中发生的状态来创建状态图像；第二成像装置，该第二成像装置用于通过捕获在第二范围中存在的监视目标来创建监视目标图像；特定状态检测装置，该特定状态检测装置用于从状态图像检测特定状态；监视目标分析装置，该监视目标分析装置用于使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及监视目标特征提取装置，该监视目标特征提取装置用于基于监视目标的状况，来从监视目标图像提取用于指定监视目标的特征。

根据本发明的一个示例性方面的一种监视目标提取设备包括：特定状态检测装置，该特定状态检测装置用于从由用于捕获在第一范围中发生的状态的第一成像装置捕获的状态图像检测特定状态；监视目标分析装置，该监视目标分析装置用于使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及监视目标特征提取装置，该监视目标特征提取装置用于基于监视目标的状况，来从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

根据本发明的一个示例性方面的一种对象监视方法包括：通过捕获在第一范围中发生的状态来创建状态图像；从状态图像检测特定状态；使用特定状态从其被检测到的状态图像来分析监视目标的状况；基于监视目标的状况、通过捕获在第二范围中存在的监视目标来创建监视目标图像；以及从监视目标图像提取用于指定监视目标的特征。

根据本发明的一个示例性方面的一种监视目标提取方法包括：从由用于捕获在第一范围中发生的状态的第一成像装置捕获的状态图像检测特定状态；使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及基于监视目标的状况，从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

根据本发明的一个示例性方面的一种监视目标提取程序，该监视目标提取程序使得计算机执行：特定状态检测处理，该特定状态检测处理从由用于捕获在第一范围中发生的状态的第一成像装置捕获的状态图像检测特定状态；监视目标分析处理，该监视目标分析处理使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及监视目标特征提取处理，该监视目标特征提取处理用于基于监视目标的状况，从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

本发明的有利效果

根据本发明，可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

附图说明

[图1]它是描绘了根据本发明的对象监视系统的一个示例性实施例的框图。

[图2]它是描绘了其中状态图像由不同相机捕获的情况的示例的说明图。

[图3]它是描绘了对象监视系统的操作的示例的流程图。

[图4]它是描绘了对象监视系统的特定示例的说明图。

[图5]它是描绘了根据本发明的对象监视系统的示意结构的框图。

[图6]它是描绘了根据本发明的对象监视系统的另一示意结构的框图。

[图7]它是描绘了根据本发明的监视目标提取设备的示意结构的框图。

[图8]它是描绘了根据本发明的监视目标提取设备的另一示意结构的框图。

具体实施方式

图1是描绘了根据本发明的对象监视系统的一个示例性实施例的框图。在这一示例性实施例中的对象监视系统包括状态检测相机11、状态图像存储装置12、监视目标提取装置13、监视目标图像存储装置14、特定状态检测装置15、监视目标分析装置16、时间预测装置17、监视目标特征提取装置18、灰名单存储装置19和对象指定装置20。

状态检测装置11是被安装用于捕获特定状态将在其中被检测到的范围的图像的相机。特定状态例如意味着其中发生如以上提到的有问题行为(例如，倾倒垃圾、涂鸦、闲逛等)的状态。注意，特定状态不限于其中发生有问题行为的状态而可以例如是其中发生希望的行为的状态。

状态检测相机11被优选地安装为具有大俯角以便捕获如下图像，可以从该图像更适当地检测到在预定范围中发生的状态。

在以下描述中，由状态检测相机11捕获的图像被称为“状态图像”。此外，由状态检测相机11捕获的范围被称为“第一范围”以区分它与由以下提到的监视目标提取装置13捕获的范围。第一范围根据状态检测相机11的安装位置、安装角度、设置的缩放等而被确定。例如，第一范围可以由视角表达。状态检测相机11在状态图像存储装置12中登记捕获的状态图像和与状态图像有关的信息。

状态图像存储装置12存储由状态检测相机11捕获的状态图像。状态图像存储装置12可以存储状态图像被捕获的时间和位置、用于标识捕获状态图像的相机的信息等连同状态图像。

监视目标提取相机13是被安装用于捕获在预定范围中出现的监视目标的相机。监视目标根据被视为特定状态的原因的对象的类型而被确定。作为示例，以上提到的有问题行为(比如倾倒垃圾、涂鸦或者闲逛)被归于人，并且因此监视目标是人。这里，监视目标提取相机13可以通过捕获人作为监视目标来创建监视目标图像。

作为另一示例，骑摩托车者的抢夺被归于抢夺者乘骑的摩托车，并且因此监视目标是摩托车。注意，监视目标不限于人或者摩托，而可以是汽车等。

由监视目标提取相机13捕获的监视目标图像由以下提到的监视目标特征提取装置18用来提取可以用于指定监视目标的特征。监视目标提取相机13优选地被安装为具有小俯角以便捕获如下图像，可以从该图像更适当地提取监视目标的特征。

在以下描述中，由监视目标提取相机13捕获的图像被称为“监视目标图像”。此外，由监视目标提取相机13捕获的范围被称为“第二范围”。第二范围也根据监视目标提取相机的安装位置、安装角度、设置的缩放等而被确定。例如，第二范围可以由视角表达。第一范围和第二范围可以部分地或者全部地相互重叠或者根本未相互重叠。

监视目标提取相机13在监视目标图像存储装置14中登记捕获的监视目标图像和与监视目标有关的信息。

尽管在这一示例性实施例中使用其中用于捕获状态图像的状态检测相机11的数目和用于捕获监视目标图像的监视目标提取相机13的数目中的每个数目是一的示例，但是用于捕获状态图像的相机的数目和用于捕获监视目标图像的相机的数目中的每个数目不限于一，而是可以是两个或者更多个。

通常地，希望安装具有大俯角的相机以便捕获预定范围的状态，而希望安装具有小俯角的相机以便指定监视目标。因而，状态检测相机11的俯角被设置为大于监视目标提取相机13的俯角。

监视目标图像存储装置14存储由监视目标提取相机13捕获的监视目标图像。监视目标图像存储装置14可以存储监视目标图像被捕获的时间和位置、用于标识捕获监视目标图像的相机的信息等连同监视目标图像。

特定状态检测装置15从状态图像检测特定状态。特定状态检测装置15可以不仅使用当前由状态检测相机11捕获的状态图像而且还使用在状态图像存储装置12中存储的过去的至少一个状态图像(下文被称为“过去状态图像”)来检测特定状态。例如，在检测到其中在第一范围中倾倒垃圾的状态的情况下，特定状态检测装置15从由状态检测相机11捕获的状态图像和过去状态图像检测作为有问题行为的倾倒垃圾状态。

由特定状态检测装置15从状态图像检测特定状态的方法是任意的。特定状态检测装置15可以例如使用在NPL1中描述的方法从状态图像检测特定状态或者使用其它方法来检测特定状态。

监视目标分析装置16使用从其检测到特定状态的状态图像来分析监视目标的状况。监视目标的状况意味着可以从由状态检测相机11捕获的状态图像或者状态图像组指定的监视目标的移动或者出现。注意，监视目标的状况无需是可以用来指定个别监视目标的信息。作为示例，在其中监视目标是人的情况下，监视目标的状况包括人的衣着、发型、移动状况(例如，速度、方向)等。作为另一示例，在其中监视目标是汽车的情况下，监视目标的状况包括汽车的颜色、形状、运行状况等。

这里，监视目标分析装置16可以不仅使用从其检测特定状态的状态图像而且还使用在状态图像存储装置12中存储的至少一个过去状态图像来分析监视目标的状况。例如，监视目标分析装置16可以使用从其检测到特定状态的状态图像和在捕获状态图像之前的预定时段内(例如，5秒内)捕获的至少一个过去状态图像来分析监视目标的移动状况。通过以这一方式使用过去状态图像，监视目标分析装置16可以更适当地分析监视目标的状况。

由监视目标分析装置16分析的监视目标的数目可以是一个或者多个。例如，在其中监视目标是人的情况下，监视目标分析装置16可以确定在特定状态的检测时间捕获的每个人是可疑的，并且分析作为监视目标的每个人。

时间预测装置17从由监视目标分析装置16分析的监视目标的状况预测监视目标在由监视目标提取装置13捕获的范围(即，第二范围)中出现的时间。由时间预测装置17预测的时间下文被简称为“预测时间”。

由于可以在安装每个相机时指定由状态检测相机11捕获的范围(第一范围)和由监视目标提取相机13捕获的范围(第二范围)，所以时间预测装置17可以基于从这些范围确定的位置来预测监视目标在第二范围中出现的时间。

例如，在其中监视目标分析装置16分析监视目标的移动状况的情况下，时间预测装置17可以基于移动状况来预测监视目标在第二范围中出现的时间。具体而言，时间预测装置17可以从状态图像指定监视目标的空间位置以及移动方向和速度，并且从指定的移动方向和速度计算监视目标从指定的空间位置到达指示第二范围的空间位置的时间。

注意，时间预测方法不限于以上提到的方法。监视目标分析装置16和时间预测装置17可以使用其它跟踪技术来预测时间。例如，在监视目标在其中由状态检测相机11捕获的范围中，监视目标分析装置16可以使用对象跟踪技术来执行跟踪。在监视目标在其中未由状态检测相机11捕获的范围中，时间预测装置17可以考虑监视目标的速度来估计流逝的时间，并且使用估计的流逝的时间来预测时间。

监视目标特征提取装置18从监视目标图像提取用于指定监视目标的特征。这里，监视目标特征提取装置18在基于预测的时间而被确定的时段(下文被称为“预测的时段”)中使用监视目标图像。预测的时段可以由观察者预先设置，或者根据由监视目标分析装置16分析的状况而被设置。

作为从监视目标图像提取的特征，可以根据监视目标预先选择可以用来指定监视目标的特征。作为示例，在其中监视目标是人的情况下，监视目标特征提取装置18可以从监视目标图像提取脸部特征作为可以用来指定人的特征。作为另一示例，在其中监视目标是汽车的情况下，监视目标特征提取装置18可以从监视目标图像提取牌照作为可以用来指定汽车的特征。这里提到的特征各自是可以用来指定监视目标的特征的示例，并且监视目标特征提取装置18可以提取其它特征作为可以用来指定监视目标的特征。

监视目标特征提取装置18可以仅使用在预测的时间捕获的监视目标图像来提取监视目标的特征。然而，由于存在监视目标的移动状况改变的高可能性，所以更优选地在包括在预测的时间之前和之后二者的额外时间的时段中使用监视目标图像，从而因此有助于指定监视目标。

因而，监视目标提取相机13可以在预测的时段中创建监视目标图像。通过以这一方式将监视目标提取相机13在其中创建监视目标图像的时段缩减成预计监视目标在其中出现的时段，有可能提高在指定监视目标时的准确度。这一处理也对处置的数据量更小和在以下提到的对象指定装置20指定对象的处理中的更低计算复杂性有贡献。

在其中监视目标分析装置16分析监视目标的出现的情况下，监视目标特征提取装置18可以基于分析的出现来缩减其特征将被提取的监视目标。例如，在其中监视目标是人并且监视目标分析装置16分析人的衣着的情况下，监视目标特征提取装置18可以提取由衣着指定的人的特征。

通过以这一方式根据出现来指定其特征将被提取的监视目标，可以阻止提取在相机之间具有低相关度的监视目标的特征的处理。这对更小数据量和在提取处理中的更低计算复杂性有贡献。

监视目标特征提取装置18可以计算指示监视目标的概率程度的可能性连同监视目标的特征。例如，监视目标特征提取装置18可以向从在与预测的时间接近的时间捕获的监视目标图像提取的监视目标指派最高可能性，并且向从在从预测的时间更远的时间捕获的监视目标图像提取的监视目标指派更低可能性。

另外，例如，在其中监视目标分析装置16分析监视目标的出现的情况下，监视目标特征提取装置18可以使用在分析的出现与从监视目标图像提取的监视目标的出现之间的相似度作为监视目标的可能性。

监视目标特征提取装置18在灰名单存储装置19中登记监视目标的提取的特征和与监视目标有关的信息。例如，监视目标特征提取装置18可以将脸部图像本身登记为监视目标的提取的特征。

灰名单存储装置19存储由监视目标特征提取装置18提取的监视目标的特征。具体而言，灰名单存储装置19相互关联地存储监视目标的特征和从其提取了监视目标的特定状态。

灰名单存储装置19可以与监视目标关联地存储检测特定状态的状态检测相机11的标识信息。另外，在其中监视目标特征提取装置18计算监视目标的可能性的情况下，灰名单存储装置19可以与监视目标关联地存储可能性。在灰名单存储装置19中存储的信息是在以下提到的对象指定装置20指定对象时使用的信息，并且因此在以下描述中也被称为“灰名单”。

对象指定装置20为每个类型的特定状态比较由监视目标特征提取装置18从多个监视目标图像提取的监视目标的特征，并且将以高频率出现的监视目标指定为对象。具体而言，对象指定装置20可以比较与来自在灰名单存储装置19中存储的监视目标的特征之中的公共类型的特定状态对应的监视目标的特征，并且将如下监视目标指定为对象，用于该监视目标的、被估计为相同的特征被提取至少预定次数。

这里比较的监视目标可以是由相同相机捕获的监视目标或者由不同相机捕获的监视目标，只要它们对应于公共类型的特定状态。

图2是描绘了其中状态图像由不同相机捕获的情况的示例的说明图。在图2中描绘的示例中，两个相机捕获不同范围的状态图像，每个范围用于检测倾倒垃圾状态。在这样的情况下，监视目标的特征和作为特定状态的倾倒垃圾状态最终被相互关联地存储在灰名单存储装置19中。因此，对象指定装置20可以使用由不同相机捕获的状态图像来指定对象。

在其中每个监视目标的可能性可用的情况下，对象指定装置20可以使用每个监视目标的可能性作为用于计算频率的要素。例如，对象指定装置20可以指定具有被估计为相同的特征的监视目标，并且使用监视目标的可能性之和作为频率。备选地，对象指定装置20可以使用监视目标的可能性的乘积作为频率。

特定状态检测装置15、监视目标分析装置16、时间预测装置17、监视目标特征提取装置18和对象指定装置20由根据程序(监视目标提取程序)操作的计算机的CPU实现。作为示例，程序可以被存储在用于实现对象监视系统的信息终端中的存储单元(未描绘)中，其中CPU读取程序并且根据程序作为特定状态检测装置15、监视目标分析装置16、时间预测装置17、监视目标特征提取装置18和对象指定装置20操作。

状态检测相机11和监视目标提取相机13可以如由根据程序(监视目标提取程序)操作的CPU指令的那样分别创建状态图像和监视目标图像。

特定状态检测装置15、监视目标分析装置16、时间预测装置17、监视目标特征提取装置18和对象指定装置20可以各自由专用硬件实现。尽管在以上描述中在对象监视系统中包括对象指定装置20，但是作为示例，可以在另一主机系统中实施对象指定装置20。

状态图像存储装置12、监视目标图像存储装置14和灰名单存储装置19例如由磁盘等实现。

下文描述了这一示例性实施例中的对象监视系统的操作。图3是描绘了这一示例性实施例中的对象监视系统的操作的示例的流程图。

首先，状态检测相机11通过捕获在第一范围中发生的状态来创建状态图像(步骤S11)。这里，状态检测相机11可以在状态图像存储装置12中登记状态图像。在特定状态检测装置15从状态图像检测到特定状态(步骤S12)时，监视目标分析装置16使用特定状态从其被检测到的状态图像来分析监视目标的状况(步骤S13)。

时间预测装置17从监视目标的状况预测监视目标在第二范围中出现的时间(步骤S14)。监视目标提取相机13在基于预测的时间而被确定的时段中通过捕获在第二范围中存在的监视目标来创建监视目标图像(步骤S15)。监视目标特征提取装置18从监视目标图像提取用于指定监视目标的特征，比如脸部特征(步骤S16)，并且在灰名单存储装置19中登记提取的特征(步骤S17)。

此后，对象指定装置20比较用于每个类型的特定状态的监视目标的特征，并且将以高频率出现的监视目标指定为对象(步骤S18)。

下文描述了这一示例性实施例中的对象监视系统的特定示例。图4是描绘了这一示例性实施例中的对象监视系统的特定示例的说明图。在图4中描绘的示例涉及检测倾倒垃圾状态并且指定看来是惯常违反者的人的操作。

被安装用于检测倾倒垃圾状态的状态检测相机11按照规律间隔捕获第一范围的状态图像。在特定状态检测装置15从状态图像检测到倾倒垃圾状态时，监视目标分析装置16通过参考过去状态图像来分析看来是惯常违反者的人。

时间预测装置17从由监视目标分析装置16分析的监视目标的状况预测监视目标在由监视目标提取相机13捕获的范围中出现的时间。远离状态检测相机11而被安装的监视目标提取相机13在预测的时间或者在预测的时段中捕获包括每个可能的人的脸部图像的监视目标图像。

监视目标特征提取装置18考虑时间约束和衣着相似度、从捕获的监视目标图像提取监视目标的特征，并且在灰名单存储装置19中登记监视目标的提取的特征。

每当检测到特定状态(倾倒垃圾状态)时，相同过程被执行以在灰名单存储装置19中登记监视目标的提取的特征。对象指定装置20然后使用脸部识别技术来提取多次被确定为相同的人。对象指定装置20在黑名单(监视列表)中登记该人。

如以上描述的那样，根据这一示例性实施例，状态检测相机11通过捕获在第一范围中发生的状态来创建状态图像。特定状态检测装置15从状态图像检测特定状态。监视目标分析装置16使用特定状态从其被检测到的状态图像来分析监视目标的状况。监视目标特征提取装置18基于监视目标的分析的状况，从由监视目标提取相机13捕获的监视目标图像提取用于指定监视目标的特征。

这里，时间预测装置17可以从监视目标的状况预测监视目标在第二范围中出现的时间，从而使得监视目标提取相机13通过在基于预测的时间而被确定的时段中捕获在第二范围中存在的监视目标来创建监视目标图像。

利用以上描述的结构，可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

在这一示例性实施例中的对象监视系统使用两个类型的图像，即，监视目标难以在其中被指定、但是可以检测到特定状态的图像(状态图像)和特定状态难以在其中被检测到、但是可以指定监视目标的图像(监视目标图像)。从状态图像提取用于缩减监视目标的信息(例如，衣着)，但是不能指定监视目标。从监视目标图像提取用于指定监视目标的特征(例如，脸部特征)。

在这一示例性实施例中的对象监视系统使用具有监视目标可标识性中的相对差异的这两个类型的信息。换而言之，这两个类型的信息可以由于在捕获提取目标的相机之间的分辨率差异而可标识性不同。可以通过同时使用具有不同属性的这些信息来高效地缩减监视目标。

下文描述了根据本发明的示意结构。图5是描绘了根据本发明的对象监视系统的示意结构的框图。在图5中作为示例而被描绘的对象监视系统包括：第一成像装置60(例如，状态检测相机11)，用于通过捕获在第一范围中发生的状态来创建状态图像；第二成像装置70(例如，监视目标提取相机13)，用于通过捕获在第二范围中存在的监视目标来创建监视目标图像；特定状态检测装置81(例如，特定状态检测装置15)，用于从状态图像检测特定状态(例如，倾倒垃圾)；监视目标分析装置82(例如，监视目标分析装置16)，用于使用特定状态从其被检测到的状态图像来分析监视目标的状况(例如，移动状况、衣着)；时间预测装置83(例如，时间预测装置17)，用于从监视目标的状况预测监视目标在第二范围中出现的时间；以及监视目标特征提取装置84(例如，监视目标特征提取装置18)，用于从监视目标图像提取用于指定监视目标的特征(例如，脸部特征)。

第二成像装置70在基于由时间预测装置83预测的时间而被确定的时段中创建监视目标图像。

利用这样的结构，可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

另外，监视目标分析装置82可以分析监视目标的移动状况，其中时间预测装置83基于移动状况预测监视目标在第二范围中出现的时间。

另外，对象监视系统可以包括用于存储过去创建的过去状态图像的过去状态图像存储装置(例如，状态图像存储装置12)，其中监视目标分析装置82使用特定状态从其被检测到的状态图像和在捕获到状态图像之前的预定时段内捕获的过去状态图像来分析监视目标的移动状况。利用这样的结构，可以更适当地确定监视目标的移动状况。

另外，监视目标分析装置82可以分析监视目标的外观(例如，衣着、形状)，其中监视目标特征提取装置84基于分析的外观来缩减其特征将被提取的监视目标。利用这样的结构，可以阻止提取在相机之间具有低相关度的监视目标的特征的过程。这对更小数据量和在提取处理中的更低计算复杂性有贡献。

另外，第二成像装置70可以通过捕获人作为监视目标来创建监视目标图像，其中监视目标特征提取装置84从监视目标图像提取人的脸部特征。

另外，对象监视系统可以包括用于对于每个类型(例如，倾倒垃圾)的特定状态、比较由监视目标特征提取装置84从多个监视目标图像提取的监视目标的特征，并且将被估计为以高频率出现的监视目标指定为对象的对象指定装置(例如，对象指定装置20)。

这里，对象指定装置可以将如下监视目标指定为对象：用于该监视目标的被估计为相同的特征被提取了至少预定次数。另外，监视目标特征提取装置84可以计算指示监视目标的概率程度的可能性连同监视目标的特征，其中对象指定装置使用可能性来指定监视目标。

根据本发明的对象监视系统可以不包括在图5中作为示例而被描绘的时间预测装置83。图6是描绘了根据本发明的对象监视系统的另一示意结构的框图。在图6中作为示例而被描绘的对象监视系统包括：第一成像装置60)(例如，状态检测相机11)；第二成像装置70(例如，监视目标提取相机13)；特定状态检测装置81(例如，特定状态检测装置15)；监视目标分析装置82(例如，监视目标分析装置16)；以及监视目标特征提取装置85(例如，监视目标特征提取装置18)，用于基于监视目标的状况，从监视目标图像提取用于指定监视目标的特征。

第一成像装置60、第二成像装置70、特定状态检测装置81和监视目标分析装置82与在图5中作为示例而被描绘的相应装置相同。利用这样的结构，也可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

图7是描绘了根据本发明的监视目标提取设备的示意结构的框图。在图7中作为示例而被描绘的监视目标提取设备包括：特定状态检测装置81(例如，特定状态检测装置15)；监视目标分析装置82(例如，监视目标分析装置16)；时间预测装置83(例如，时间预测装置17)；以及监视目标特征提取装置84(例如，监视目标特征提取装置18)。

特定状态检测装置81、监视目标分析装置82、时间预测装置83和监视目标特征提取装置84与在图5中作为示例而被描绘的相应装置相同。利用这样的结构，也可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

根据本发明的监视目标提取设备可以不包括在图7中作为示例而被描绘的时间预测装置83。图8是描绘了根据本发明的监视目标提取设备的另一示意结构的框图。在图8中作为示例而被描绘的监视目标提取设备包括：特定状态检测装置81(例如，特定状态检测装置15)；监视目标分析装置82(例如，监视目标分析装置16)；以及监视目标特征提取装置85(例如，监视目标特征提取装置18)。

特定状态检测装置81和监视目标分析装置82与在图5中作为示例而被描绘的装置相同。监视目标特征提取装置85与在图7中作为示例而被描绘的装置相同。利用这样的结构，也可以从由安装的相机捕获的图像自动地收集被视为特定状态的原因的对象。

可以在以下补充备注中部分地或者完全地描述以上描述的示例性实施例，但是本发明不限于以下补充备注。

(补充备注1)一种监视目标提取设备包括：特定状态检测装置，该特定状态检测装置用于从由用于捕获在第一范围中出现的状态的第一成像装置捕获的状态图像检测特定状态；监视目标分析装置，该监视目标分析装置用于使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及监视目标特征提取装置，该监视目标特征提取装置用于基于监视目标的状况，来从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注2)根据补充备注1的监视目标提取设备，包括：时间预测装置，该时间预测装置用于从监视目标的状况预测监视目标在由第二成像装置捕获的第二范围中出现的时间，其中监视目标特征提取装置在基于由时间预测装置预测的时间而被确定的时段中，从由第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注3)根据补充备注2的监视目标提取设备，其中监视目标分析装置使用特定状态从其被检测到的状态图像来分析监视目标的移动状况，并且其中时间预测装置基于移动状况预测监视目标在第二范围中出现的时间。

(补充备注4)根据补充备注3的监视目标提取设备，包括过去状态图像存储装置，该过去状态图像存储装置用于存储过去创建的过去状态图像，其中监视目标分析装置使用特定状态从其被检测到的状态图像和在状态图像被捕获到之前的预定时段内捕获的过去状态图像，来分析监视目标的移动状况。

(补充备注5)根据补充备注1至4中的任一补充备注的监视目标提取设备，其中监视目标分析装置分析监视目标的外观，并且其中监视目标特征提取装置基于分析的外观缩减其特征将被提取的监视目标。

(补充备注6)根据补充备注1至5中的任一补充备注的监视目标提取设备，其中监视目标特征提取装置从由捕获人作为监视目标的第二成像装置创建的监视目标图像提取人的脸部特征。

(补充备注7)根据补充备注1至6中的任一补充备注的监视目标提取设备，包括：对象指定装置，该对象指定装置用于对于每个类型的特定状态，比较由监视目标特征提取装置从多个监视目标图像提取的监视目标的特征，并且将被估计为以高频率出现的监视目标指定为对象。

(补充备注8)根据补充备注7的监视目标提取设备，其中对象指定装置将如下监视目标指定为对象：用于该监视目标的被估计为相同的特征被提取至少预定次数。

(补充备注9)根据补充备注7或者8的监视目标提取设备，其中监视目标特征提取装置计算指示监视目标的概率程度的可能性连同监视目标的特征，并且其中对象指定装置使用可能性来指定监视目标。

(补充备注10)一种对象监视方法，包括：通过捕获在第一范围中发生的状态来创建状态图像；从状态图像检测特定状态；使用特定状态从其被检测到的状态图像来分析监视目标的状况；基于监视目标的状况、通过捕获在第二范围中存在的监视目标来创建监视目标图像；以及从监视目标图像提取用于指定监视目标的特征。

(补充备注11)根据补充备注10的对象监视方法，包括：从监视目标的状况预测监视目标在第二范围中出现的时间；在基于预测的时间而被确定的时段中，通过捕获在第二范围中存在的监视目标来创建监视目标图像；以及从监视目标图像提取用于指定监视目标的特征。

(补充备注12)根据补充备注11的对象监视方法，包括：使用特定状态从其被检测到的状态图像来分析监视目标的移动状况；以及基于移动状况来预测监视目标在第二范围中出现的时间。

(补充备注13)根据补充备注12的对象监视方法，包括：使用特定状态从其被检测到的状态图像和在状态图像被捕获之前的预定时段内捕获的过去状态图像来分析监视目标的移动状况。

(补充备注14)根据补充备注10至13中的任一补充备注的对象监视方法，包括：分析监视目标的外观；以及基于分析的外观来缩减其特征将被提取的监视目标。

(补充备注15)根据补充备注10至14中的任一补充备注的对象监视方法，包括：从由捕获人作为监视目标的第二成像装置创建的监视目标图像提取人的脸部特征。

(补充备注16)根据补充备注10至15中的任一补充备注的对象监视方法，包括：对于每个类型的特定状态，比较从多个监视目标图像提取的监视目标的特征，以及将被估计为以高频率出现的监视目标指定为对象。

(补充备注17)根据补充备注16的对象监视方法，包括：将如下监视目标指定为对象：用于该监视目标的被估计为相同的特征被提取至少预定次数。

(补充备注18)根据补充备注16或者17的对象监视方法，包括：计算指示监视目标的概率程度的可能性连同监视目标的特征；以及使用可能性来指定监视目标。

(补充备注19)一种监视目标提取方法，包括：从由用于捕获在第一范围中发生的状态的第一成像装置捕获的状态图像检测特定状态；使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及基于监视目标的状况，从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注20)根据补充备注19的监视目标提取方法，包括：从监视目标的状况预测监视目标在由第二成像装置捕获的第二范围中出现的时间；以及在基于预测的时间而被确定的时段中，从由第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注21)根据补充备注20的监视目标提取方法，包括：使用特定状态从其被检测到的状态图像来分析监视目标的移动状况；以及基于移动状况来预测监视目标在第二范围中出现的时间。

(补充备注22)根据补充备注21的监视目标提取方法，包括：使用特定状态从其被检测的状态图像和在状态图像被捕获之前的预定时段内捕获的过去状态图像来分析监视目标的移动状况。

(补充备注23)根据补充备注19至22中的任一补充备注的监视目标提取方法，包括：分析监视目标的外观；以及基于分析的外观来缩减其特征将被提取的监视目标。

(补充备注24)根据补充备注19至23中的任一补充备注的监视目标提取方法，包括：从由捕获人作为监视目标的第二成像装置创建的监视目标图像提取人的脸部特征。

(补充备注25)根据补充备注19至24中的任一补充备注的监视目标提取方法，包括：对于每个类型的特定状态，比较从多个监视目标图像提取的监视目标的特征，以及将被估计为以高频率出现的监视目标指定为对象。

(补充备注26)根据补充备注25的监视目标提取方法，包括：将如下监视目标指定为对象：用于该监视目标的被估计为相同的特征被提取至少预定次数。

(补充备注27)根据补充备注25或者26的监视目标提取方法，包括：计算指示监视目标的概率程度的可能性连同监视目标的特征；以及使用可能性来指定监视目标。

(补充备注28)一种监视目标提取程序，该监视目标提取程序用于使得计算机执行：特定状态检测处理，该特定状态检测处理从由用于捕获在第一范围中发生的状态的第一成像装置捕获的状态图像检测特定状态；监视目标分析处理，该监视目标分析处理使用特定状态从其被检测到的状态图像来分析监视目标的状况；以及监视目标特征提取处理，该监视目标特征提取处理用于基于监视目标的状况，从由用于捕获在第二范围中存在的监视目标的第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注29)根据补充备注28的监视目标提取程序，包括：使得计算机执行：时间预测处理，该时间预测处理从监视目标的状况预测监视目标在由第二成像装置捕获的第二范围中出现的时间，其中监视目标提取程序使得计算机在监视目标特征提取处理中，在基于预测的时间而被确定的时段中，从由第二成像装置捕获的监视目标图像提取用于指定监视目标的特征。

(补充备注30)根据补充备注29的监视目标提取程序，使得计算机：在监视目标分析处理中，使用特定状态从其被检测到的状态图像来分析监视目标的移动状况；以及在时间预测处理中，基于移动状况来预测监视目标在第二范围中出现的时间。

(补充备注31)根据补充备注30的监视目标提取程序，使得计算机：在监视目标分析处理中，使用特定状态从其被检测的状态图像和在状态图像被捕获之前的预定时段内捕获的过去状态图像来分析监视目标的移动状况。

(补充备注32)根据补充备注28至31中的任一补充备注的监视目标提取程序，使得计算机：在监视目标分析处理中，分析监视目标的外观；以及在监视目标特征提取处理中，基于分析的外观来缩减其特征将被提取的监视目标。

(补充备注33)根据补充备注28至32中的任一补充备注的监视目标提取程序，使得计算机：在监视目标特征提取处理中，从由捕获人作为监视目标的第二成像装置创建的监视目标提取人的脸部特征。

(补充备注34)根据补充备注28至33中的任一补充备注的监视目标提取程序，使得计算机执行：对象指定处理，该对象指定处理对于每个类型的特定状态，比较在监视目标特征提取处理中从多个监视目标图像提取的监视目标的特征，以及将被估计为以高频率出现的监视目标指定为对象。

(补充备注35)根据补充备注34的监视目标提取程序，使得计算机：在对象指定处理中，将如下监视目标指定为对象：用于该监视目标的被估计为相同的特征被提取至少预定次数。

(补充备注36)根据补充备注34或者35的监视目标提取程序，使得计算机：在监视目标特征提取处理中，计算指示监视目标的概率程度的可能性连同监视目标的特征；以及在对象指定处理中，使用可能性来指定监视目标。

(补充备注37)一种监视系统，包括：第一相机；第二相机；以及提取装置，该提取装置用于在特定状态在从第一相机获得的图像中发生时，基于监视目标的状况，从获得自第二相机的图像提取用于监视目标的候选。

(补充备注38)根据补充备注37的监视系统，其中第一相机捕获比第二相机更宽的范围。

(补充备注39)根据补充备注38的监视系统，其中第一相机被安装有比第二相机更大的俯角。

(补充备注40)一种监视方法，包括：在特定状态在从第一相机获得的图像中发生时，基于监视目标的状况，从获得自第二相机的图像提取用于监视目标的候选。

(补充备注41)根据补充备注40的监视方法，其中第一相机捕获比第二相机更宽的范围。

(补充备注42)根据补充备注41的监视方法，其中第一相机被安装有比第二相机更大的俯角。

(补充备注43)一种监视目标提取程序，用于使得计算机：在特定状态在从第一相机获得的图像中发生时，基于监视目标的状况，从获得自第二相机的图像提取用于监视目标的候选。

(补充备注44)根据补充备注43的监视目标提取程序，其中使得计算机：在提取处理中，在所述特定状态在从用于捕获比第二相机更宽的范围的第一相机获得的图像中发生时，基于监视目标的状况，从获得自第二相机的图像提取用于监视目标的候选。

(补充备注45)根据补充备注44的监视目标提取程序，其中使得计算机：在提取处理中，在所述特定状态在从安装有比第二相机更大的俯角的第一相机获得的图像中发生时，基于监视目标的状况，从获得自第二相机的图像提取用于监视目标的候选。

尽管已经参照以上示例性实施例和示例描述了本发明，但是本发明不限于以上示例性实施例和示例。可以对本发明的结构和细节进行本领域技术人员在本发明的范围内可理解的各种改变。

本申请要求基于将其公开内容完全结合于此、提交于2013年3月29日的第2013-070961号日本专利申请的优先权。

标号列表

11状态检测相机

12状态图像存储装置

13监视目标提取相机

14监视目标图像存储装置

15特定状态检测装置

16监视目标分析装置

17时间预测装置

18监视目标特征提取装置

19灰名单存储装置

20对象指定装置