防止犯罪系统、防止犯罪方法以及计算机可读取的记录介质

摘要

本发明公开防止犯罪系统、防止犯罪方法以及计算机可读取的记录介质。确定被监视摄像机摄像的人物的可疑行动。防止犯罪系统监视通过监视摄像机依照时间序列连续地摄像的多个摄像机图像中包含的人物的行动。防止犯罪系统分别检测多个摄像机图像中包含的人物的人物区域，进行根据人物区域中包含的人物图像数据依照时间序列辨识多个摄像机图像中包含的人物的跟踪处理。而且，在基于跟踪处理的辨识在中途转变为失败的情况下，判定为可疑行动的人物包含于摄像机图像。在判定为有可疑行动的情况下，也可以从输出装置通知警报信息。

说明书

技术领域

本公开涉及确定摄像机图像中包含的人物的可疑行动的防止犯罪系统、防止犯罪方法以及记录有防止犯罪程序的计算机可读取的记录介质的技术。

背景技术

在专利文献1中，公开了与发布通过监视摄像机等摄像的图像的图像发布系统有关的技术。该技术的图像发布系统具备摄像机和发布装置。发布装置具备个人认证数据库。发布装置通过参照使用摄像机图像的数据的个人认证数据库，确定映入摄像机的人物(例如孩子)。确定的人物的数据与摄像机图像的数据一起经由网络被发送到接收装置。

现有技术文献

专利文献

专利文献1：日本特开2009-225398号公报

发明内容

考虑将通过监视摄像机等摄像的人物的摄像机图像用于防止犯罪。存在在通过监视摄像机等摄像的摄像机图像中包含进行可疑行动的人物的可能性。作为可疑行动之一，例如可以举出如为了逃避跟踪而突然改变服装等外貌的行动。如果能够从通过监视摄像机摄像的摄像机图像中确定这样的可疑行动，则能够对防止犯罪有用。

本公开是鉴于上述课题而完成的，其目的在于提供一种能够确定被监视摄像机摄像的人物的可疑行动的技术。

本公开为了达成上述目的，提供一种防止犯罪系统，监视通过监视摄像机依照时间序列连续地摄像的多个摄像机图像中包含的人物的行动。防止犯罪系统具备：存储器，保存多个摄像机图像；以及处理器，处理保存于存储器的多个摄像机图像。处理器构成为进行：跟踪处理，分别检测多个摄像机图像中包含的人物的人物区域，根据人物区域中包含的人物图像数据，依照时间序列辨识多个摄像机图像中包含的人物；以及可疑行动判定处理，在基于跟踪处理的辨识在中途转变为失败的情况下，判定为可疑行动的人物包含于摄像机图像。

在本公开所涉及的防止犯罪系统中，也可以多个摄像机图像包括第一摄像机图像和第一摄像机图像以后的第二摄像机图像，在存储器中，保存包括第一摄像机图像的人物区域的人物图像数据的模板图像数据，构成为跟踪处理通过使用神经网络模型来比较第二摄像机图像的人物区域中包含的人物图像数据和模板图像数据，辨识第二摄像机图像的人物。

另外，在本公开所涉及的防止犯罪系统中，处理器也可以构成为：在针对人物区域发生了遮挡的情况下，禁止针对发生遮挡的人物区域的可疑行动判定处理。

另外，在本公开所涉及的防止犯罪系统中，处理器也可以构成为：在基于跟踪处理的辨识在中途转变为失败的情况下，在该失败前的预定时间中未持续基于跟踪处理的辨识的情况下，禁止可疑行动判定处理。

另外，在本公开所涉及的防止犯罪系统中，处理器也可以构成为还执行在判定为可疑行动的人物包含于摄像机图像的情况下从输出装置通知警报信息的通知处理。

另外，本公开为了达成上述目的，提供一种防止犯罪方法，计算机执行通过监视摄像机依照时间序列连续地摄像的多个摄像机图像中包含的人物的行动的监视。计算机构成为分别检测多个摄像机图像中包含的人物的人物区域，进行根据人物区域中包含的人物图像数据依照时间序列辨识多个摄像机图像中包含的人物的跟踪处理，在基于跟踪处理的辨识在中途转变为失败的情况下，判定为可疑行动的人物包含于摄像机图像。

另外，本公开为了达成上述目的，应用于记录有防止犯罪程序的计算机可读取的记录介质，该防止犯罪程序使计算机执行通过监视摄像机依照时间序列连续地摄像的多个摄像机图像中包含的人物的行动的监视。防止犯罪程序构成为使计算机执行：分别检测多个摄像机图像中包含的人物的人物区域，进行根据人物区域中包含的人物图像数据依照时间序列辨识多个摄像机图像中包含的人物的跟踪处理，在基于跟踪处理的辨识在中途转变为失败的情况下，判定为可疑行动的人物包含于摄像机图像。

根据本公开所涉及的技术，能够确定一个或者多个监视摄像机的摄像机图像中包含的可疑行动。由此，能够将一个或者多个监视摄像机的摄像机图像用于防止犯罪。

附图说明

图1是本公开的实施方式所涉及的防止犯罪系统的结构图。

图2是示出防止犯罪系统的结构的一个例子的框图。

图3是示出通过由管理服务器10的处理器20执行防止犯罪程序32而实现的功能的框图。

图4是通过边界框BOX1表示从摄像机图像检测的人物图像数据IMG1的人物区域的图。

图5是示出模板图像数据的数据库的一个例子的图。

图6是用于说明遮挡检测处理的图。

图7是示出通过防止犯罪系统实施的处理的例程的流程图。

(符号说明)

2：监视摄像机；4：输出装置；10：管理服务器；20：处理器；30：存储器；32：防止犯罪程序；34：数据；100：防止犯罪系统；201：跟踪处理部；202：可靠度判定处理部；203：遮挡检测处理部；204：可疑行动判定处理部；205：通知处理部。

具体实施方式

以下，参照附图说明本公开的实施方式。但是，在以下所示的实施方式中提及各要素的个数、数量、量、范围等的数量的情况下，除了特别明示的情况、原理上明确地确定为该数量的情况以外，本公开所涉及的技术思想不限定于该提及的数量。另外，在以下所示的实施方式中说明的构造等除了特别明示的情况、明确地原理上确定于此的情况以外，未必是在本公开所涉及的技术思想中所必须的。

实施方式

1.防止犯罪系统的概要

图1是本公开的实施方式所涉及的防止犯罪系统的结构图。防止犯罪系统100从一个或者多个监视摄像机的摄像机图像确定可疑人物。关于此处的可疑人物，将在设置有监视摄像机的公共场所进行了改变服装等外貌的可疑行动的人物作为对象。

防止犯罪系统100具备一个或者多个监视摄像机2、管理者可阅览的输出装置4以及管理服务器10。一个或者多个监视摄像机2例如设置于商业设施内、室外的公共道路等人通行的场所。一个或者多个监视摄像机2按照时间序列对通行的人群连续地进行摄像。监视摄像机2的种类、个数以及设置场所没有限定。在图1中，图示了对在道路上通行的人群进行摄像的监视摄像机2的摄像机图像的一个例子。通过一个或者多个监视摄像机2摄像的摄像机图像被送到管理服务器10。管理服务器10既可以与一个或者多个监视摄像机2直接连接，也可以从远程地经由通信网络与一个或者多个监视摄像机2连接。

管理服务器10执行接收通过一个或者多个监视摄像机2依照时间序列连续地摄像的摄像机图像并跟踪摄像机图像中的人物的“跟踪处理”。在此处的跟踪处理中，利用例如被称为Person Re-Identification(行人重识别)的技术。在Person Re-Identification中，首先，从输入的摄像机图像中检测有人的人物区域。以下，将检测出的人物区域中包含的人物的图像信息称为“人物图像数据”。将检测出的人物图像数据作为检索查询输入到Person Re-Identification用的神经网络模型。

另外，向神经网络模型输入候补目的地的模板图像数据。模板图像数据是对在过去的摄像机图像中识别的人物图像数据关联了识别用的ID的数据。在神经网络模型中，与作为检索查询输入的人物图像数据类似度最高的候补目的地的模板图像数据作为输出结果输出。另外，在不存在与人物图像数据类似的候补目的地的模板图像数据的情况下，对该人物图像数据关联了新的识别ID的数据被存储为新的模板图像数据的一部分。管理服务器10对输入的依照时间序列的摄像机图像分别进行基于Person Re-Identification的跟踪处理，依照时间序列进行人物的辨识。

在此，基于跟踪处理的人物图像数据的辨识有时在中途转变为失败。在如跟踪处理的失败频发的情况下，首先，考虑跟踪处理的可靠度降低。这样的状况例如可能在作为候补目的地的模板图像数据存储了不适合的图像的情况、摄像机图像不清晰的情况、人物是难以识别的外貌的情况等下引起。管理服务器10构成为能够执行判定跟踪处理的可靠度是否降低的“可靠度判定处理”。在可靠度判定处理中，判定针对成为对象的人物图像数据的跟踪处理是否不失败地持续预定时间。

另外，在跟踪处理中发生遮挡的情况下，跟踪处理有时失败。此处的遮挡是指，由于其他物标重叠于人物区域的人物的前景侧而无法正确地识别人物区域的人物的状况。管理服务器10构成为能够执行在成为对象的人物图像数据的跟踪处理中检测遮挡的发生的“遮挡检测处理”。在遮挡检测处理中，例如，在相对人物区域的边界框，人物图像的前景区域的比例低于预定比例的情况下，判定为发生遮挡。

进而，在跟踪处理中在中途人物的外貌突然变化的情况下，跟踪处理有时转变为失败。这样的状况可能在例如可疑人物为了逃避跟踪而进行变装的情况等下引起。

根据以上，在本实施方式的防止犯罪系统100中，在以较高的可靠度执行针对对象人物的跟踪处理、并且未发生遮挡的情况下，当跟踪处理转为失败的情况下，判定为该对象人物进行了作为可疑行动的外貌变更。以下，将该处理称为“可疑行动判定处理”。

管理服务器10在判定为对象人物进行了可疑行动的情况下，从输出装置4经由通信网络输出警报信息。以下，将该处理称为“通知处理”。输出装置4例示例如显示监视摄像机2的图像的监视室的监视器、监视员的便携终端等。作为警报信息例示催促针对可疑行动的注意提醒的消息的显示、声音通知等。

根据如以上的防止犯罪系统100，能够确定一个或者多个监视摄像机2的摄像机图像中包含的可疑行动。由此，能够将一个或者多个监视摄像机2的摄像机图像用于防止犯罪。

2.防止犯罪系统的结构

图2是示出防止犯罪系统的结构的一个例子的框图。防止犯罪系统100具备一个或者多个监视摄像机2、管理服务器10以及输出装置4。

管理服务器10具备作为计算机的处理装置的功能。典型地，管理服务器10具备一个或者多个处理器20(以下简称为处理器20)和与处理器20结合的一个或者多个存储器30(以下简称为存储器30)。在存储器30中，存储有可由处理器20执行的一个或者多个防止犯罪程序32(以下简称为防止犯罪程序32)和神经网络模型33、关联的各种数据34。

通过由处理器20执行防止犯罪程序32，实现利用处理器20进行的各种处理。图3是示出通过由管理服务器10的处理器20执行防止犯罪程序32而实现的功能的框图。如图3所示，处理器20具备：跟踪处理部201，用于进行跟踪处理；可靠度判定处理部202，用于进行可靠度判定处理；遮挡检测处理部203，用于进行遮挡检测处理；可疑行动判定处理部204，判定摄像机图像中包含的可疑行动；以及通知处理部205，用于进行通知处理。以下，还参照图1，说明处理器20的功能。

跟踪处理部201是用于进行基于Person Re-Identification的跟踪处理的功能块。跟踪处理部201从监视摄像机2摄像的摄像机图像中检测人物图像数据。在图4中，通过边界框BOX1表示从摄像机图像检测的人物图像数据IMG1的人物区域。从摄像机图像检测人物图像数据的手法能够应用公知的技术，所以省略其说明。

在存储器30的数据34中，保存有模板图像数据的数据库。图5是示出模板图像数据的数据库的一个例子的图。在模板图像数据中，对从过去的摄像机图像识别的人物图像数据分别关联了识别用的ID。跟踪处理部201具有Person Re-Identification用的神经网络模型33。神经网络模型33将人物图像数据与存储于存储器30的模板图像数据的数据库对照，根据其类似度，搜索与人物图像数据相同的人物的模板图像数据的人物。此外，在不存在与人物图像数据类似度高的模板图像数据的情况下，作为新的人物图像数据，将识别用的ID关联到该人物图像数据之后登记到数据库。跟踪处理部201通过针对依照时间序列连续的多个摄像机图像依次执行上述处理，跟踪摄像机图像中包含的人物。

例如，当多个摄像机图像包括第一摄像机图像和第一摄像机图像以后的第二摄像机图像的情况下，在针对第二摄像机图像的跟踪处理中，将第二摄像机图像中包含的人物区域的人物图像数据与模板图像数据比较。在此时的模板图像数据中，至少包括第一摄像机图像中包含的人物区域的人物图像数据。因此，在针对第二摄像机图像的跟踪处理中，在与第一摄像机图像中包含的人物区域的人物图像数据之间能够辨识，由此能够实现依照时间序列的人物的跟踪。此外，在跟踪处理中使用的神经网络模型33能够应用Person Re-Identification用的公知的模型，所以省略详细的说明。

可靠度判定处理部202是用于进行可靠度判定处理的功能块。在可靠度判定处理中，在针对成为对象的人物图像的跟踪处理转为失败的情况下，判定转为失败前的跟踪处理是否以可靠度高的状态持续。此处的可靠度的指标是针对成为对象的人物图像的跟踪处理不失败地持续的持续时间。可靠度判定处理部202运算针对成为对象的人物图像的跟踪处理的失败前的持续时间Tc，与预定时间Tth比较。此处的预定时间Tth是作为用于判定判定处理的可靠度高的阈值预先设定的值。可靠度判定处理部202在持续时间Tc大于预定时间Tth的情况下，判定跟踪处理以可靠度高的状态持续。

遮挡检测处理部203是用于进行遮挡检测处理的功能块。图6是用于说明遮挡检测处理的图。在图6所示的例子中，图示了在由边界框BOX1包围的人物图像数据IMG1的人物区域的前景侧重叠有其他人物图像数据IMG2的一部分的状态。在遮挡检测处理中，遮挡检测处理部203运算人物图像数据IMG1的前景侧的区域相对边界框BOX1的比例R。而且，遮挡检测处理部203在运算出的比例R大于预定比例Rth的情况下，判定为发生遮挡。

可疑行动判定处理部204是用于执行可疑行动判定处理的功能块。在可疑行动判定处理中，可疑行动判定处理部204在跟踪处理失败，在可靠度判定处理中判定为是可靠度高的状态，而且，在遮挡检测处理中未检测到遮挡的发生的情况下，判定为成为对象的人物图像数据的人物有可疑行动。

通知处理部205是用于进行通知处理的功能块。在通知处理中，通知处理部205在可疑行动判定处理中认为有可疑行动的情况下，从输出装置4输出警报信息。向输出装置4的输出方式没有限定。例如，输出方式既可以是从扬声器输出注意提醒的声音，也可以是向监视器弹出等显示输出。

3.利用防止犯罪系统确定可疑行动的具体的运用例

接下来，参照图7说明实施方式所涉及的利用防止犯罪系统100确定可疑行动的处理的运用例。防止犯罪系统100是在一个或者多个监视摄像机的摄像机图像IMG中包括由人物作出的可疑行动的情况下输出针对该人物的可疑行动的警报的系统。图7是示出通过防止犯罪系统实施的处理的例程的流程图。通过由管理服务器10的处理器20执行防止犯罪程序32，执行图7所示的例程。另外，该流程图还示出本公开的实施方式所涉及的防止犯罪方法的一部分。

在图7所示的例程的步骤S100中，针对通过一个或者多个监视摄像机2摄像的摄像机图像中包含的人物图像数据，分别执行跟踪处理。在接下来的步骤S102中，判定是否有步骤S100中的跟踪处理转变为失败的人物图像数据。其结果，在不认为判定成立的情况下，结束本例程的处理，在认为判定成立的情况下，处理进入到步骤S104。

在步骤S104中，在可靠度判定处理中，判定是否是失败前的跟踪处理的可靠度高的状态。在可靠度判定处理中，典型地，判定失败前的跟踪处理的持续时间Tc是否大于预定时间Tth。其结果，在认为判定成立的情况下，处理进入到步骤S106。另一方面，在不认为判定成立的情况下，结束本例程的处理。由此，禁止执行以后的步骤中的可疑行动判定处理。

在步骤S106中，判定在遮挡检测处理中是否检测到遮挡的发生。其结果，在认为判定成立的情况下，结束本例程的处理。由此，禁止执行以后的步骤中的可疑行动判定处理。另一方面，在不认为判定成立的情况下，判定为在摄像机图像中包含可疑行动，处理进入到步骤S108。在步骤S108中，执行从输出装置4通知警报信息的通知处理。

如从以上的说明可知，根据实施方式所涉及的防止犯罪系统100，能够从摄像机图像中确定进行外貌变更的可疑行动。其结果，能够从输出装置4通知警报信息，所以对防止犯罪有用。

4.变形例

实施方式所涉及的防止犯罪系统100也可以应用如以下所述变形的方式。

4-1.可疑行动判定处理

在可疑行动判定处理中，利用遮挡判定处理以及可靠度判定处理的条件并不是必须的。即，在可疑行动判定处理中，在步骤S102中认为成立的情况下，也可以不进行步骤S104的处理以及步骤S106的处理而进入到步骤S108的处理。

4-2.跟踪处理

跟踪处理如果在依照时间序列的摄像机图像之间能够辨识人物，则其手法没有限定。