情况监视装置和情况监视系统

摘要

提供一种能够使用单个装置来监视各种情况并响应于情况进行报告的情况监视装置。该情况监视装置容易安装和使用，因此可以便宜地实现系统。该情况监视装置识别该装置所安装的安装地点(步骤S102)，保存使安装地点和要识别的情况相关联的关联信息，并根据安装地点识别结果和关联信息确定要识别的预定情况(步骤S104)，识别所确定的预定情况(步骤S106)，并向用户报告该预定情况的结果(S108)。

说明书

技术领域

本发明涉及一种用于识别目标对象的情况并报告该情况的情况监视装置，以及一种情况监视系统，在该情况监视系统中将该情况监视装置连接到网络，更具体来说，涉及用于监视情况的情况监视装置和情况监视系统。

背景技术

随着持续的因特网访问和扩展的宽带服务的进展，对安全问题的关注日渐增长，近来用于家庭和办公室的远程监视的视频通信设备的商品化和广泛销售证明了这一点。通过使用这类现有的视频通信设备，可以构建用于从远处观察可疑人的侵入、监视例如病人、老年人、及孩子等体弱者的安全系统。

然而，利用如上所述的安全系统，在远处的用户需要周期性地检查视频数据，因此当问题发生时很难快速响应。因此，尽管也存在能够检测并报告有生命的对象的安全系统，例如由日本特开第2002-74566号公报中提出的系统，但是该系统只能检测和报告可能是可疑人的人的侵入。

另外，利用如上所述的安全系统，由于视频数据不加选择的发布导致的隐私问题，该系统可以适用的情况受到限制。为了解决该问题，已经提出了一种专用系统，该专用系统不发布视频本身而是识别由用户指定的情况并根据情况执行适当的处理。

例如，在日本特开第2002-352354号公报中，提出了一种基于例如通过音频响应或通过图像识别检测不在现场的信息，识别并报告被照管的人的紧急情况的系统。另外，在日本特开平第10-151086号公报中提出了一种系统，该系统根据视频数据识别用户的浴室内的情况，当检测到紧急事件时发出警告。

然而，所有这些系统都被构建为用于某个唯一情况的专用系统，而不是能够适用于多种情况的单个装置。因此，例如，当打算构建适用于多个目的的安全系统时，需要装配用于处理每种情况的多个专用装置，这增加了系统的大小和成本。此外，这些专用系统很难引入(需要架设等)且不易安装和使用。另外，家庭的组成及其成员的情况随时间改变，使得这类系统不实用。

相比之下，随着近来图像处理技术和计算能力的进步，已经提出了识别普通人的动作和情况的大量装置。例如，在日本特开平第6-251159号公报中提出了一种将从时间序列图像得到的特征向量序列转换为符号序列并基于隐马尔可夫模型从识别对象的种类之中选择最有可能的种类的装置。另外，还提出了很多用于识别面部表情的技术，例如日本特开平11-214316号公报中提出的识别例如疼痛、兴奋等表情的装置。

然而，在使用这类技术实现普通动作/情况识别装置(即，使用单个装置识别多种情况的能力)的尝试中，随着作为识别对象的动作种类的增加，错误识别的数量增加，导致所要求的处理能力进一步增加。

此外，由于当发生任何种类的紧急情况时，这些传统安全系统都向预定报告目的地(例如保安公司)报告相同的通用紧急情况目标，所以很难将该装置用于多个目的。例如，在为监视孩子设计的安全系统的情形中，优选将孩子的情况报告给妈妈。类似地，在为监视例如可疑人的侵入或火灾的发生等紧急情况设计的安全系统的情形中，优选将该紧急情况迅速报告给保安公司等。然而，难以使传统安全系统根据这种多目的灵活地操作。

发明内容

构思本发明作为上述现有技术的问题的解决办法，本发明具有这样的目的：便宜地提供构建为单个装置的情况监视装置和系统，其可以监视多种情况并根据情况进行报告，此外，其容易安装和使用。

为实现上述目的，根据本发明的监视装置具有如下所述的结构，即，情况监视装置包括：

地点识别部件，其用于识别该装置安装的安装地点；

信息保存部件，其用于保存使安装地点和要识别的情况相关联的关联信息；

确定部件，其用于根据地点识别部件的识别结果和关联信息确定要识别的预定情况；

情况识别部件，其用于识别由确定部件确定的预定情况；以及

通信部件，其用于向用户报告由情况识别部件识别出的预定情况的识别结果。

另外，为实现上述目的，根据本发明的另一个监视装置具有如下所述的结构，即，情况监视装置包括：

情况分析部件，其用于分析目标对象的情况；

辨别部件，其用于根据来自情况分析部件的输出鉴别预定情况；

情况编码部件，其用于基于来自情况分析部件的输出将情况转换为预定信号；以及

通信部件，其用于使用情况编码部件将情况分析部件的输出报告给用户。

根据本发明，可以提供一种构建为单个装置的情况监视装置和系统，其可以监视多种情况并根据情况进行报告，此外，其容易安装和使用。

根据下面结合附图的说明，本发明的其它特征和优点将显而易见。在全部附图中，相同的附图标记表示相同或相似的部分。

附图说明

包括在说明书中并构成说明书的一部分的附图与本说明一起阐述本发明的实施例，用于解释发明的原理。

图1是示出根据本发明第一实施例的由情况监视装置执行的处理流程的流程图；

图2是示出根据本发明第一实施例的包含情况监视装置的情况监视系统的结构概要的图；

图3是示意性示出根据本发明第一实施例的情况监视装置的结构的图；

图4是示出根据本发明第一实施例的情况监视装置的硬件结构的图；

图5是示出图4中所示控制器的控制面板的图；

图6是示出图1中所示步骤S102的细节的流程图；

图7是示意性示出在图6中所示步骤S602中得到的图像数据的图；

图8是示出图1中所示步骤S103的细节的流程图；

图9是示出控制器的LCD上显示的例子显示内容的图；

图10是示出表示安装地点、作为识别对象的人和情况识别内容之间的关系的例子识别信息表的图；

图11是示出图1中所示步骤S104步骤的细节的流程图；

图12是示出在图11中所示步骤S1103中控制器的LCD上显示的例子显示内容的图；

图13是示出用于情况监视装置的软件的分层结构的图；

图14是示出表示位置代码和特征参数之间关系的表的图；

图15A、15B和15C是示意性示出根据本发明第二实施例的情况监视装置的结构的图；

图16是示出根据本发明第二实施例的由情况监视装置执行的处理流程的流程图；

图17是示出例子管理表的图；

图18是示出根据本发明第三实施例的由情况监视装置执行的处理流程的流程图；

图19是示出图18中所示步骤S1802的细节的流程图；

图20是示出表示作为识别对象的人和情况识别内容之间关系的例子识别信息表的图；

图21是示出远程控制器用作控制器的情形下的硬件结构的图；

图22是示出根据本发明第三实施例的情况监视装置的处理流程的流程图；

图23是示出图4中所示的控制器的控制面板的图；

图24是示出报告目的地设置处理(步骤S2203)的细节的流程图；

图25是示出例子报告控制信息表的图；

图26是示出显示在控制器的LCD上的例子显示内容的图；

图27是示出显示在控制器的LCD上的报告目的地设置画面的例子显示的图；

图28是示出例子转换表的图；

图29是示出表示位置代码和特征参数之间的关系的表的图；

图30是示出根据本发明第四实施例的情况监视装置的结构的图；

图31是示出报告目的地设置处理(步骤S2203)的细节的流程图；

图32是示出报告控制信息表的内容的图；

图33是示出根据本发明第五实施例的情况监视装置的处理流程概要的图；

图34是示出例子报告控制信息表的图；

图35是示出在步骤S2205中提供的例子识别处理软件模块的图；

图36是示出报告处理(S2209)的细节的流程图；

图37是示出报告处理(S2209)的细节的流程图；以及

图38是示出报告处理(S2209)的细节的流程图。

具体实施方式

现在根据附图详细说明本发明的优选实施例。

根据本发明的情况监视装置响应该装置的安装环境识别预定目标对象的预定情况，并通过网络将情况的改变通知给用户。

第一实施例

图2是示出根据本发明第一实施例的包含情况监视装置的情况监视系统的结构概要的图。

在图2中，附图标记201表示情况监视装置，其通过例如线缆调制解调器/ADSL调制解调器202等线路连接装置连接到例如因特网等网络203。附图标记204表示例如便携式电话等便携式终端装置，其接收情况监视装置201发送的情况识别结果信息。附图标记205表示例如邮件服务器等具有提供服务能力的服务器装置。

当要识别的目标对象(识别对象)发生预定的情况改变时，情况监视装置201产生示出预先决定的预定信息的文本文档，根据因特网协议将该信息作为电子邮件文档发送到邮件服务器205。接收到该电子邮件文档的邮件服务器205以预定协议向作为电子邮件发送接受器的便携式终端装置204通知电子邮件已经到达。然后，便携式终端装置204根据电子邮件到达信息接受保存在邮件服务器205中的电子邮件文档。这样，持有便携式终端装置204的用户可以从远处确认情况监视装置201检测到的识别对象的情况的改变。应当指出，可以将情况监视装置201配置成具有直接访问网络203的内置功能，这种情况下，情况监视装置201连接到网络203，而不通过内部线路连接装置202。另外，接收情况识别结果信息的终端不局限于便携式终端装置204，可以是个人计算机或PDA(个人数字助理，Personal Digital Assistance)等。

图3是示出第一实施例的情况监视装置201的结构概要的图。在图3中，附图标记301表示在附图标记302表示的框架内俯仰(上下运动)的照相机镜头。附图标记303表示用于平转运动的外部框架。镜头301与该外部框架一起平转(左右运动)。附图标记304表示台架，其含有除照相机之外的重要单元，包括内置电源等。因此，情况监视装置201可以做得紧凑而轻巧，此外，通过内置可以俯仰/平转的照相机，情况监视装置201可以容易地安装在各种不同的位置。

然后，用户将情况监视装置201安装在任何适合该目的的位置，监视特定目标对象的情况。

具体来说，情况监视装置201可以用于各种场合，例如以下场合：

放置在婴儿附近以确认他们的安全。

放置在病人附近以确认他们的健康。

放置在老年人附近以确认他们的安全。

放置在家的入口处以确认家庭成员进出，并监视可疑人员的侵入。

放置在窗口附近以监视可疑人员的侵入。

放置在浴室中以确认占用者的安全。

以上所述是对根据本实施例的情况监视装置及其一般应用的概要说明。在下文中，参考附图给出由该情况监视装置执行的处理的详细说明。

图4是示出根据本发明第一实施例的情况监视装置的硬件结构的图。在图4中，附图标记401表示CPU(中央处理单元)，402表示具有桥接高速CPU总线403和低速系统总线404的能力的桥。另外，桥402具有内置的存储器控制器功能，及控制对连接到桥的RAM(随机访问存储器)405的访问的能力。

RAM 405由CPU 401的操作所需的大容量、高速存储器组成，例如SDRAM(同步DRAM)/DDR(双倍数据速率SDRAM)/RDRAM(Rambus DRAM)。另外，RAM 405还用作图像数据缓冲器。此外，桥402具有控制连接到系统总线404的装置和RAM405之间的数据传输的内置DMAC(直接存储器访问控制器，Direct Memory Access Controller)功能。EEPROM(电可擦除可编程只读存储器)406存储CPU 401的操作所需的各种设置数据和指令数据。应当指出，在CPU 401的初始化期间，将指令数据传输到RAM 405，之后，CPU 401根据RAM 405中的指令数据继续进行处理。

附图标记407表示RTC(实时时钟，Real Time Clock)IC，其是用于执行时间管理/日历管理的专用装置。通信接口408是连接本实施例的内部线路连接装置(各种调制解调器和路由器)和情况监视装置201所需的处理器，例如可以是用于处理无线LAN(IEEE802.11b/IEEE802.11a/IEEE802.11g等)物理层和较低层协议的处理器。本实施例的情况监视装置201通过通信接口408和线路连接装置202连接到外部网络203。附图标记409表示控制器，其是控制装置和用户之间的用户接口的处理器。控制器409被安装到装置台架304的后表面等中。

图5是示出图4中所示控制器409的控制面板的图。附图标记502表示向用户显示消息的LCD。附图标记503-506表示菜单选择按钮，用来操作显示在LCD 502上的菜单。附图标记507、508分别表示OK按钮和取消按钮。用户使用控制面板501设置要识别的情况。

另外，图4中所示的附图标记410表示视频输入单元，其包括例如CCD(电荷耦合装置)/CMOS(互补金属氧化物半导体)传感器等光电转换装置及控制该装置的驱动器电路、控制各种图像校正的信号处理电路、以及用于实现平转/俯仰机构的电和机械结构。附图标记411表示视频输入接口，其将从视频输入单元410输出的光栅图像数据和同步信号一起转换为数字图像数据，并将其缓存。另外，视频输入接口411产生用于控制视频输入单元410的平转/俯仰机构的信号。

使用例如内置在桥402中的DMAC将由视频输入接口411缓存的数字图像数据运送到RAM 405中的指定地址。例如，使用视频信号垂直同步信号作为触发信号激活该DMA传输。然后，CPU401基于桥402产生的DMA传输完成中断信号开始处理保存在RAM 405中的图像数据。应当指出，情况监视装置201还具有未示出的电源。该电源可以由例如可再充电的二次电池提供，或在通信接口408是有线LAN的情况下，由Power Over Ethernet(注册商标)提供。

图1是示出根据第一实施例的情况监视装置201的处理流程的流程图。该流程图是加载到RAM 405中由CPU 401处理的程序。

当接通情况监视装置201的电源时，在步骤S101中，执行各种初始化处理。具体来说，在步骤S101中，执行指令数据加载(即，从EEPROM 406传输到RAM 405)、各种硬件初始化处理、及用于连接到网络的处理。

然后，在步骤S102中，执行情况监视装置201的安装位置的识别处理。在本实施例中，使用由视频输入单元410输入的视频图像信息识别该装置安装的安装环境。

图6是示出图1所示的步骤S102的细节的流程图。首先，在步骤S601中，从视频输入单元410得到视频数据并将其保存在RAM405中。接下来，在步骤S602中，视频输入接口411激活视频输入单元410平转/俯仰机构，并得到在步骤S601中得到的区域之外的区域的图像数据。图7是示意性示出在图6中所示步骤S602中得到的图像数据的图。以A->B->C->D的顺序利用照相机图像取得进程在宽范围上拍摄房间的内部。

然后，在步骤S603中，判断步骤S602中的图像数据的取得是否完成。在步骤S603中，如果判断为图像数据的取得没有完成，则处理返回到步骤S601。相反，如果在步骤S603中，判断为完成了图像数据的取得，则处理前进到步骤S604。

然后，在步骤S604中，执行特征参数提取处理。应当指出，提取特征参数的处理可以使用由图像搜索算法等提出的各种技术。例如，这里采用彩色柱状图、高阶局部自相关特征的位置移置特征提取方法(Nobuyuki Otsu，Takio Kurita，Sekita Iwao：“Pattern Recognition”，Asakura Shoten，pp.165-181(1996))等。具体来说，提取使用彩色柱状图值的预定范围和局部自相关特征作为特征的特征参数。此外，不仅可以使用这类原始特征，还可以使用更高级的特征提取方法。例如，可以使用对例如窗口、床、椅子或桌子等具体对象进行搜索的技术(K Yanai，K.Deguchi：“Recognition of Indoor Images Using Support Relations betweenObjects”，Transactions of the Institute of Electronics，Information andCommunication Engineers，vol.J84-DII，no.8，pp.1741/1752(August2001))，并提取这些对象的详细特征(它们的形状、颜色等)及对象之间的特定关系作为特征参数。具体来说，提取使用对象的存在/位置/大小/颜色作为特征的特征参数。应当指出，在哪种情况都从保存在RAM 405中的图像数据提取特征参数。

然后，在步骤S605中，使用在步骤S604中得到的特征参数和对应于已经记录的位置的特征参数执行辨别处理，并对该安装环境是否是该装置先前没有安装过的新位置进行判断。参考表示特征参数和安装地点之间的关系的表执行该判断。具体来说，在表中存在一个具有欧式距离最近且还超过了预定阈值的特征参数的安装地点时，将该安装地点识别为情况监视装置201放置的位置。应当指出，该判断方法不局限于通过距离进行辨别，还可以使用现有各种技术的任何一种。

在步骤S605中，如果判断出安装环境是装置先前没有安装过的新位置，则处理前进到步骤S606。相反，如果在步骤S605中判断出安装环境是装置先前安装过的位置，则处理结束。

然后，在步骤S606中，注册对应于该特征参数的位置代码。图14是示出表示位置代码和特征参数之间相互关系的表的图。

“位置代码”是该装置管理的号码。当识别出新地点时，重新指定并使用尚未使用的任意号码。“特征参数”Pnm是标量数据，表示在位置代码n处特征m的特征级。例如，在彩色柱状图的情况下，Pnm与预定颜色范围内的标准化柱状图值相对应。应当指出，该表例如保存在EEPROM 406等中。

因此，如上所述，在步骤S102中，该装置根据图像数据识别安装位置，并产生鉴别安装地点的唯一位置代码和确定安装该装置的位置是否是新位置的信息二者。

然后，在图1所示的步骤S103中，确定要识别的情况。图8是示出图1中所示步骤S103的细节的流程图。

首先，在图8中的步骤S801，使用在步骤S102中做出的判断结果，判断该装置安装的位置是否是第一次安装该装置的新位置。如果判断结果表明该位置是新的，则处理前进到步骤S802，并开始设置识别对象的操作。相反，如果在步骤S801中做出的判断结果表明该位置不是新的，则处理前进到步骤S807。

在步骤S802中，通过控制器409提示用户设置识别对象。图9是示出显示在控制器409的LCD 502上的例子显示内容的图。如果判断出位置是新的，则在LCD 502上显示如上所述提示用户设置识别对象的消息。当按下按钮504-505时，接连显示先前注册的人。当按下按钮506时，将当前显示的人设置为识别对象。

当完成对人的选择并按下OK按钮507时，将作为当前安装地点的识别对象的人设置在表中(图10)。应当指出，如果选择了先前注册的人以外的人，则处理前进到从新注册画面(未示出)注册对该作为识别对象的人(905)。在图9所示的注册处理(905)中，对要注册的人的视频进行成像，并从该视频数据提取识别该被注册的人所需的特征参数。此外，在注册处理(905)中，提示用户输入被注册的人的属性信息(例如姓名等)。

图10是示出表示安装地点、作为识别对象的人和要识别的情况的内容之间的关系的例子识别信息表的图。位置代码是分配给在安装地点识别处理(步骤S102)中识别出的地点的唯一代码。人代码是分配给先前注册的人的唯一代码。应当指出，对于特定的位置(如在图10中所示位置代码P0002的情形下)还可以设置多个作为识别对象的人。在这种情况下，可以将识别对象的优先顺序加到识别信息表。如果设置了优先顺序，则在实际识别处理步骤中，人的优先级越高，他或她被识别的越频繁。此外，有时不对特定位置设置作为识别对象的特定的人(如在图10中位置代码P0003的情形下)。

接下来，在步骤S803中，设置识别对象。另外，如果在预定时间段内没有输入，则装置判断出没有改变，并在步骤S804中确定实际的识别对象。然后，在步骤S804中，检查识别信息表，确认作为识别对象的人。例如，如果识别出位置为P002，则该装置识别人H0001和H0002的情况。应当指出，对于不将特定人注册为识别对象的位置的情形下，该装置识别所有人的情况。例如，该装置执行检测所有人的进入或者检测所有可疑人的识别处理。

相比之下，在步骤S807中，判断安装地点是否已经改变。在步骤S807中，如果判断出安装地点已经改变，则处理前进到步骤S805。相反，如果在步骤S807中，判断出安装地点没有改变，则处理前进到步骤S806。

接下来，在步骤S805中，通过预定用户界面，通知用户安装地点发生了改变，此外，检查识别信息表，并同样地向用户报告作为该安装地点的识别对象的人。通过控制器409的LCD 502上的显示或通过由语音合成产生的语音信息等向用户通知和报告的方法可以作为向用户通知和报告的用户界面使用。该处理由CPU401执行。

接下来，在步骤S806中，将关于是否改变设置内容的消息在控制器409的LCD 502上显示预定的时间段，在这段时间内判断是否存在来自用户的改变目标对象的指令。如果在步骤S806中执行的判断的结果表明存在改变目标对象的指令，则处理前进到步骤S802，并选择识别对象。相反，如果在步骤S806中执行的判断的结果表明不存在改变目标对象的指令，则处理前进到步骤S804。然后，在上述步骤S804中确定了识别对象之后，处理结束。

因此，如上所述，在步骤S102中，确定要识别的情况。再一次说明图1中示出的处理。在图1中的步骤S104中，确定要识别的情况的内容。图11是示出图1中所示步骤S104的细节的流程图。

首先，在步骤S1101中，检查识别信息表，根据在步骤S102中得到的位置代码取得作为识别对象的人的人代码。在图10所示的例子中，当识别出位置代码P0002时，将具有人代码H0001和H0002的两个人设置为作为识别对象的人。

然后，在步骤S1102中，判断是否已经对这些作为识别对象的人设置了在该位置的情况识别的内容。如果在步骤S1102中，判断出没有设置在该位置的识别情况(如在新情况的情形下)，则处理前进到步骤S1103，并执行对要识别的情况内容的选择。

图12是示出在图11中所示步骤S1103中控制器409的LCD502上显示的例子显示内容的图。首先，显示提示用户为指定的人选择要识别的情况内容的消息(1201)。当按下按钮504-505时，接连地显示预设的情况识别内容。当按下按钮506时，将当前显示的内容设置为情况识别内容。当完成了情况识别内容的选择并按下了OK按钮507时，将作为当前安装地点的识别对象的人的情况识别内容设置在识别信息表中(步骤S1104)。应当指出，如果设置了“默认”(1202)，或者如果在经过预定时间段之后没有来自用户的输入，则将内容自动设置为默认。默认是自动指定在大部分情况下通常设置的情况，例如对“进出房间”的识别等，由此消除设置时的不便之处。

相反，如果在步骤S1102中执行的判断的结果表明已经设置了在该位置的情况识别的内容，则处理前进到步骤S1108，并判断是否存在作为识别对象的人的改变。如果该判断的结果表明存在作为识别对象的人的改变，则处理前进到步骤S1106。相反，如果在步骤S1108中执行的判断的结果表明不存在作为识别对象的人的改变，则处理前进到步骤S1107。

然后，在步骤S1106中，通过预定用户界面，通知用户设置了作为识别对象的新人，此外，检查识别信息表，并同样向用户报告相对应的情况识别内容。可以使用通过控制器409的LCD 502上的显示或通过由语音合成产生的语音信息等向用户通知和报告的方法作为向用户通知和报告的用户界面。由CPU 401执行该处理。

然后，在步骤S1107中，将关于是否改变设置的内容的消息显示预定时间段，在该时间段内判断是否存在来自用户的改变目标对象的指令。如果判断结果表明存在改变目标对象的指令，则处理前进到步骤S1103。相反，如果在步骤S1107中执行的判断的结果表明不存在改变目标对象的指令，则处理前进到步骤S1105。

然后，在步骤S1103和步骤S1104中，如同新设置一样执行设置该情况识别内容的处理。如果在经过预定时间段之后没有用户输入，则该装置判断出不存在内容的改变，并在步骤S1105中确定要实际识别的情况的内容。然后，在步骤S1105中，检查识别信息表，并设置作为识别对象的人的情况识别内容。

因此，如上所述，通过图1中所示的从步骤S102到步骤S104的处理，确定了作为识别对象的人和情况识别的内容，并根据所确定的条件执行实际的情况识别处理。

接下来，在步骤S105中，例如，检测所取得的图像数据的背景区域中的主要改变，并判断情况监视装置的安装地点是否已经移动。可以使用帧之间的不同信息以低负荷容易地提取该背景区域中的改变。如果在步骤S105中做出的判断的结果表明安装地点已经改变，则处理返回到步骤S102，并再一次开始安装地点的识别处理。相反，如果在步骤S105中做出的判断的结果表明安装地点没有改变，则处理前进到步骤S106。将事件配置成只在必要时才执行步骤S105，由此可以减小处理负荷。

接下来，在图1所示的步骤S106中，追踪在步骤S103中确定的人，并识别该人的预定情况。通过视频输入接口409控制照相机的平转/俯仰机构来实现该跟踪处理。在步骤S106中，例如如果将P0002识别为该位置，则装置对作为识别对象的人H0001执行情况“你摔倒了么？”的识别，对作为识别对象的人H0002执行情况“你放了东西在你嘴里？”的识别。这里，对于该步骤所需的对人的识别处理可以采用各种现有技术中任意一种(例如，S.Akamatsu：“Research Trends in Face Recognition by Computer”，Transactions of the Institute of Electronics，Information andCommunication Engineers，vol.80 No.3，pp.257-266(March 1997))。在如上所述的注册期间提取鉴别个人所需的特征参数。

另外，可以将各种现有方法的任意一种用于在步骤S106中执行的情况识别技术。例如，如果检测特定人进入到房间或从房间出去，或检测可疑人进入到房间，则使用由面部识别技术等执行的个人鉴别的结果可以容易地实现情况识别。此外，已经提出了关于例如感觉不舒服或摔倒等限定情况的很多方法(例如，日本特开平第11-214316号公报和日本特开第2001-307246号公报)。

另外，根据在传统的手势语言识别等中提出的手动作的识别，并根据由面部检测得到的关于嘴的位置的信息，还可以识别婴儿将异物放到了他或她的嘴里的情况。执行关于该识别处理的算法的软件存储在EEPROM 406或网络上的服务器装置205中，并在识别处理(步骤S106)开始前加载到RAM 405。

根据本实施例的情况监视装置201的软件具有例如像图13中所示的分层结构。附图标记1301表示RTOS(实时操作系统)，其处理任务管理、时序安排等。附图标记1302表示装置驱动器，其例如处理视频输入接口411等的装置控制。附图标记1303表示中间件，其处理与本实施例执行的处理有关的信号和通信协议。附图标记1304表示应用软件。与本实施例有关的情况识别处理所需的软件作为中间件1303安装。由CPU 401的加载器程序按需要动态加载和卸载具有所希望的算法的软件。

具体来说，当在步骤S1105中确定了要识别的情况时，在上述例子中，从EEPROM 406加载用于识别人H0001的情况“人摔倒了？”和人H0002的情况“人放某物在你嘴里了？”的两种处理软件模型。通过用装置安装环境或作为识别对象的人限制识别情况，可以避免识别处理算法的复杂性，并且可以便宜地构造实际系统。

另外，通过将这种处理软件存储在连接到网络的另一个服务器装置上，还可以便宜地提供具有更大扩展性的系统。在这种情况下，当确定出要识别的情况的内容时(步骤S1105)，CPU 401使用例如FTP(文件传输协议)或HTTP(超文本传输协议)等通信协议访问指定的服务器装置，并从该服务器装置向RAM 406发送指定的软件模块。在图1所示的步骤S106中，该软件用作情况识别处理软件。通过在服务器装置上存储处理软件模块，可以减少EEPROM 406的容量，此外，可以容易地实现装置功能扩展(处理算法扩展)。

然后，在图1所示的步骤S107中，对是否识别出预定情况做出判断。如果该判断的结果表明已经识别出预定情况，则处理前进到步骤S108，并且CPU 401执行报告处理。例如，可以根据e-mail、即时消息或其它协议通过通信接口408将该报告处理作为字符信息来发送。这时，除字符信息之外，还可以发送视觉信息。另外，可以将该装置配置成如果用户在该装置所安装的同一房子里，则可以通过未示出的音频界面通知用户紧急情况的发生。

相反，如果在步骤S107中做出的判断的结果表明没有识别出预定情况，则处理返回到步骤S105，并进行检查以判断安装地点已经移动的可能性。如果安装地点没有改变，则继续该情况识别处理(步骤S106)。

这样，如上所述，在本实施例中，根据对情况监视装置的安装地点的识别结果，自动确定要识别的情况和要成为识别对象的人，此外，根据对作为识别对象的人的识别结果，自动设置适当的识别情况。因此，可以实现使用很少资源的便宜的情况监视装置。另外，仅仅通过将装置放置在任意位置，就可以提供适合该位置的情况监视能力，且因为由单个装置处理各种情况，所以其使用方便简单。

第二实施例

图15A、15B和15C是示意性示出根据本发明第二实施例的情况监视装置的结构的图。图15A中所示的附图标记1501表示情况监视装置的主部分，其包含第一实施例中所示的结构。图15A-15C中所示的附图标记1502a-1502c表示称为支架(cradle)的台架(stand)，主部分设置在该支架中。主部分1501装设有用于从支架1502提供电源的接口和用于输入信息的接口。支架1502安装有保存用于唯一鉴别电源和支架的信息的装置。例如串行ROM等便宜的信息记录装置可以用作该装置，并可以通过串行接口与主部分1501通信。

由第二实施例的情况监视装置执行的处理操作与由第一实施例执行的处理操作的区别只在于图1所示的步骤S102的处理。

图16是示出根据第二实施例由情况监视装置执行的处理流程的流程图。

首先，在步骤S1601中，CPU 401通过未示出的串行接口访问设置在支架1502中的串行ROM，并读出记录在ROM上的ID数据。这里，所读出的ID代码是指定安装地点的唯一代码。然后，在步骤S1602中，检查管理ID代码的表。

然后，在步骤S1603中，判断该ID代码的安装地点是否是新位置。应当指出，假设管理表存储在EEPROM 406中。图17是示出例子管理表的图，该表中记录有与情况监视装置管理的任意位置代码相对应的ID代码。如果在步骤S1603中做出的判断的结果表明ID代码的安装地点是新位置，则处理前进到步骤S1604，并将该ID代码记录在EEPROM 406中的管理表中。相反，如果在步骤S1603中做出的判断的结果表明ID代码的安装地点不是新位置，则处理前进到步骤S1604。

在本实施例的情况下，通过将主部分1501设置在支架1502上，识别出如此设置的支架，因此，识别出该装置安装的位置。应当指出，对于根据位置确定的识别对象和要识别的情况，安装地点识别处理(步骤S102)之后的处理步骤与第一实施例的步骤相同。

另外，在本实施例的情况下，用户预先在要使用情况监视装置的多个位置安装支架，并根据要使用该装置的目的只移动主部分1501。例如，将支架1502a放置在门厅，将支架1502b放置在孩子的房间。因此，例如，如果主部分1501设置在支架1502a上，则该装置以监视可疑人进入的情况识别模式操作，如果主部分1501设置在支架1502b上，则该装置以监视孩子安全的情况识别模式操作。

如前所述，根据第二实施例，使用通过取得ID代码来识别位置的简单方法可以精确识别安装地点。

第三实施例

图18是示出根据本发明第三实施例的由情况监视装置执行的处理流程的流程图。该流程图是加载到RAM 405中并由CPU 401处理的程序。在本实施例的情况下，硬件结构也与本发明第一实施例相同，因此只给出与第一实施例不同处的说明。

当接通情况监视装置的电源时，在步骤S1801中执行各种初始化处理。具体来说，在步骤S1801中，执行用于加载指令数据(从EEPROM 406向RAM 405发送数据)、硬件的初始化、以及网络连接的处理。

然后，在步骤S1802中，选择识别对象的内容和针对该识别对象的要识别的情况。图19是示出步骤S1802的细节的流程图。

在步骤S1901中，提示用户通过控制器409设置识别对象。图9是示出在控制器409的LCD 502上显示的例子显示内容的图。首先，显示提示用户选择识别对象的消息(901)。当按下按钮504-505时，接连地显示先前注册的人。当按下按钮506时，将当前显示的人设置为识别对象。

当完成对人的选择并按下OK按钮507时，将要作为当前安装地点的识别对象的人记录在表中(步骤S1902)。应当指出，如果选择先前注册的人之外的人，则如同第一实施例，装置进入从新注册画面905注册要作为识别对象的人的模式。

图20是示出表示作为识别对象的人和要识别的情况之间的关系的例子识别信息表的图。

作为识别对象的人的代码是分配给先前注册过的人的唯一代码。另外，可以将具有特殊意义的代码分配给作为识别对象的人。例如，在图20所示的例子中，H9999是表示所有人都是目标的特殊代码。当选择该代码时，对所有人识别预定情况。

然后，在步骤S1903中，将作为识别对象选择的人的类型及情况识别内容报告给用户。通过控制器409的LCD 502上的显示或通过由语音合成产生的语音信息等向用户通知和报告的方法可以作为向用户通知和报告的用户界面使用。

在步骤S1905中，将询问用户是否要改变所选择的情况识别内容的显示执行预定时间段，在该预定时间段内进行关于是否存在来自用户的要改变所选择的情况识别内容的指令的判断。如果该判断的结果表明存在来自用户的要改变所选择的情况识别内容的指令，则处理前进到步骤S1906。相反，如果该判断的结果表明不存在来自用户的要改变所选择的情况识别内容的指令，则处理结束。

然后，在步骤S1906中，设置作为识别对象的每个人的要识别的情况的内容。例如，当按下按钮504-505时，接连地显示预设的情况识别内容。当按下按钮506时，将当前显示的内容设置为情况识别内容。当完成了情况识别内容的选择并按下OK按钮507时，将作为当前安装地点的识别对象的人的情况识别内容设置在识别信息表中(步骤S1104)。应当指出，如果设置为“默认”(1202)或如果在经过预定时间段之后不存在来自用户的输入，则将内容自动设置为默认。默认是自动指定在大部分情况下通常设置的情况，例如对“进出房间”的识别等，由此消除设置时的不便之处。

当完成了情况识别内容的设置时，开始实际识别操作。首先，在图18所示的步骤S1803中，执行检测和识别识别对象的处理。这里，也如第一实施例所述，任何现有的人识别算法等都可以用于识别目标对象的处理。应当指出，如果所检测到的人是未设置在识别信息表中的新人，则在设置步骤(S1802)执行将该人设置在识别信息表中的处理。然而，在步骤S1804中是否移动到设置处理的判断可以由用户预先设置。即，当检测到未设置在表中的人时，还可以将装置设置为常规地忽略该人或执行先前确定的默认情况识别。

然后，在步骤S1805中，检查识别信息表，并确定所识别出的人的情况识别内容。然后，在步骤S1806中，针对在步骤S1805中确定的情况识别内容执行情况识别处理。如同第一实施例，这里执行的情况识别还可以使用各种现有方法中的任何一种来实现。然后，在步骤S1807中，当确定已经鉴别出预定人的预定识别时，如同第一实施例，在步骤S1808中，通知用户。

因此，如上所述，对于第三实施例，自动确定作为识别对象的每个人的要识别的情况，并自动设置适当的情况识别。因此，可能实现使用很少装置资源的便宜的系统。另外，仅仅通过将装置放置在任意位置，就可以提供适合该位置的情况监视能力，且因为由单个装置处理各种情况，所以其使用方便简单。

应当指出，尽管从作为识别对象的人的方面说明了前述实施例，但是本发明不局限于该情况，例如，本发明可适用于例如动物或特定对象等任何识别对象。例如，在特定对象的情形下，装置可以用来识别并报告例如该对象“已经从预定位置移开”或“已经消失”的情况。移动或出现的识别可以通过使用现有的模式匹配技术容易地实现。

另外，尽管从使用视频信息识别装置安装位置和识别目标对象的情况方面说明了前述实施例，但是本发明不局限于此，例如，可以配置成使用视频信息以外的感测信息来识别情况。此外，本发明可以使用视频信息和其它感测信息的组合。可以将由语音、红外线、电磁波或其它感测技术集合的信息用作感测信息。

另外，尽管从使用普通的表定义安装地点、识别对象和情况识别内容之间的关系方面说明了前述实施例，但是本发明不局限于此，例如，可以使用更高级的识别技术进行判断。例如，可以使用这样的技术：根据对处于安装地点的特定对象的识别或出现在该位置的人的鉴别，并使用该识别和鉴别的结果对位置的意义(即，该地点是孩子的房间或病人正在睡觉的房间)进行高级辨别，以确定识别对象和情况识别内容。

另外，尽管从通过使用所取得的背景的改变开始对该装置的安装地点的识别处理方面说明了上述第一实施例，但是本发明不局限于此，例如，可以使用其它技术。例如，可以使用这样的方法：将机械或光学传感器安装到该装置的底部，来检测何时抬起并在稍后放下该装置，在该时间开始位置识别。此外，可以使用这样的方法：当控制器上的预定按钮被设置时，开始识别位置的处理。在这两种方法的任何一个的情形下，与连续地执行位置识别处理相比较，可以减小处理负荷。此外，可以使用这样的方法：使用RTC 407以预定时间间隔自动开始位置识别处理。在这种情形下，与连续执行位置识别处理相比较，同样可以减小处理负荷。

另外，尽管从通过设置有情况监视装置的不同支架识别安装地点方面说明了上述第二实施例，但本发明不局限于此，例如，可以使用其它技术。例如，可以对该装置设置内置无线标签接收器，使得例如可以通过检测附在房子内预定位置的无线标签来检测装置的安装地点。在这种情形下，可以由贴纸等提供无线标签，由此使得其可以容易且便宜地实现可靠的安装地点检测能力。此外，可以以GPS(全球定位系统)等的形式对该装置设置内置的、独立的位置信息取得单元，并且由该单元得到的信息被用于取得在房子等内的该装置的位置。在这种情形下，通过结合GPS位置检测结果和图像检测结果，可以提供更精确的安装地点识别性能。

另外，尽管从使用因特网电子邮件作为报告识别对象的情况的改变的媒介方面说明了上述实施例，但是可以想到，如果使用电子邮件协议，则可能在实时传输上发生问题。因此，可以使用其它协议。例如，通过使用即时消息协议等，可以实现快速信息报告。此外，代替利用文本消息进行报告，可以将本发明设置成该装置的主单元设置有内置电话能力和语音合成能力，以便直接通过电话与远处联系来报告信息。

另外，尽管从使用具有机械控制结构的照相机(所谓平转/俯仰照相机)方面说明了上述实施例，但是本发明不局限于此，例如，可以使用广角照相机代替。在这种情形下，不用机械地补充识别对象，而是作为代替，使用以广角取得的图像数据可以实现相同的处理。

另外，尽管从向该装置的主单元提供作为控制器的具有输入/输出能力的控制单元方面说明了上述实施例，但是本发明不局限于此，例如可以使用与该装置分开的远程控制器等作为控制单元。图21是示出远程控制器用作控制单元的情形下的硬件结构的图。在图21中，只有控制器2109与关于上述第一实施例所说明的硬件结构(图4)不同。这样，附图标记2109b、c表示用于控制控制器I/F 2109和主单元之间的通信的通信单元，该通信单元使用例如电磁波或红外线无线接口等无线接口来实现。使用低速无线传输媒介可以容易且便宜地实现这些通信单元。附图标记2109a表示控制器I/F，其配备有像第一实施例所示的控制器409一样的显示/输入功能。包括控制器I/F 2109a和通信单元2109b的远程控制器2109d重量轻体积小。用户可以通过操作远程控制器2109d来设置该装置的操作所需的参数。以前述方式将控制器与主单元分开设置，这在装置的安装中提供了更大的灵活性，还增强了其方便性。

此外，本发明可以配置成使用网络设置操作所需的参数。例如，本发明可提供有HTTP(超文本传输协议)服务器能力，通过通信接口2108基于HTTP向用户提供基于网络的用户接口。HTTP服务器可以作为中间件(图13所示的附图标记1303)的一部分而包含，基于HTTP响应来自远处的输入激活预定参数设置程序。用户可以从例如便携式电话、PDA、个人计算机等普通终端设置主单元的操作所需的参数。此外，可以从远处执行该设置操作。此外，因为装置不需要提供专用控制单元，所以其可以便宜地实现。

另外，尽管从使用包含且内置在情况监视装置中的处理器执行全部处理方面说明了上述实施例，但是本发明不局限于此，例如，可以与个人计算机或其它外部处理装置结合来实现本发明。在这种情形下，只有图像数据的读入使用专用装置来完成，例如图像识别、通信等其它处理都使用个人计算机资源来完成。例如，通过使用例如蓝牙等无线接口，或例如HPA(家庭插电联盟，HomePower Plug Alliance)等电源线通信接口等连接专用装置和个人计算机，可以实现如上所述的同样便利。当然，这种功能分布式情况监视系统不仅可以通过个人计算机的使用来实现，还可以通过多种其它因特网设备的帮助来实现。

另外，尽管从使用CPU通过软件处理实现本发明方面说明了上述实施例，但是本发明不局限于此，例如，还可以通过专用硬件处理来实现本发明。在这种情形下，用于情况识别的算法与确定FPGA(现场可编程门阵列，Filed Programmable Gate Array)的内部电路的对象数据或确定可重构处理器的内部电路的对象数据相对应。当确定了要识别的情况时(步骤S1105)，系统控制处理器从EEPROM 406或连接到网络的服务器装置等将数据加载到专用硬件中。然后，专用硬件根据所加载的对象数据开始预定算法的识别处理。

因此，如上所述，根据本实施例，因为根据装置本身安装地点来限制要识别的情况的内容，所以可以便宜地实现可靠的情况监视装置。此外，因为自动诊断安装地点，并据此确定要识别的适当情况，所以用户可以通过简单地安装单个装置来识别多种情况。

另外，根据上述实施例，因为根据装置的安装地点限制识别对象和情况识别内容，所以可以便宜地实现更可靠的情况监视装置。此外，因为自动诊断安装地点，并据此确定适当的识别对象和要识别的情况，所以用户可以通过简单地安装该装置以高度可靠性识别所希望的情况。

另外，根据上述实施例，因为根据识别对象限制情况识别内容，所以可以便宜地实现可靠的情况监视装置。此外，用户可以通过简单地将装置放置在识别的目标对象附近或识别的目标对象出现的可能性很大的位置来识别所希望的情况。

另外，根据上述实施例，可以便宜地实现该装置，而不需要专用传感器等。此外，只在必要时才执行位置识别处理，能够减小处理负荷。其结果是，可以使用更简单的方法可靠地开始位置识别处理。此外，可以可靠地进行位置识别处理而不增加专用传感器等。

此外，可以防止由安装地点的错误识别产生的识别功能中的错误。还可以防止由识别对象的错误识别产生的识别功能中的错误。还可以在适当的时间提供用于设置信息的用户界面，由此提高便利性。

另外，根据上述实施例，因为当改变安装地点时可以自动提供用于设置信息的用户界面，因此提高了便利性。还可以只当改变安装地点甚至只当必要时才提供用于设置信息的用户界面，由此提高便利性。还可以根据识别对象的识别结果，只当必要时才提供用于设置信息的用户界面。

另外，根据上述实施例，只当必要时才提供用于设置信息的用户界面，提高了便利性，并使得可以根据优先顺序实现更希望的情况识别。还可以使用简单的方法可靠地识别装置的安装地点。

另外，上述实施例使用户能够更方便地设置装置的操作所需的参数，还使得用户可以从远处设置装置的操作所需的参数。还可以从普通终端设置装置的操作所需的参数。另外，还可以便宜地实现具有更大扩展能力的更兼容的装置。

第四实施例

图22是示出根据本发明第四实施例的由情况监视装置执行的处理流程的概要的图。该处理流程是加载在RAM 405中由CPU401处理的程序。

当接通情况监视装置201的电源时，在步骤S2201中执行各种初始化处理。具体来说，执行指令数据加载(即，从EEPROM 406传输到RAM 405)、硬件初始化和网络连接。

接下来，在步骤S2202中，执行鉴别安装地点的处理。在本实施例中，使用视频图像信息鉴别装置的安装地点，该视频图像信息使用视频输入单元410输入。应当指出，安装地点鉴别处理(步骤S2202)的细节与在上述关于第一实施例的图6中说明的细节相同，所以这里省略其说明(表示位置代码和特征参数之间的关系的表与图14中的相同(参见图29))。

作为选择，代替自动执行安装地点的鉴别，可以将该装置配置成使用户手动执行该任务。在这种情形下，用户通过显示在控制器409的控制面板501上的未示出的界面来输入指出安装地点的信息。

另外，当选择了情况识别内容的报告目的地或报告媒介时，当不使用与安装地点有关的信息时，可以取消安装地点鉴别处理(步骤S2202)或地点设置处理。

接下来，在步骤S2203中，设置识别出预定情况时的报告目的地。图24是示出报告目的地设置处理的细节的流程图(步骤S2203)。

在步骤S2401中，将询问用户是否改变设置的界面(未示出)显示在控制器409的控制面板501上。在用户改变设置的情况下，在下述步骤(S2402-S2405)中更新规定报告目的地的设置信息。

首先，在步骤S2402中，通过控制器409(图9中的附图标记901)提示用户设置识别对象。应当指出，图9示出显示在控制器409的LCD 2301(图23)上的例子显示内容。

这里，当按下按钮504-505时，接连地显示预先注册的人(902-904)。当按下按钮506时，将当前显示的人设置为报告事件发生的目标。当完成情况识别内容的选择并按下OK按钮507时，将作为当前安装地点的识别对象的人设置在报告控制信息表中(图25)。

报告控制信息表是存储在EEPROM 406等中的表数据，当进行稍后说明的报告目的地的确定时检查该表。换句话说，通过检查该表来控制报告事件发生期间的报告目的地。应当指出，当选择预先注册的人之外的人时，则处理前进到从新注册画面(未示出)注册作为识别对象的人(905)。在该注册处理(905)中，对要注册的人的视频进行成像，并从该视频数据中提取识别该被注册的人所需的特征参数。此外，在该注册处理(905)中，提示用户输入被注册的人的属性信息(例如姓名等)。

图25示出说明作为识别对象的人、报告的内容和报告目的地之间的关系的例子报告控制信息表。位置代码是分配给安装地点识别步骤S2202中识别出的位置的唯一代码。人代码是分配给预先注册的人的唯一代码。

应当指出，针对一个位置可以设置多个人作为识别对象(如图25中所示的位置代码P0002的情形)。在该情形下，可以将识别对象的优先顺序加到报告控制信息表。如果建立了优先顺序，则在分析情况内容的处理(步骤S2205)中，对较高优先级的人的情况进行更频繁的识别处理。此外，有时针对特定位置不设置特定的作为识别对象的人(如图25中位置代码P0004的情形)。在该情形下，当识别出该位置的预定情况时(例如有人侵入)，在步骤S2209中执行报告处理，而不管步骤S2206的对象识别处理的输出。

接下来，在步骤S2403中，针对作为识别对象的每个人设置要执行报告的情况内容。图26示出显示在控制器409的LCD 2301上的显示内容的一个例子。当按下按钮504-505时，接连地显示预先注册的识别情况内容。当按下按钮506时，将当前显示的情况设置为针对作为识别对象识别对象的人的报告发生情况。

当完成情况内容的选择并按下OK按钮507时，将在当前安装地点的情况内容设置在报告控制信息表(图25)中。应当指出，当设置“默认”(2602)时或当在预定时间段内没有来自用户的输入时，将内容自动设置到默认设置。默认是自动指定在大部分情况下通常设置的情况，例如“进出房间”的识别等，由此消除设置时的不便之处。

接下来，在步骤S2404中，针对每个识别对象及其情况内容设置用于报告的报告目的地。图27示出显示在控制器409的LCD2301上的报告目的地设置画面的例子显示。当按下按钮504-505时，接连地显示预先注册的报告目的地。当按下按钮506时，将当前显示的报告目的地设置为识别出作为识别对象的人的情况时的报告目的地。

当完成要识别的情况的选择并按下OK按钮507时，将报告目的地设置在报告控制信息表(图25)中。应当指出，如果设置“新注册”(2705)，则在预定控制面板501上显示未示出的预定界面，并执行新报告目的地的注册。另外，还可以为单个情况设置多个报告目的地。

如上所述，在步骤S2402-S2404中设置特定位置的报告控制信息表(图25)。使用图25来解释具体例子：如果位置代码是P0002，则将询问“人摔倒了？”设置为人H1001的报告条件，如果识别出该条件，则向“爸爸”报告该结果。

另外，将询问“人放了某物在他嘴里？”和“人处于禁止区域？”设置为人H1002的报告条件，如果识别出该条件的情况，则向“妈妈”和“哥哥”报告该结果。应当指出，在没有注册特定人的位置的情形下，系统识别所有人的情况或该位置的情况(例如火灾的发生等)。例如，在图25中，在位置P0004，执行例如所有人的进入的检测或可疑人的检测的识别处理，如果检测出有人侵入，则向“保安公司”做出对该结果的报告。

如上所述，在步骤S2203中，将识别对象、要识别的情况和相对应的报告目的地记录在报告控制信息表中。

接下来，在步骤S2204中，判断是否发生情况的变化。这里，例如，系统使用图像数据的帧之间的不同来检测识别对象的区域中图像的改变。如果在该步骤中确认到超过预定区域的改变，则在步骤S2205中开始分析目标对象的情况内容的处理。应当指出，在步骤S2204中，例如，可以使用图像数据之外的信息检测情况的改变。例如，可以使用这样的技术：使用利用红外线等传感器检测有人侵入。在该步骤中，利用简单的处理检测情况的改变(例如人的出现)，并且只在必要时才执行分析情况内容的处理(步骤S2205)。

当检测到情况的改变时，在步骤S2205中，执行分析情况的改变的处理。在步骤S2205中，跟踪感测范围内的人，并分析该人的情况。应当指出，对于所需要的情况识别技术，可以使用现有的各种方法中的任何一种。例如，使用由面部检测/面部识别技术产生的单独鉴别结果可以容易地实现特定人进入房间或可疑人进入房间的检测。另外，已经提出了用于识别面部表情的很多技术，例如日本特开平第11-214316号公报中提出的识别例如疼痛、兴奋等表情的装置。

此外，婴儿将异物放在他或她嘴里的情况也可以根据在传统的符号语言识别等中提出的手动作的识别及根据由面部的检测得到的关于嘴的位置的信息识别出来。此外，在日本特开平第6-251159号公报中，提出了将从时间序列图像得到的特征向量序列转换为符号序列，并基于隐马尔可夫模型从识别对象的种类之中选择最有可能的种类的装置。

另外，在日本特开平第01-268570号公报中，提出了根据图像数据识别火灾的方法。在步骤S2205中，执行包括该多个情况识别算法的处理模块，确定所述处理的输出值，并输出是否发生了预定情况。

图35是示出在步骤S2205中提供的识别处理软件模块的一个例子的图。附图标记3501-3505分别对应于用于人的姿势的识别的模块、用于检测预定区域中的侵入者的模块、用于识别人的表情的模块、用于识别人的预定动作的模块、以及用于识别环境情况(即，例如火灾等特定情况的识别)的模块，其处理由视频输入单元410成像(且存储在RAM 405中)的图像数据。

所述模块作为中间件任务进行时分或连续操作。在该步骤中，所述模块的输出值是作为对编码为预定格式的数据的分析结果而输出。应当指出，这些模块还可以作为专用硬件模块来实现。在这种情形下，将硬件模块连接到系统总线404，并在预定时间处理存储在RAM 405的图像数据。

在步骤S2206中，识别作为在分析情况内容的处理(步骤S2205)中识别出的情况的识别对象的人。可以采用各种现有技术中的任何一种来进行与该步骤所需的人的识别有关的处理(例如，S.Akamatsu：“Research Trends in Face Recognition by Computer”，Transactions of the Institute of Electronics，Information andCommunication Engineers，vol.80 No.3，pp.257-266(March 1997))。应当指出，在如上所述的个人的新注册期间提取鉴别个人所需的特征参数(图9中所示的附图标记905)。

在步骤S2207中，检查报告控制信息表，并判断是否识别出应该报告的预定人的预定情况，如果识别出，则在步骤S2208中，执行对该情况的内容进行编码的处理。应当指出，尽管在图25中对所报告的情况内容的描述作为表达预定情况的文字示出，在实际中，将分析情况内容的处理(步骤S2206)输出的对应于预定代码数据的未示出的代码(即，唯一指定相应情况的代码)记录在表中。

接下来，对情况的内容进行编码的处理(步骤S2208)使用来自分析情况内容的处理(步骤S2206)的输出将情况内容转换为预定字符信息。例如，该转换可以提供预先确定的转换表，根据分析情况的内容的处理(步骤S2206)的输出和该表的内容得到该字符信息。

图28是示出例子转换表的图。例如，情况识别处理模块R0001(对应于图35中所示的识别模块3501)针对一个人识别并输出三种情况。情况识别处理模块R0003(对应于图35中所示的识别模块3503)针对一个人识别并输出两种情况。如果从识别处理模块(图35中所示的附图标记3501-3505)得到预定输出，则检查转换表，并输出相对应的预定字符序列。这样，通过检查转换表，使用分析情况内容的处理(步骤S2205)的输出值(预定代码)对情况的内容进行编码的处理(步骤S2208)得到字符信息。应当指出，假设转换表预先记录在EEPROM 406中。

图36示出报告处理(步骤S2209)的细节。在该步骤中，基于鉴别安装地点的处理(步骤S2202)的输出、分析情况内容的处理(步骤S2205)的输出和鉴别识别对象的处理(步骤S2206)的输出，并通过在步骤S3601中检查存储在EEPROM 406中的报告控制信息表(图25)，确定要通知的人。

接下来，在步骤S3602中，将在情况编码处理(步骤S2208)中得到的字符信息发送到要通知的人。根据例如电子邮件、即时消息等协议通过通信接口408发送该字符信息。应当指出，在电子邮件的情形下，通过为报告目的地建立特定电子邮件地址来实现报告目的地的选择。

应当指出，当向主单元供电后，重复执行步骤S2204-S2209的处理，并且当识别出预定情况时，向在该情况下要通知的人报告情况的内容。

根据前面的说明可以理解，根据本实施例，当识别出预定情况时，可以容易地掌握该情况的内容，此外，根据该装置的安装地点、识别对象和要识别的情况，可以将该情况的内容通知给适当的报告目的地。

第五实施例

图30是示出根据本发明第五实施例的情况监视装置的结构的图。本实施例的硬件结构与图4中所示的第一实施例的硬件结构不同之处仅在于通信接口408不同。

附图标记3001表示CPU。附图标记3302表示桥，其具有将高速CPU总线3003和低速系统总线3004桥接的能力。

另外，桥3002具有内置存储器控制器功能，以及由此控制对连接到桥的RAM 3005的访问的能力。RAM 3005是CPU 3001的操作所需的存储器，由例如SDRAM、DDR、RDRAM等大容量、高速存储器组成。另外，RAM 3005还用作图像数据缓冲器等。

此外，桥3002具有控制连接到系统总线3004的装置和RAM3005之间的数据传输的内置DMA功能。EEPROM 3006是用于存储CPU 3001的操作所需的指令数据和各种设置数据的存储器。

附图标记3007表示RTC IC，其是用于执行时间管理/日历管理的专用装置。附图标记3009表示控制器，其是控制主单元和用户之间的用户接口的处理器。控制器3009安装到主单元的台架304的后表面等中。附图标记3010表示视频输入单元，其包括例如CCD/CMOS传感器等光电转换装置以及控制该装置的驱动器电路、控制各种图像校正的信号处理电路、以及用于实现平转/俯仰机构的电和机械结构。

附图标记3011表示视频输入接口，其将从视频输入单元3010输出的光栅图像数据和同步信号一起转换为数字图像数据，并将其缓存。另外，视频输入接口3011具有产生用于控制视频输入单元3010平转/俯仰机构的信号的能力。例如，使用内置在桥3002中的DMA，将由视频输入接口3011缓存的数字图像数据发送到RAM 3005中的预定地址。

例如，可以使用视频信号垂直同步信号作为触发信号激活该DMA传送。然后，CPU 3001基于桥3002产生的DMA传送完成中断信号，开始处理保存在RAM 3005中的图像数据。应当指出，情况监视装置还具有未示出的电源。

附图标记3008a表示第一通信接口，其具有连接到无线/有线LAN因特网协议网络的能力。附图标记3008b具有直接连接到现有电话网络或便携式电话网络的能力。在本实施例中，根据要识别的对象及其情况来选择报告媒介。具体来说，当报告一般情况时，根据紧急程度，使用例如电子邮件、即时消息等因特网协议报告信息。如果情况紧急，则直接通过电话等报告情况内容。

图31是示出根据本实施例的报告目的地设置处理(步骤S2203)的细节的流程图。在该实施例中，与上述第四实施例相比较，加入了新的报告媒介设置处理(步骤S3105)。其它步骤S3101-S3104与在第四实施例中说明的步骤S2401-S2404相同，并省略其说明。

图32是示出在本实施例中使用的报告控制信息表的内容的图。在报告媒介设置处理(步骤S3105)中，根据识别地点、识别对象和情况内容设置报告媒介。在图32的情形下，对例如“人摔倒了？”和“检测出可疑人”这种非常紧急情况指定“通过电话”报告。相反，对例如“人处于疼痛状态？”、“人放了某物在他嘴中？”和“人处于禁止区域？”这种一般紧急的情况指定“通过即时消息”，对例如“出入确认”这种不太紧急的情况指定“通过电子邮件”。

然后将如同上述第四实施例的在步骤S3105中设置的信息作为报告控制信息表记录在EEPROM 3005中。

在本实施例的情况内容编码处理(步骤S2208)中，根据在报告媒介设置处理(S2203)中设置的报告媒介对情况内容进行编码。例如，如果将“即时消息”或“电子邮件”设置为报告媒介，则编码字符信息，如果将“电话”设置为报告媒介，则编码语音信息。通过未示出的语音合成处理，语音信息的编码产生与图28中所示的表中示出的字符序列相对应的语音数据。应当指出，可以使用例如ITU标准G.723或G.729的高效压缩协议压缩该语音数据。然后，将由此产生的语音信息暂时存储在RAM 3005等中。

图37是示出报告处理(S2209)的细节的图。在步骤S3701中，检查存储在EEPROM 3006中的报告控制信息表(图32)，并根据鉴别安装地点的处理(步骤S2202)的输出、鉴别识别对象的处理(步骤S2206)的输出和分析情况的内容的处理(步骤S2205)的输出确定预定报告目的地。

接下来，在步骤S3702中，同样检查报告控制信息表，并确定报告媒介。然后，通过所选择的报告媒介(3008a或3008b)将表达情况内容的编码信息发送到在步骤S3702中选择出的报告目的地。换句话说，如果将“即时消息”、“电子邮件”等选择为报告媒介，则通过第一通信接口3008a根据因特网协议发送报告内容。如果将“电话”选择为报告媒介，则自动呼叫预定报告目的地的电话，在确认铃声之后，通过第二通信接口3008b将保存在RAM 3005中的语音数据作为直接音频信号发送。

因此，根据本实施例，可以通过根据情况选择出的报告媒介通知预定报告目的地，实现与紧急度相称的报告能力。

第六实施例

图33是示出根据本发明第六实施例的由情况监视装置执行的处理流程的概要的图。该流程图是加载在RAM 3005中并由CPU3001处理的程序。根据本实施例的情况监视装置的硬件结构与第五实施例的硬件结构相同，因此只给出二者之间不同处的说明。

图33是示出本实施例的报告目的地设置处理(步骤S2203)的细节的流程图。在本实施例中，与第五实施例的报告目的地设置处理相比较，新增加了报告确定时间设置处理步骤(S3306)。剩余步骤S3301-S3305分别与第四实施例中说明的步骤S3101-S3105相同，因此只说明它们之间的不同处。

图34是示出根据本实施例的报告控制信息表的一个例子的图。在设置了对应于识别情况的时间信息并识别出预定情况的情形下，确定该识别出的时间，并根据该时间将识别情况的内容报告给报告目的地。例如，在位置代码P0003的情形下，如果在时间0800和2400之间检测出侵入者，则该系统被设置成通过电子邮件通知妈妈。相反，如果在相同的条件下在时间2400和800之间检测出侵入者，则该系统被设置成通知保安公司。如同第四实施例，在步骤S3306中设置的信息作为报告控制信息表记录在EEPROM 3006中。

图38是示出根据本实施例的报告处理(S2209)的细节的流程图。在步骤S3801中，从RTC 3007中得到识别出预定情况的时间。在步骤S3802中，基于识别地点、作为识别对象的人、在步骤S3801中得到的识别情况和时间，检查存储在EEPROM 3006中的报告控制信息表(图34)，并确定预定报告目的地。

此外，在步骤S3803中，同样检查报告控制信息表，并确定预定报告媒介。在步骤S3804中，通过在步骤S3804中确定的报告媒介将示出情况的内容的在步骤S2208中编码的数据发送到在步骤S3803中确定的报告目的地。

从前述说明中可以理解，使用本实施例，基于识别出预定情况的时间，可以使用更适当的报告媒介向更适当的报告目的地进行报告。

应当指出，尽管从将人作为识别对象方面说明了前述实施例，但是本发明不局限于此，识别对象可以是动物、特定对象或别的东西。例如，在特定对象的情况下，可以识别并报告例如该对象“已经从预定位置移开”或“已经消失”的情况。通过使用现有的模式匹配技术可以容易地实现对移动或出现/消失的识别。

尽管在前述实施例中，报告控制信息表根据该装置的安装地点、识别对象、时间和情况来指定报告目的地和报告媒介，本发明不局限于此。根据目的，可以提供根据安装地点、识别对象、时间及情况中的至少一个指定报告目的地或报告媒介的表。

尽管从通过提供多个情况识别处理并使用这些处理的输出来分析情况内容的分析情况内容的处理方面说明了前述实施例，但是本发明不局限于此，可以使用任何方法。例如，可以安装更通用的识别算法，并识别全部目标情况。

尽管从将分析情况内容的处理的结果编码为预定字符序列或音频信息方面说明了前述实施例，但是本发明不局限于此，这些结果可以转换为其它种类的信息。例如，该信息可以转换为示意性表达该信息的图表数据，并将该图表数据作为报告数据来发送。另外，代替通过网络报告，可以使用这样的方法：将来自预定光源的光模式作为警报信息来报告。

尽管从使用视频信息来识别该装置的安装地点和识别对象的情况方面说明了上述第四实施例，本发明不局限于此，可以使用视频信息之外的感测信息来识别情况。此外，可以使用视频信息和其它感测信息的结合来识别情况。可以使用各种感测技术，例如音频信息、红外线信息、和电磁信息作为其它感测信息。

尽管从报告识别对象的情况改变的媒介为因特网邮件、即时消息、和电话等方面说明了前述实施例，但是本发明不局限于此，如果必要可以使用其它媒介。

尽管从使用控制器409建立报告控制信息表方面说明了前述实施例，作为选择，可以使用网络设置操作所需的参数。在这种情形下，例如，主单元可以具有HTTP(超文本传输协议)服务器能力，并通过通信接口3008向用户提供基于网络的用户界面。将HTTP服务器作为一种中间件而包含，其基于HTTP响应来自远处的操作激活预定参数设置程序。

在这种情况下，用户可以从例如便携式电话、PDA或个人计算机等普通终端设置主单元的操作所需的参数，此外，可以从远处执行该设置操作。

尽管从使用内置在主单元中的处理器执行例如识别处理的全部处理方面说明了前述实施例，但是本发明还可以例如与例如个人计算机等外部处理装置相组合来实现。在这种情形下，只有图像数据的读入使用专用装置来完成，例如图像识别和通信等剩余处理使用个人计算机资源来实现。

例如，通过使用例如蓝牙等无线接口或例如HPA(家庭插电联盟)的电源线通信接口等连接专用装置和个人计算机，可以实现相同的便利。当然，这种功能分布式情况监视系统不仅可以通过个人计算机的使用来实现，还可以通过各种其它因特网设备的帮助来实现。

尽管从使用CPU通过软件处理实现本发明方面说明了前述实施例，但是本发明不局限于此，例如，还可以通过专用硬件处理来实现。在这种情形下，用于情况识别的算法与确定FPGA(现场可编程门阵列)的内部电路的对象数据或确定可重构处理器的内部电路的对象数据相对应。系统控制处理器从EEPROM 406或连接到网络的服务器装置等将数据加载到专用硬件中。然后，专用硬件根据所加载的对象数据开始预定算法的识别处理。

尽管从使用具有机械控制结构的照相机(所谓平转/俯仰照相机)方面说明了上述实施例，但是本发明不局限于此，例如，可以使用广角照相机代替。在这种情形下，不用机械地补充识别对象，而是作为替代，可以使用以广角取得的图像数据实现相同的处理。

其它实施例

应当指出，本发明可适用于由多个装置(例如，主计算机、接口装置、读取器、打印机等)组成的系统或由单个装置组成的设备。

另外，通过向系统或设备直接或间接地提供实现前述实施例的功能的软件程序，用系统或设备的计算机(或CPU或MPU)读取所提供的程序代码，然后执行该程序代码可以实现本发明。

在这种情况下，前述实施例的功能由从存储介质读取的程序代码本身实现，并且存储该程序代码的存储介质构成本发明。

可以用于提供程序代码的存储介质的例子有：软盘(floppydisk，注册商标)、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性类型的存储器卡、ROM等。

除了这些通过执行由计算机读取的程序代码来实现根据上述实施例的前述功能的情形以外，本发明还包括这样的情形：运行在计算机上的OS(操作系统，operating system)等根据该程序代码指令执行全部或部分实际处理，使得通过该处理实现前述实施例的功能。

此外，在将从存储介质读取的程序写入插入到计算机的功能扩展板或写入设置在连接到计算机的功能扩展单元中的存储器之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分实际处理，使得通过该处理可以实现前述实施例的功能。

本发明不局限于上述实施例，在本发明的精神和范围内可以做出各种变化和更改。因此，为告知公众本发明的范围，做出所附的权利要求。

优先权请求

本申请要求2004年6月4日提交的日本专利申请第2004-167544号和2005年6月3日提交的日本专利申请第2005-164875号的优先权，其整个内容通过引用包含于此。