物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序

摘要

本发明提供物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序。对观测部(101)观测到的多个观测原始数据进行物体识别处理，使用参数决定部(107)与一个数据的物体识别处理结束时间点和另一数据的处理预定结束时刻之间的时间相对应决定的参数，根据物体识别处理结束的数据进行物体的位置推定处理，基于物体识别部(103)取得的物体ID和位置备选来推定与物体ID相关的物体的位置。

说明书

技术领域

本发明涉及根据观测机构所观测到的数据例如按照观测时刻的早晚顺序来推定在环境内存在的物体的位置的物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序。

背景技术

为了利用相机等传感器识别存在于环境内的对象物体，从而推定对象物体的ID及在环境内的位置，大致分为5个必要的工序。

在第一工序中，通过相机摄像对象物体，得到包括对象物体的图像数据。

在第二工序中，比较预先保持的背景图像的模板和包括对象物体的图像数据，得到差量图像。

在第三工序中，使用使预先保持的图像数据中的像素位置与环境内位置对应的数据库，获得得到的差量图像的环境内的物体位置备选。

在第四工序中，使用使预先保持的物体的ID与图像数据对应的数据库，获得与得到的差量图像对应的物体的ID备选。以下，将第三工序(得到物体位置备选的工序)和第四工序(得到物体的ID备选的工序)合称为“物体识别”。

在第五工序中，由于在个别的物体的ID备选及位置备选的数据中存在不可靠性，因此使用过去通过相机得到的物体的ID和位置的数据，推定合理的各物体的位置。以下，将第五工序称为“位置推定”。

需要进行物体识别处理，在物体识别处理中，从传感器观测环境所得到的数据变换为物体位置推定处理能够处理的与物体的ID备选和位置备选相关的数据。

位置推定所必要的时间(第五工序)比传感器观测环境到物体识别结束所必要的时间(第一工序至第四工序)长。由此，在对于存在于环境内的全部对象物体将物体识别后的数据个别地进行位置推定的情况下，产生传感器观测到环境的时刻与物体识别处理结束的时刻的延迟时间(响应等待时间)。图13中示出示例。观测装置1的观测数据1被物体识别处理，能够进行物体位置推定处理的时刻为时刻14:17:20(14时17分20秒)。观测装置2的观测数据2被物体识别处理，能够进行物体位置推定处理的时刻为时刻14:17:26。然而，在时刻14:17:26这一时间点，观测数据1的物体位置推定处理尚未结束，能够开始观测数据2的物体位置推定处理的时刻从观测数据1的物体位置推定处理结束的时刻14:17:30起。由此，观测数据2的物体位置推定处理必须等待观测数据1的物体位置推定处理结束。

作为减少这样的装置等的响应等待时间的方法，例如专利文献1中公开有如下技术：通过统计处理到当前为止收集的通信状态或通信设备状态来求出异常响应的概率，基于该异常响应的概率数据决定中止(time-out)时间。

专利文献1：日本特开平11-353256号公报

然而，物体识别处理所需要的时间依赖于观测装置所具备的传感器的种类及传感器观测到的环境状态，如果没有传感器的种类的信息和环境状态的信息，则无法准确判断物体识别处理所需要的时间。

其结果是，如果将物体位置推定处理定时的周期设定得相对于物体识别处理所需要的准确的时间快，则产生物体识别处理的结果等待，另一方面，如果将物体位置推定处理定时的周期设定得慢，则可能产生物体位置推定处理的结果等待。在此，为了加快物体位置推定处理定时的周期，需要例如进行物体位置推定处理时的参数调整，或削减用于物体位置推定处理的物体识别处理结果的信息量，若将物体位置推定处理定时的周期设定得过快，则过度削减所述物体识别处理结果的信息量，导致物体位置推定精度的下降。相反，若物体位置推定处理定时的周期设定得过慢，则只能粗略地推定物体的移动轨迹。

发明内容

本发明是为了解决所述问题而提出的，其目的在于，提供如下的物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序，即，基于观测机构观测到的观测原始数据，事前判断物体识别处理所需要的时间，使用在从当前的时刻到下一次取得观测原始数据的时刻的、能够进行物体识别处理的时间内能够可靠地处理未处理的观测原始数据的参数来可靠地进行物体位置推定处理，从而同时实现实时处理和物体位置推定的高精度化双方。

为了达成所述目的，本发明如下构成。

根据本发明的第一方案，提供一种物体位置推定系统，其具备：

观测机构，其观测包括存在于环境内的物体的所述环境的状况，从而取得第一及第二观测原始数据；

物体识别机构，其根据预先存储在物体数据库中的每个所述物体ID的物体识别数据和所述第一及第二的观测原始数据的各自的观测原始数据，分别取得所述物体的ID及所述物体位置备选，并将所述取得的物体的ID及所述物体位置备选的信息分别存储到观测数据库中；

物体识别处理结束时间预测机构，其根据所述第一及第二观测原始数据各自的观测原始数据取得存在于所述环境内的所述物体的个数，并根据分别取得所述物体的个数的时刻、所述分别取得的物体的个数、预先存储的每个所述物体分别取得所述物体的ID及所述物体位置备选的物体识别处理所需要的时间，分别预测所述物体识别处理的预定结束时刻，将所述物体识别处理的预定结束时刻分别存储到所述观测数据库中；

物体位置推定机构，其取得存储于所述观测数据库中的所述物体的ID和所述物体位置备选，并根据所述取得的物体的ID及物体位置备选、所述物体位置备选的离散状况，推定所述物体的位置；

参数决定机构，其在所述物体识别机构结束所述第一观测原始数据的所述物体识别处理而取得所述物体的ID及所述物体位置备选的时刻，参照存储于所述观测数据库中的所述第二观测原始数据的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻算起所述第二观测原始数据的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体识别处理结束了的所述第一观测原始数据的所述物体的位置推定处理的参数，另一方面，在判断出未存储所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体识别处理结束了的所述第一观测原始数据的所述物体的位置推定处理的参数，

所述物体位置推定机构使用所述参数决定机构决定的所述参数，根据所述物体识别处理结束的数据，进行该数据所包括的所述物体的位置推定处理，并基于所述物体识别机构取得的所述物体的ID和位置备选推定与所述物体ID相关的所述物体的位置。

根据本发明的第六方案，提供一种物体位置推定装置，其具备：

数据输入部，其至少能够输入进行了物体识别处理的物体的ID和位置相关的数据、在所述数据的物体识别处理结束后输入的所述物体识别处理的预定结束时刻；

观测数据库，其存储通过所述数据输入部接收的与所述物体的ID和位置相关的数据以及与所述预定输入时刻相关的数据；

物体位置推定机构，其根据存储于所述观测数据库中的与所述物体的ID和位置相关的数据来推定所述物体的位置；

参数决定机构，其参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻算起在最早的时刻结束的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的所述物体识别处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数，

所述物体位置推定机构使用所述参数决定机构决定的所述参数，根据存储于所述观测数据库中的与所述物体的ID和位置相关的数据进行所述物体的位置推定处理，从而推定所述物体的位置。

根据本发明的第七方案，提供一种物体位置推定方法，其包括：

由观测机构观测环境内的状况，取得多个观测原始数据，

由物体识别机构基于所述多个观测原始数据算出在所述观测机构的观测范围内存在的物体的ID和位置而进行物体识别处理，

由物体识别处理结束时间预测机构分别预测基于所述多个观测原始数据由所述物体识别机构分别进行的所述物体识别处理结束的时刻而分别存储到观测数据库中，

由参数决定机构参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻判断是否存储有从所述参照的时刻算起在最早的时刻结束的所述物体识别处理的预定结束时刻，

在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，由所述参数决定机构参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，

另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，由所述参数决定机构设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数，

由物体位置推定机构使用由所述参数决定机构设定的所述参数，根据通过所述物体识别处理算出的与所述物体的ID和位置相关的数据，推定所述物体的位置。

根据本发明的第八方案，提供一种物体位置推定程序，其用于使计算机实现：

基于由观测机构观测环境内的状况而取得的多个观测原始数据，算出在所述观测机构的观测范围内存在的物体的ID和位置而进行物体识别处理的物体识别处理功能；

预测基于所述多个观测原始数据通过所述物体识别处理功能进行的所述物体识别处理结束的时刻而分别存储到观测数据库中的处理结束时刻预测功能；

参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻起在最早的时刻结束的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数的、参数决定功能；

使用由所述参数决定机构设定的所述参数，根据通过所述物体识别处理功能进行的所述物体识别处理算出的与所述物体的ID和位置相关的数据推定所述物体的位置的物体位置推定功能。

发明效果

如上所述，本发明能够提供如下物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序，即，根据观测机构观测到的观测原始数据，在事前判断物体识别处理所需要的时间、即得到下一次的观测数据(物体识别处理后的数据)的时间，使用当前得到的观测数据决定进行位置的推定的物体数，由此能够在相对于观测机构的观测不出现延迟的情况下推定物体的位置。

附图说明

本发明的上述及其他目的和特征能够通过与附图相关的优选的实施方式相关连的接下来的记述更加清楚。在该附图中，

图1是表示本发明的第一及第二实施方式所涉及的物体位置推定系统的结构的框图，

图2是表示本发明的所述第一及第二实施方式所涉及的物体位置推定系统的物体数据库的一例的图，

图3是表示作为本发明的所述第一及第二实施方式所涉及的观测机构使用测域传感器时的观测原始数据的一例图，

图4是表示作为本发明的所述第一及第二实施方式所涉及的观测机构使用测域传感器时的一观测状况例的图，

图5是表示本发明的所述第一及第二实施方式所涉及的物体位置推定系统的观测数据库的一例的图，

图6A是表示利用能够在所述第一实施方式所涉及的物体位置推定系统中使用的粒子过滤(particle filter)进行的物体位置推定方法的处理的流程图，

图6B是表示能够在所述第二实施方式所涉及的物体位置推定系统中使用的卡尔曼过滤(kalman filter)的处理状况例，

图7是表示本发明的所述第一及第二实施方式所涉及的物体位置推定系统中的物体观测状况例的图，

图8是表示本发明的所述第一实施方式所涉及的物体位置推定结果的一例的图，

图9是表示本发明的所述第一实施方式所涉及的物体位置推定系统的处理的流程图，

图10是表示本发明的所述第一实施方式所涉及的物体位置推定系统的处理的流程图，

图11A是表示本发明的所述第一实施方式所涉及的物体位置推定系统中的粒子数与处理时间的关系的信息的图，

图11B是根据图5所示的观测数据及观测原始数据处理预定结束时刻而推定出物体的位置时的定时表，

图12是将图11B简化后的、本发明的所述第一实施方式所涉及的定时表图，

图13是与图12进行比较的、未使用本发明时的定时表图，

图14A是粒子数不同的近似精度的比较图，

图14B是粒子数不同的近似精度的比较图，

图15是在本发明的所述第一实施方式所涉及的物体位置推定系统中作为观测装置使用相机时的环境背景图像的一例的说明图，

图16是作为本发明的所述第一实施方式所涉及的观测装置使用相机时的相机输入图像的一例的说明图，

图17是作为本发明的所述第一实施方式所涉及的观测装置使用相机时的差量区域的图像的一例的说明图，

图18是表示本发明的第一实施方式所涉及的粒子数与处理时间的关系的信息的一例的说明图，

图19是表示本发明的第一实施方式所涉及的物体位置推定系统的UWB特征阅读器的特征位置的测位方法的图，

图20A是表示本发明的第一实施方式所涉及的物体位置推定系统的观测数据库的一例的图，

图20B是表示本发明的第一实施方式所涉及的物体位置推定系统的观测数据库的另一例的图，

图21是表示本发明的第三实施方式所涉及的物体位置推定系统的结构的框图，

图22是表示本发明的第三实施方式所涉及的物体位置推定系统的显示机构的一例的图，

图23是表示本发明的第三实施方式所涉及的物体位置推定系统的显示机构的一例的图，

图24是表示本发明的第三实施方式所涉及的物体位置推定系统的显示机构的一例的图，

图25是表示本发明的第三实施方式所涉及的物体位置推定系统的观测数据库的一例的图，

图26是表示记录有本发明的第一实施方式所涉及的物体位置推定系统的匹配分数(matching score)的观测数据库的示例的图。

具体实施方式

以下，根据附图详细说明本发明所涉及的实施方式。

以下，在参照附图详细说明本发明的实施方式之前，说明本发明的各种方案。

根据本发明的第一方案，提供一种物体位置推定系统，其具备：

观测机构，其观测包括存在于环境内的物体的所述环境的状况，从而取得第一及第二观测原始数据；

物体识别机构，其根据预先存储在物体数据库中的每个所述物体的ID的物体识别数据和所述第一及第二的观测原始数据的各自的观测原始数据，分别取得所述物体的ID及所述物体位置备选，并将所述取得的物体的ID及所述物体位置备选的信息分别存储到观测数据库中；

物体识别处理结束时间预测机构，其根据所述第一及第二观测原始数据的各自的观测原始数据取得存在于所述环境内的所述物体的个数，并根据分别取得所述物体的个数的时刻、所述分别取得的物体的个数、预先存储的每个所述物体分别取得所述物体的ID及所述物体位置备选的物体识别处理所需要的时间，分别预测所述物体识别处理的预定结束时刻，并且将所述物体识别处理的预定结束时刻分别存储到所述观测数据库中；

物体位置推定机构，其取得存储于所述观测数据库中的所述物体的ID和所述物体位置备选，并根据所述取得的物体的ID及物体位置备选、所述物体位置备选的离散状况，推定所述物体的位置；

参数决定机构，其在所述物体识别机构结束所述第一观测原始数据的所述物体识别处理而取得所述物体的ID及所述物体位置备选的时刻，参照存储于所述观测数据库中的所述第二观测原始数据的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻算起的、所述第二观测原始数据的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体识别处理结束了的所述第一观测原始数据的所述物体的位置推定处理的参数，另一方面，在判断出未存储所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体识别处理结束了的所述第一观测原始数据的所述物体的位置推定处理的参数，

所述物体位置推定机构使用所述参数决定机构决定的所述参数，根据所述物体识别处理结束的数据，进行该数据包括的所述物体的位置推定处理，并基于所述物体识别机构取得的所述物体的ID和位置备选推定与所述物体ID相关的所述物体的位置。

根据本发明的第二方案，在第一方案所述的物体位置推定系统的基础上，所述物体识别数据为所述物体的形状信息，

所述观测原始数据是由相机摄像的图像数据，或由测域传感器取得的区域数据，或由特征阅读器取得的位置数据。

根据本发明的第三方案，在第二方案所述的物体位置推定系统的基础上，所述相机或所述测域传感器的物体识别处理为模板匹配处理，

此外，所述物体识别机构将在所述模板匹配处理的过程中输出的匹配分数记录到所述观测数据库中，

所述参数决定机构按照所述匹配分数高的顺序决定进行所述位置推定处理的物体。

根据本发明的第四方案，在第一或第二方案所述的物体位置推定系统的基础上，所述物体位置推定机构在使用粒子过滤时预先准备每个物体的处理时间与粒子的个数的关系信息，根据从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间算出由所述粒子过滤能够处理的物体的个数，在算出的物体的个数与通过所述物体识别处理识别出的物体的个数相同时，直接使用粒子过滤进行处理，

另一方面，在所述算出的物体的个数少于通过所述物体识别处理识别出的物体的个数时，增加每个物体的所述粒子的个数而进行处理，

在所述算出的物体的个数多于通过所述物体识别处理识别出的物体的个数时，减少每个物体的所述粒子的个数而进行处理。

根据本发明的第五方案，在第一～第四中任一方案所述的物体位置推定系统的基础上，还具备显示所述物体位置推定机构推定的结果的显示机构，

所述显示机构参照所述观测数据库显示下一次的物体识别处理的预定结束时刻来作为下一次的所述物体位置推定机构的推定结果的输出时刻，并且显示为了达到输出当前的所述物体位置推定机构的推定结果的目的而得到观测原始数据的时刻作为得到当前的所述物体位置推定机构的推定结果的时刻。

根据本发明的第六方案，提供一种物体位置推定装置，其具备：

数据输入部，其至少能够输入进行了物体识别处理的物体的ID和位置相关的数据、在所述数据的物体识别处理结束后输入的所述物体识别处理的预定结束时刻；

观测数据库，其存储通过所述数据输入部接收的与所述物体的ID和位置相关的数据以及与所述预定输入时刻相关的数据；

物体位置推定机构，其根据存储于所述观测数据库中的与所述物体的ID和位置相关的数据来推定所述物体的位置；

参数决定机构，其参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻算起在最早的时刻结束的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的所述物体识别处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数，

所述物体位置推定机构使用所述参数决定机构决定的所述参数，根据存储于所述观测数据库中的与所述物体的ID和位置相关的数据进行所述物体的位置推定处理，从而推定所述物体的位置。

根据本发明的第七方案，提供一种物体位置推定方法，其包括：

进行由观测机构观测环境内的状况而取得多个观测原始数据的观测，

由物体识别机构基于所述多个观测原始数据算出在所述观测机构的观测范围内存在的物体的ID和位置而进行物体识别处理，

由物体识别处理结束时间预测机构分别预测基于所述多个观测原始数据由所述物体识别机构分别进行的所述物体识别处理结束的时刻而分别存储到观测数据库中，

由参数决定机构参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻判断是否存储有从所述参照的时刻算起在最早的时刻结束的所述物体识别处理的预定结束时刻，

在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，由所述参数决定机构参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，

另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，由所述参数决定机构设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数，

由物体位置推定机构使用由所述参数决定机构设定的所述参数，根据通过所述物体识别处理算出的与所述物体的ID和位置相关的数据，推定所述物体的位置。

根据本发明的第八方案，提供一种物体位置推定程序，其用于使计算机实现：

基于由观测机构观测环境内的状况而取得的多个观测原始数据，算出在所述观测机构的观测范围内存在的物体的ID和位置而进行物体识别处理的物体识别处理功能；

基于所述多个观测原始数据预测通过所述物体识别处理功能进行的所述物体识别处理结束的时刻而分别存储到观测数据库中的处理结束时刻预测功能；

参照存储于所述观测数据库中的所述物体识别处理的预定结束时刻，判断是否存储有从所述参照的时刻开始在最早的时刻结束的所述物体识别处理的预定结束时刻，在判断出存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，参照预先存储的每个所述物体进行推定所述物体的位置的位置推定处理所需要的时间，决定在从所述参照的时刻到所述第二观测原始数据的所述物体识别处理的预定结束时刻的时间内进行所述物体的位置推定处理的参数，另一方面，在判断出未存储有所述第二观测原始数据的所述物体识别处理的预定结束时刻的情况下，设定预先设定的作为基准的参数为进行所述物体的位置推定处理的参数的、参数决定功能；

使用由所述参数决定机构设定的所述参数，根据通过所述物体识别处理功能进行的通过所述物体识别处理算出的与所述物体的ID和位置相关的数据推定所述物体的位置的物体位置推定功能。

根据该结构，能够提供通过根据在物体位置推定处理所必要的到下一次得到观测原始数据之前的等待时间内能够处理的物体数来决定进行物体位置推定处理的物体，从而能够同时实现实时处理和物体位置推定的高精度化双方的物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序。

以下，参照附图详细说明本发明的第一实施方式。

(第一实施方式)

图1示出表示本发明的第一实施方式所涉及的物体位置推定系统的框图。

本系统大致由观测机构(观测部)101和物体位置推定装置构成，用于实施物体位置推定方法。所述物体位置推定装置由物体数据库102、物体识别机构(物体识别部)103、识别处理结束时刻预测机构(识别处理结束时刻预测部)(以下，简称“处理结束时刻预测机构”。)104、观测数据库105、物体位置推定机构(物体位置推定部)106和参数决定机构(参数决定部)107构成。其中，观测机构101、物体识别机构103和处理结束时刻预测机构104合起来能够作为至少可将与物体的ID、位置相关的数据和所述数据的预定输入时刻向观测数据库105输入的数据输入部来进行处理。

观测机构101观测包括存在于环境(成为观测对象的空间，例如生活空间(更具体地说，起居室等房间)等)内的物体(观测物体)的环境的状况，取得观测原始数据。具体地说，观测环境内的物体，得到观测原始数据。作为观测机构101可利用相机、测域传感器或UWB(Ultra Wide Band)特征阅读器等来实现。

在物体数据库102中存储(存储)有物体的ID的信息(以下，简称“物体的ID”)和用于识别物体的信息。图2中示出物体数据库102的一例。在图2的物体数据库的102中存储的信息为从“Obj_001”至“Obj_005”的物体ID和物体ID为从“Obj_001”至“Obj_005”的5个的物体的各自的形状信息。在形状信息中存储有与物体的外观相关的信息和与大小(尺寸)相关的信息。作为一例，在图2中放大表示出与物体ID“Obj_001”的物体的外观和大小相关的信息。在此，物体ID“Obj_001”的物体由大的直径的圆柱和固定于其上的小的直径的圆柱构成，大的直径的圆柱的直径为8cm，高度为12cm，小的直径的圆柱的直径为4cm，高度为2cm。

物体识别机构103通过对观测机构101观测到的观测原始数据进行物体识别处理而算出观测原始数据中包括的与物体的ID和位置相关的观测数据。更具体地说，物体识别机构103根据预先存储于物体数据库102中的每个物体的ID的用于识别物体的信息(物体识别数据)和观测原始数据，取得物体的ID及物体位置备选，并将取得的物体的ID及物体位置备选的信息存储到观测数据库105中。“观测原始数据”是指未对观测机构101的观测实施任何处理的状态的数据，例如若为相机等，则相当于由相机摄像的图像数据。在为测域传感器的情况下，相当于区域数据，在为UWB特征阅读器的情况下，相当于每个物体ID的位置数据。另一方面，“观测数据”是指通过对观测原始数据适用物体识别机构103而由物体识别机构103使用观测原始数据算出的数据，是能够由物体位置推定机构106处理的与物体的ID和位置相关的数据。关于物体识别机构103和物体位置推定机构106在后面进行说明。

在观测机构101为相机的情况下，观测原始数据为图像数据，物体识别机构103进行由相机摄像的图像数据的图像处理。作为图像处理可以举出例如模板匹配处理等的方法。对预先取得且物体未放置于环境内时的环境的背景图像和当前的输入图像进行比较，取出像素值不同的区域作为一个差量区域。在此需要说明的是，在由物体识别机构103作为差量区域取出时，输入图像中可能加入噪声，因此也可以加入将预先确定的个数以上的像素值连结起来的区域作为差量区域等制约因素。在环境中放置有N个物体(其中，N为1个以上的整数。)的情况下，由物体识别机构103能够得到N个差量区域。之后，通过物体识别机构103进行由物体识别机构103得到的差量区域与存储于物体数据库102中的形状信息的外观数据(模板图像)的匹配处理，由此能够通过物体识别机构103识别物体的ID。具体地说，将差量区域与外观数据的匹配率最高的物体作为识别结果登记到观测数据库105中。另外，也可以将所述匹配分数(在差量区域与模板图像之间匹配的比例)也登记到观测数据库105中。关于匹配分数的利用方法后述。

此外，关于物体在环境中的位置可以通过在物体识别机构103中预先准备将图像中的坐标与环境中的坐标对应的坐标变换式等而由物体识别机构103算出。

图15中示出环境的背景图像(环境背景图像)的一例，图16中示出输入图像的一例，图17中示出差量区域的图像的一例。在此，作为环境的一例为生活环境，是起居室等房间110。准备的环境背景图像使用在环境内未放置任何物体的状态的背景。另外，如图15的环境背景图像那样，在环境背景图像中可以包括几乎不会移动的书架Bs等家具或家电设备。但是，在这种情况下，由于无法通过背景差量取出书架Bs等家具或家电设备，因此从物体位置推定的对象中排除书架Bs等家具或家电设备。图16的输入图像表示从配置于房间110的顶棚的相机观测到的、在餐桌Dt上放置有钱包O₃，在桌子Ta上放置有书O₂的状况。图17的差量区域表示在图15的环境背景图像与图16的输入图像中像素值不同的区域，即，分别表示钱包O₃的区域和书O₂的区域。在此，作为一例，钱包O₃为物体ID是“Obj_003”的物体，书O₂为物体ID是“Obj_002”的物体。

在测域传感器401(参照图4)代替相机作为观测机构101时，观测原始数据为区域数据。图3中示出区域数据的一例。图3是相对于传感器401的周围360度方向以360的分辨率取得的距离的情况下的区域数据，是在图4所示的状况下通过测域传感器401进行观测时得到的观测结果。为了根据所述区域数据识别物体的ID，可以利用例如物体的宽度信息来进行识别。为了简化说明，假定在从测域传感器401离开比100cm更远的地方只存在壁402。此时，能够得到的距离100cm以内的观测值是360度中的85度～95度之间，可以认为85度的观测值和95度的观测值是物体O₁的两端。若测域传感器401的位置为(0cm，0cm，5cm)，+X轴向为0度，+Y轴向为90度，则物体O₁的两端的坐标为(sin85°×46cm，cos85°×46cm)＝(45.83cm，4.01cm)和(sin95°×46cm，cos95°×46cm)＝(45.83cm，-4.01cm)，可以推定距设置面(测域传感器的设置位置(0cm，0cm，5cm))上部5cm处的物体O₁的宽度约为8cm。

根据该物体O₁的物体宽度的推定结果和存储于物体数据库102的物体O₁的形状信息，可以判断出例如所述物体O₁为ID是“Obj_001”的物体。此外，物体O₁在环境中的位置可为两端的坐标的中心值。例如，在所述例中，可以使(45.83cm，4.01cm)的坐标与(45.83cm，-4.01cm)的坐标的中心值即(45.83cm，0cm)作为物体O₁在环境中的位置。

在观测机构101为UWB特征阅读器时，观测原始数据为每个物体ID的位置数据。至少使用3个UWB特征阅读器。为了使用UWB特征阅读器检测物体，需要预先对物体赋予特征。

例如可以使用三点测量的原理来决定使用至少3个UWB特征阅读器检测到的物体的本地坐标。图19中示出利用三点测量检测特征的位置的示例。在图19所示的环境内分别配置有与UWB特征阅读器连接的基地站1901A、基地站1901B和基地站1901C。基地站1901A配置于本地坐标(x，y)＝(500，600)，基地站1901B配置于本地坐标(x，y)＝(700，300)，基地站1901C配置于本地坐标(x，y)＝(300，300)。在此，UWB特征阅读器获知3个基地站配置的本地坐标。并且，通过各基地站计测各基地站发射的电波从赋予给物体的特征到返回发射的基地站的时间，能够由各基地站算出从所述发射的基地站到特征的距离。在这样的状况下，赋予特征1902的物体存在于本地坐标(x，y)＝(400，400)。基地站1901A知晓特征1902存在于以基地站1901A的位置为中心、以到特征1902的距离223.61cm为半径的圆弧上。同样地，基地站1901B知晓特征1902存在于半径316.23cm的圆弧上，基地站1901C知晓特征1902存在于半径141.42cm的圆弧上。能够判断出以上3个圆弧全部重合的位置是特征1902存在的位置。在图19中进行了二维空间中的特征位置检测的说明。在进行实空间(三维空间)中的特征位置检测时，仅图19的圆弧变为球面，其他的处理没有变化。

处理结束时刻预测机构104预先算出基于物体识别机构103的物体识别处理(在此，作为一例为模板匹配处理)所需要的时间并存储到观测数据库105中。接下来，处理结束时刻预测机构104通过从物体识别机构103接收物体识别机构103根据观测原始数据算出与物体的ID和位置相关的观测数据的个数(或量)的处理算法或处理数，预测物体识别机构103的处理预定结束时刻并存储到观测数据库105中。以下对详细情况进行说明。

在物体识别机构103作为一例处理相机的观测原始数据的情况下，处理结束时刻预测机构104在物体识别机构103取出差量图像的阶段从物体识别机构103接收得到了几张差量图像这一信息，并根据得到了几张差量图像这一信息预测模板匹配处理所需要的时间。例如，若对一张差量图像与5个模板进行匹配处理花费0.2秒，则在由物体识别机构103得到五张差量图像的情况下，模板匹配处理所需要的时间为1秒。此时，处理预定结束时刻为0.2秒×5＝1.0秒，因此为取出背景差量的时刻的1秒后。即，处理结束时刻预测机构104预先算出物体识别处理(在此，模板匹配处理)所需要的时间。

在此，如图1所示，将观测机构101、物体数据库102、物体识别机构103和处理结束时刻预测机构104汇总称为一个观测装置500。此外，在将观测装置500单独进行区别时，称为第一观测装置501、第二观测装置502、第三观测装置503、……、第n观测装置(其中，n为1以上的整数。)。

在观测数据库105中存储有观测装置500的ID的信息(以下，简称“观测装置的ID”。以下，为了方便，将第一～第三观测装置501、502、503的ID分别设为“501”、“502”、“503”。)、与观测物体ID和在该环境中的观测物体的位置(例如位置坐标)相关的观测数据、观测原始数据处理预定结束时刻(例如年月日和时分秒)。

在此，对数据分别通过物体识别机构103及处理结束时刻预测机构104存储到观测数据库105中的流程进行说明。

首先，观测机构101在环境内进行观测，得到观测原始数据。

接下来，通过处理结束时刻预测机构104算出物体识别机构103处理观测原始数据所需要的时间(观测原始数据处理预定结束时刻)，并在观测数据库105中作为原始数据处理预定结束时刻而与包括取得观测原始数据的观测机构101的观测装置501、502、503的ID一起存储到观测数据库105中。

接下来，使用由观测机构101得到的观测原始数据，在物体识别机构103中开始物体识别处理。

然后，物体识别机构103在结束观测原始数据的物体识别处理时将观测数据与观测装置501、502、503的ID一起存储到观测数据库105中。

图5示出观测数据库105的一例。

图5的(a)图示出表示在2007年9月11日14时17分20秒这一时间点的观测数据库105的数据存储状况的数据表(表示该数据存储状况的数据表的ID为“TBL_001”。)。图5的(b)图示出表示在其6秒后的14时17分26秒这一时间点的数据存储状况(表示该数据状况的数据表的ID为“TBL_002”。)的数据表。在图5的(b)中，与图5的(a)相比追加了下数第一行和第二行的数据。图5的(c)图示出表示自图5的(b)的状况8秒后的14时17分34秒这一时间点的数据存储状况(表示该数据状况的数据表的ID为“TBL_003”。)的数据表。在图5的(c)中，与图5的(b)相比追加了下数第一行和第二行的数据。

在图5的(a)的数据表ID“TBL_001”的数据表中，分别存储有来自结束了物体识别处理的观测装置ID501的观测数据“Obj_001(65，20)”、“Obj_002(120，26)”和来自预测出处理预定结束时刻“14时17分26秒”、“14时17分34秒”的观测装置ID502、503的观测原始数据处理的预定结束时刻。

在图5的(b)的数据表ID“TBL_002”的数据表中，从观测装置ID503如观测原始数据处理预定结束时刻那样分别存储有观测数据“Obj_004(266，37)”和“Obj_005(322，21)”(参照数据表的下数第二行)，从观测装置ID501存储有新的观测原始数据的物体识别处理的预定结束时刻(参照数据表的下数第一行)。关于图5的(c)的数据表ID“TBL_003”的数据表也同样。即，在图5的(c)的数据表ID“TBL_003”的数据表中，从观测装置ID502如观测原始数据处理预定结束时刻那样存储有观测数据“Obj_002(119，28)”和“Obj_005(322，21)”(参照数据表的下数第二行参照)，从观测装置ID503存储有新的观测原始数据处理的预定结束时刻(参照数据表的下数第一行)。

图26中示出记录有观测物体位置和所述的匹配分数的观测数据库105的示例。

在图26的数据表ID“TBL_007”的数据表记录有观测ID、观测物体位置、原始数据处理预定结束时刻、观测时刻以及匹配分数。

在匹配分数的项目中记录有识别的物体的ID和分数。例如，匹配分数“Obj_001(0.8)”表示检测物体所得到的差量区域与物体“Obj_001”的模板的匹配分数(匹配的比例)为80％。

物体位置推定机构106根据由参数决定机构107指定且存储于观测数据库105中的与物体的ID和物体位置备选相关的观测数据，考虑物体位置备选的离散状况(例如，物体的位置和加权)等(具体地说，使用粒子过滤或卡尔曼过滤)来推定物体的位置。

在此，对物体位置推定机构106推定的物体的位置与存储于观测数据库105中的位置备选的差异进行说明。存储于观测数据库105中的所述物体的位置是各观测装置501、502、503逐个算出的位置，由于各观测装置501、502、503中含有的噪声等引起的位置误差，各观测装置501、502、503中通常各不相同，因此作为所述物体位置备选来处理。与此相对，物体位置推定机构106推定的物体的位置意味着通过物体位置推定处理从所述物体位置备选中推定的存在概率最高的位置，两者明显不同。

此外，以下对参数决定机构107进行说明。物体位置推定机构106的物体位置推定处理作为一例可以使用粒子过滤来实现(例如，参照文献：J.Hightower，B.Borriello.”The location Stack：A Layered Model for Location in Ubiquitous Computing”，4^th IEEE Workshop on Mobile Computing Systems & Applications(WMCSA2002)，pp.22-28.2002.)。“粒子过滤”是用具有状态量和权重的许多粒子对概率分布进行近似的方法，即使为非线形的分布也能够进行近似。在此，“状态量”表示物体的位置。此外，全部粒子的权重的和为1，粒子的个数预先设定。

根据图6A对通过物体位置推定机构106使用粒子过滤来实现的物体位置推定方法进行。

在图6A的第一步骤S1中，通过物体位置推定机构106根据上次的各粒子的权重进行粒子的再采样。其中，第一次由物体位置推定机构106在环境内随机生成粒子。

接下来，在第二步骤S2中，通过物体位置推定机构106对各粒子进行从上次位置到当前位置的预测。

接下来，在第三步骤S3中，通过物体位置推定机构106根据由观测数据得到的物体的存在位置概率计算各粒子的权重。

接下来，在第四步骤S4中，通过物体位置推定机构106求出全部粒子的加权平均，并由物体位置推定机构106将求出的加权平均定为物体的推定位置。

然而，利用使用粒子过滤的物体位置推定方法，存在下述问题：一方面粒子的个数越多近似的精度越高，但物体位置推定处理所需要的计算时间变长，另一方面粒子的个数越少物体位置推定处理所需要的计算时间越短，但近似的精度变低。图14A是使用15个粒子进行钱包的位置推定的示例(图14A的1个的黑圆表示1个粒子。)，图14B示出使用30个粒子来进行钱包的位置推定的示例。这些粒子的坐标分别为物体位置备选。观察图14A可知，能够判别出钱包很可能位于15个粒子的中心附近的坐标(4000，4000)。然而，观察图14B可知，由于粒子数多而近似精度变高，因此能够判别出除坐标(4000，4000)以外，还存在钱包位于坐标(5000，5000)的概率。这些的坐标为物体位置备选。

参数决定机构107使用观测原始数据处理(物体识别处理)预定结束时刻、当前的时刻、物体位置推定机构106的处理能力和当前未处理的观测数据各信息，从当前的时刻到观测原始数据处理预定结束时刻决定能够处理未处理观测数据的粒子的个数。

另外，在参数决定机构107的内部具有计时器，能够取得当前的时刻等时刻的信息，观测原始数据处理预定结束时刻存储于观测数据库105中。

在由参数决定机构107决定的粒子数相对于例如上次的处理中使用的粒子数来说粒子数多的情况下，可以通过参数决定机构107将增加的量的粒子一样地散布到环境内，也可以根据原来的各粒子的权重来散布。相反地，在由参数决定机构107决定的粒子数相对于上次的处理中使用的粒子数少的情况下，可以通过参数决定机构107从上次的位置推定结果即粒子的分布随机删除减少的量的粒子数，或者也可以根据原来的各粒子的权重来删除。

另外，以下对参数决定机构107的参数决定处理(参数设定处理)进行说明。

参数决定机构107在存储于观测数据库105中的物体识别机构103的物体识别处理结束的时刻与当前的时刻的时间差内，决定能够处理未处理的观测数据即物体的粒子数。

在此，图11A中示出粒子数与物体识别处理所需要的时间的关系的信息(关系信息)的一例。该关系信息例如存储于参数决定机构107的内部存储部。图11A示出在例如使用100个粒子来适用粒子过滤的情况下，进行1个物体的位置推定需要0.8秒的时间，以下，示出在分别使用200个、300个、500个、1000个粒子来适用粒子过滤的情况下，作为处理速度，进行1个物体的位置推定分别需要1秒、2秒、3秒、5秒的时间。另外，图11A所示的关系的信息是通过事前实验预先得到的。

对通过参数决定机构107利用图11A的关系信息和图5的(a)的数据表ID“TBL_001”的数据表来决定粒子数的方法进行说明。

首先，由参数决定机构107判断相对于当前的时刻，下一次存储观测数据的时刻是否存储到图5的观测数据库105中，若参数决定机构107判断出下一次存储观测数据的时刻存储到观测数据库105，则进行以下的动作。例如，图5的(a)所示当前的时刻为17分20秒(在此，为了简化说明，省略年月日时。)，若参照存储于观测数据库105中的信息，则下一次存储观测数据的时刻为17分26秒(参照图5的(b))。在当前的时刻17分20秒的未处理的观测数据为由第一观测装置501取得的与第一观测物体相关的观测数据“Obj_001”和与第二观测物体相关的观测数据“Obj_002”这2个(参照图5的(a)的第二行)，通过处理结束预测机构104可算出到下一次存储观测数据(在该例中，由第三观测装置503取得的第四观测物体和第五观测物体的各自的观测数据)(到存储图5的(b)的数据表ID“TBL_002”的数据表为止)存在(当前的时刻：17分20秒)-(下一次的时刻：17分26秒)＝6秒的富余。此时，由于在当前的时间点的未处理的观测数据为2个物体，因此根据6秒/2个＝3秒，能够通过参数决定机构107算出每一个物体花费的处理时间为3秒以内。由此，根据图11A的关系信息，能够由参数决定机构107设定(决定)出每一个物体可用3秒处理的(以每一个物体3秒的处理速度的)粒子数为500个。

由此，能够通过参数决定机构107根据物体位置推定机构106处理的观测数据数和到下一次存储观测数据存储的时间来设定(决定)粒子过滤的粒子数，通过物体位置推定机构106使用由参数决定机构107设定的500个粒子，使用粒子过滤来进行2个物体的位置推定。其结果是，能够在物体位置推定处理所必要的到存储下一次的观测数据位置的等待时间内结束所述观测原始数据的物体识别处理。换言之，能够在不相对于观测机构101的观测出现延迟的情况下推定物体的位置。

在此，在由参数决定机构107判断出下一次记录观测数据的时间(观测原始数据处理预定结束时刻)尚未存储到图5的观测数据库105中的情况下，参数决定机构107决定粒子的个数为事前决定的成为基准的粒子数(例如，200个)。

表示观测数据库的一例的图20A的“TBL_004”示出在未记录观测原始数据处理预定结束时刻的状况下，已记录观测数据的观测数据库105的示例。如上述那样，在得到了“TBL_004”中所示数据的情况下，参数决定机构107决定粒子的个数为事前决定的成为基准的粒子数，推定物体的位置。在此，表示观测数据库的另一例的图20B的“TBL_005”示出使用所述“TBL_004”中所示的数据来推定物体的位置后的观测数据库105的示例。在“TBL_005”中，观测装置503输出的观测值“Obj_004(266，37)”、“Obj_005(322，21)”和观测装置502输出的观测值“Obj_002(119，28)”、“Obj_003(197，69)”、“Obj_004(266，36)”这共计5个观测数据作为未处理的观测数据存在。此外，当前时刻为2007年9月11日14时17分34秒，下一次记录观测数据的时刻为2007年9月11日14时17分38秒。即，参数决定机构107决定在到记录下一次观测数据的4秒期间能够处理5个观测数据的粒子数。

此外，时间单位不局限于秒，例如，也可以将“到下一次存储观测数据”的时间分开表示为“花费较多时间”的情况、“花费中等时间”的情况和“仅花费较少时间”的情况等多个阶段(例如，在此为3阶段)，粒子数和每一个物体的处理时间的关系信息也与此配合而作成。在图18中示出此时的粒子数与处理时间的关系信息。在图18中，例如，在“花费较多时间”(在图18中表现为“长”。)的情况下粒子数为300个，在“花费中等时间”(在图18中表现为“中等”。)的情况下粒子数为200个(基准粒子数)，在“仅花费较短时间”(在图18中表现为“短”。)的情况下粒子数为100个。也可以通过参数决定机构107根据这样的关系信息来设定粒子的个数。

根据所述第一实施方式，能够通过参数决定机构107根据物体位置推定机构106处理的观测数据数和到下一次存储观测数据的时间来变更粒子过滤的粒子数。即，作为基准或初期的设定，在参数决定机构107的内部存储部预先存储从当前的时刻到下一次存储观测数据的时刻的观测原始数据能够处理时间和在该观测原始数据能够处理时间中能够处理的粒子数的关系信息。并且，在从当前的时刻到下一次存储观测数据的时刻的观测原始数据能够处理时间比规定时间短的情况下，通过参数决定机构107减少粒子数使其比与规定时间对应的粒子数少而削减物体识别处理所需要的时间，另一方面，在从当前的时刻到下一次存储观测数据的时刻的观测原始数据能够处理时间比所述规定时间长的情况下，增加粒子数使其比所述规定数多而能够高精度地推定物体的位置。由此，能够在物体位置推定处理所必要的到下一次存储观测数据的等待时间内可靠地结束所述观测原始数据的物体识别处理。

(第二实施方式)

图1是表示本发明的第二实施方式所涉及的物体位置推定系统的框图。即，第二实施方式所涉及的物体位置推定系统的大致结构与第一实施方式所涉及的物体位置推定系统同样，如后述那样，仅物体位置推定机构106和参数决定机构107功能不同。

本系统由观测机构101、物体数据库102、物体识别机构103、处理结束时刻预测机构104、观测数据库105、物体位置推定机构106和参数决定机构107构成。

物体位置推定机构106和参数决定机构107以外的各机构及各数据库与在第一实施方式中说明的功能相同，因此省略说明。

作为物体位置推定机构106，可以代替粒子过滤而使用例如卡尔曼过滤等。“卡尔曼过滤”是指在系统的状态(在本发明的第二实施方式中，例如为物体位置)的信息中含有噪声且在观测值中也含有噪声的情况下，从系统的能够获取的状态的备选中推定概率最高的状态的方法。图6B中示出在物体位置推定处理利用了卡尔曼过滤的示例。纵轴表示概率，横轴表示位置。

在物体如下述的(式1)的式中表示那样移动时，观测机构101能够得到由下述的(式2)的式求出的观测值603。在此，A表示物体的运动模型，x表示物体位置，v表示在移动时产生的工艺噪声。此外，y表示观测值，H表示使物体位置x与观测值y对应的观测模型，w表示观测噪声，t表示时间。

【式1】

x_t＝A_tx_t-1+v_t

【式2】

y_t＝H_tx_t+w_t

在此，若工艺噪声v及观测噪声w为白色高斯噪声，则p(w)如(式3)的式子所示，p(v)如(式4)的式子所示。另外，N(0，Q)表示平均0、方差Q的高斯分布。N(0，R)也同样表示平均0、方差R的高斯分布。

【式3】

p(w)～N(0，Q)

【式4】

p(v)～N(0，R)

在得到观测值603时，由物体位置推定机构106更新当前得到的与物体的位置相关的事前概率分布601(以后，称为“事前分布”。)，由物体位置推定机构106作出预测分布602。能够由物体位置推定机构106利用(式5)的式子求出预测分布602的位置，由物体位置推定机构106利用(式6)的式子求出预测分布602的方差。另外，“X_a|b”表示根据时刻b的信息得出的时刻a的X的推定值。例如，(式5)的“x_t|t-1”表示根据时刻t-1的信息得出的时刻t的物体位置x的推定值，(式6)的“P_t|t-1”表示根据时刻t-1的信息得出的时刻t的P的推定值。在此，P表示分布的方差。

【式5】

x_t|t-1＝A_tx_t-1|t-1

【式6】

$P_{t|t-1}=A_t{P}_{t-1|t-1}{A}_t^T+Q_t$

在通过物体位置推定机构106得到预测分布602时，由物体位置推定机构106根据观测值603和预测分布602求出事后分布604。能够由物体位置推定机构106利用(式7)的式子求出事后分布604的位置，由物体位置推定机构106利用(式8)的式子求出事后分布604的方差。在此，K是称为卡尔曼增益的值，通过(式9)的式子求出。卡尔曼增益是决定更新量的值。在观测值的精度好(方差R非常小)的情况下，为了增大更新量，卡尔曼增益的值变大。相反，在事前分布的精度良好(P非常小)的情况下，为了减小更新量，卡尔曼增益的值变小。

【式7】

X_t|t＝x_t|t-1+K_t(y_t-H_tx_t|t-1)

【式8】

P_t|t＝(1-K_tH_t)P_t|t-1

【式9】

$K_t=P_{t|t-1}{H}_t^T{(H_t{P}_{t|t-1}{H}_t^T+R_t)}^{-1}$

参数决定机构107利用观测原始数据处理预定结束时刻、当前的时刻、物体位置推定机构106的处理能力、当前未处理的观测数据各信息来推定从当前的时刻到观测原始数据处理预定结束时刻能够处理多少个物体的未处理观测数据。

具体地说，若使用图5的(a)的数据表ID“TBL_001”的数据表来说明可知，例如，当前的时刻为17分20秒(在此，为了简化说明，省略年月日时。)，下一次存储观测数据为17分26秒(参照图5的(b))。与第一实施方式同样地，在当前的时刻17分20秒的未处理的观测数据为由第一观测装置501取得的与第一观测物体相关的观测数据“Obj_001”和与第二观测物体相关的观测数据“Obj_002”这2个(参照图5的(a)的第二行)，通过参数决定机构107能够算出到下一次存储观测数据(在该例中，由第三观测装置503取得的第四观测物体和第五观测物体的各自的观测数据)(到存储图5的(b)的数据表ID“TBL_002”的数据表为止)存在(当前的时刻：17分20秒)-(下一次的时刻：17分26秒)＝6秒的富余。

此时，若物体位置推定机构106对于1个物体花费3秒的处理时间，则如上述那样，由于到下一次存储观测数据存在6秒的富余，因此6秒/3秒＝2个，所以能够推定2个物体的位置，第一观测装置ID“501”的观测装置501的观测机构101观测的2个物体量的观测数据能够全部处理。然而，若物体位置推定机构106对于1个物体花费5秒的处理时间，则由于到下一次存储观测数据前仅存在6秒的富余，因此6秒/5秒＝1.2个，所以仅能够推定1个的物体的位置。这种情况下，需要由物体位置推定机构106选择对观测装置ID“501”的观测装置501的观测机构101观测的2个物体(Obj_001、Obj_002)中哪一个的物体位置进行推定。

使用图6B和图7对通过物体位置推定机构106从多个物体中选择进行位置推定的物体的方法进行说明。

图7示出使用3个观测装置501、502、503观测存在于环境内的5个物体的情况，图8示出在得到数据表ID“TBL_001”的数据表的时刻，即将处理第一观测装置ID“501”的观测数据前的各物体的推定位置状况(例如，在物体位置推定机构106使用卡尔曼过滤的情况下，也可以为考虑运动模型后的事前分布。)。各观测装置501、502、503为相机或测距传感器。

图8中示出物体位置的推定状况例。在图8中示出的是各物体的位置相关的概率分布，例如，关于物体ID为“Obj_001”的第一观测物体，示出平均位置(位置坐标)(x，y)＝(60，20)，方差协方差矩阵(variance-covariance matrix)为(5²，0，0，5²)。此外，关于物体ID为“Obj_002”的第二观测物体，示出平均位置(位置坐标)为(x，y)＝(120，25)，方差协方差矩阵为(20²，0，0，20²)。

作为一例，在此，在由物体位置推定机构106从物体ID为“Obj_001”和“Obj_002”的2个观测物体中仅选择1个推定位置的物体的情况下，推定具有方差较大的分布的物体的位置而由物体位置推定机构106选择。这种情况下，由于第一观测物体的方差协方差矩阵为(5²，0，0，5²)，与此相对，第二观测物体的方差协方差矩阵为(20²，0，0，20²)，因此与物体ID为“Obj_001”的第一观测物体的分布的方差相比，物体ID为“Obj_002”的第二观测物体的分布的方差较大，因而通过参数决定机构107决定由物体位置推定机构106推定物体ID为“Obj_002”的物体。由此，从仅能够推定模糊位置的物体依次推定位置，能够消除整个物体的位置推定精度的偏差。

此外，为了通过物体位置推定机构106选择推定位置的物体，也可以不考虑方差，而通过物体位置推定机构106比较分布的中心位置与观测位置的距离从而由物体位置推定机构106选择。例如，物体ID为“Obj_001”的第一观测物体的分布的中心位置(位置坐标)为(60，20)而第一观测装置501的观测机构101的观测位置(位置坐标)为(65，20)，它们的差为5cm。与此相对，假定物体ID为“Obj_002”的第二观测物体的分布的中心位置(位置坐标)为(120，25)而第二观测装置502的观测机构101的观测位置(位置坐标)为(120，26)，它们的差仅为1cm。此时，在分布的中心位置与观测位置的差大的情况下，由物体位置推定机构106决定通过物体位置推定机构106推定物体ID为“Obj_001”的物体的位置。由此，能够通过物体位置推定机构106从仅能够模糊地推定位置的物体依次推定位置，能够消除整个物体的位置推定精度的偏差。在基于物体位置推定机构106的物体位置推定后，物体ID为“Obj_001”的物体和物体ID为“Obj_002”的物体一起成为已处理观测数据。物体位置推定机构106对是否为已处理观测数据的判断可以通过由观测数据库105存储参数决定机构107进行了处理的观测数据来进行，或者通过将在观测数据库105中表示已处理的信息进一步由物体位置推定机构106存储，并通过物体位置推定机构106将其读取来进行判断。另外，在上述的情况中，在图1中，追加有数据(信息)从参数决定机构107向观测数据库105的流动，或数据(信息)从物体位置推定机构106向观测数据库105的流动。

此外，为了通过物体位置推定机构106选择推定位置的物体，也可以利用匹配分数。匹配分数低表示在检测的差量区域与模板图像之间存在较多的不匹配的部分，存在物体ID的识别有误的可能性。即，若使用与匹配分数低的物体ID相关的数据来进行位置推定，则所述位置推定的结果也可能有误。因此，可以通过按照匹配分数高的物体ID的顺序推定位置来避免进行有误的位置推定。例如，设定仅进行图26的第一个数据“Obj_001(65，20)、Obj_002(120，26)”中的1个物体位置推定的时间。此时，“Obj_001”的匹配分数(0.8)比“Obj_002”的匹配分数(0.6)高，因此由物体位置推定机构106进行“Obj_001”的位置推定。

接下来，参照图9及图10对物体位置推定系统的处理进行说明。图9是各观测装置500的观测机构中的观测动作、物体识别机构103中的物体识别处理及处理结束时刻预测机构104中的处理结束时刻预测处理的流程图，图10是基于物体位置推定机构106的物体位置推定处理的流程图。

首先，对图9的观测装置500的观测动作等的流程图进行说明。

在步骤S901中，作为具备于观测装置500中的观测机构101的一例的传感器观测环境，取得观测原始数据。

接下来，在步骤S902中，物体识别机构103开始进行由传感器取得的观测原始数据的物体识别处理。

接下来，在步骤S903中，处理结束时刻预测机构104根据物体识别机构103的观测原始数据的物体识别处理内容预测物体识别处理的预定结束时刻。

接下来，在步骤S904中，处理结束时刻预测机构104将在步骤S903中预测的观测原始数据的物体识别处理预定结束时刻存储到观测数据库105中。

接下来，在步骤S905中，物体识别机构103在结束所述观测原始数据的物体识别处理后立即将与物体的ID和位置相关的观测数据存储到观测数据库105中。

接着，对图10的物体位置推定处理相关的流程图进行说明。

在步骤S1001中，参数决定机构107判断在观测数据库105中是否存在未处理的观测数据。在由参数决定机构107判断出在观测数据库105中不存在未处理的观测数据的情况下，到存在未处理的观测数据为止反复该步骤S1001。在由参数决定机构107判断出在观测数据库105中存在未处理的观测数据的情况下进入到步骤S1002。

接下来，在步骤S1002中，参数决定机构107从观测数据库105中取得下一次存储与物体的ID和位置相关的观测数据的时刻。

接下来，在步骤S1003中，参数决定机构107根据在步骤S1002中取得的时刻与由参数决定机构107的内部的计时器取得的当前的时刻的时间差和物体位置推定机构106的处理速度来决定能够进行物体位置推定处理的观测物体数。

接下来，在步骤S1004中，参数决定机构107根据在当前时间点得到的各物体的物体推定位置状况，按照从推定位置与观测位置的差大的物体开始的顺序，以步骤S1003决定的所述观测物体的数量，决定进行位置推定处理的观测物体。

接下来，在步骤S1005中，物体位置推定机构106根据存储于观测数据库105中与物体ID和位置相关的观测数据来对在步骤S1004中通过参数决定机构107决定的作为进行位置推定处理的观测物体的观测物体进行物体的位置推定处理。

图11B是根据图5中所示的观测数据及观测原始数据处理预定结束时刻推定了物体的位置时的定时表。在此需要说明的是，为了简化说明，在图11B中省略与第二观测装置502相关的处理，在以下的说明中也省略关于第二观测装置502。

如图5所示，在时刻14:17:20(14时17分20秒)(在此，为了简化说明，省略年月日。)，在作为由第一观测装置501取得的观测原始数据的物体识别处理的结果即观测数据将“Obj_001(65，20)”和“Obj_002(120，26)”存储到观测数据库105中时，参数决定机构107参照存储于观测数据库105中的观测原始数据处理预定结束时刻而取得。此外，在相同时刻14:17:20，如图5所示，由于第三观测装置503的观测原始数据处理预定结束时刻14:17:26存储于观测数据库105中，因此在到接下来存储第三观测装置503的第四观测数据“Obj_004(266，37)”及第五观测数据“Obj_005(322，21)”之前这6秒期间，具有进行物体位置推定处理的时间。此时，若能够在3秒以内推定处理1个物体的位置，则能够由物体位置推定处理机构106使用“Obj_001(65，20)”和“Obj_002(120，26)”这2个观测数据来推定处理物体ID为“Obj_001”和物体ID为“Obj_002”这2个物体的位置。然而，在1个物体的位置的推定处理花费长于3秒的时间的情况下，物体位置推定处理机构106使用“Obj_001(65，20)”和“Obj_002(120，26)”的某一方的数据来推定处理1个物体的位置。使用哪一方的数据的判断已经说明，因此省略。

如果参数决定机构107参照观测原始数据处理预定结束时刻后的结果是，参数决定机构107判断出未存储观测原始数据处理预定结束时刻的情况下，作为一例，使用存储于观测数据中的“Obj_001(65，20)”和“Obj_002(120，26)”这2个数据来进行物体位置推定处理。以后，反复同样地处理，进行物体的位置的推定处理。

对图11B的定时表进行详细说明。

在该图11B的示例中，到当前的时刻14时17分20秒(在此，为了简化说明，省略年月日。)为止，通过第一观测装置501的观测机构101分别取得第一观测物体及第二观测物体的观测原始数据(参照图11B的工序P₁)，通过处理结束时刻预测机构104算出物体识别机构103处理各观测原始数据所需要的时间(观测原始数据处理预定结束时刻)的合计，向观测数据库105作为观测原始数据处理预定结束时刻与第一观测装置501的ID“501”一起存储到观测数据库105中(参照图11B的工序P₂)。接下来，使用由第一观测装置501得到的观测原始数据，由物体识别机构103开始物体识别处理，在结束观测原始数据的物体识别处理而得到观测数据时，将这些观测数据“Obj_001(65，20)”和“Obj_002(120，26)”与第一观测装置501的ID“501”一起存储到观测数据库105中(参照图5的(a)的第二行及图11B的工序P₃)。该工序P₃的结束时刻为当前的时刻14时17分20秒。

此时，与工序P₁～P₃并行，到当前的时刻14时17分20秒之前，通过第三观测装置503的观测机构101分别取得第四观测物体及第五观测物体的观测原始数据(参照图11B的工序P₄)，通过处理结束时刻预测机构104算出物体识别机构103分别处理各观测原始数据所需要的时间(观测原始数据处理预定结束时刻)的合计，向观测数据库105作为观测原始数据处理预定结束时刻与第三观测装置503的ID“503”一起存储到观测数据库105中(参照图5的(a)的第三行的“14时17分26秒”及图11B的工序P₅)。接下来，使用由第三观测装置503得到的观测原始数据，由物体识别机构103开始物体识别处理(参照图11B的工序P₆)。该工序P₆即使在工序P₃结束的情况下(换言之，即使超过当前的时刻14时17分20秒)也继续，在结束观测原始数据的物体识别处理而得到观测数据时，将该观测数据“Obj_004(266，37)”及“Obj_005(322，21)”与第三观测装置503的ID“503”一起存储到观测数据库105中(参照图5的(b)的第五行及图11B的工序P₆)。该工序P₆的结束时刻为当前的时刻14时17分26秒。

如此，如图5的(a)所示，到当前的时刻14时17分26秒之前，第一观测物体的观测数据和第二观测物体的观测数据与第一观测装置501的ID“501”一起存储到观测数据库105中，并且与第三观测装置503相关的观测原始数据处理预定结束时刻存储到观测数据库105中。

由此，通过参数决定机构107参照图5的(a)的数据表所示的与第三观测装置503相关的观测原始数据处理预定结束时刻来算出从当前的时刻到观测原始数据处理预定结束时刻的时间{(14时17分26秒)-(14时17分20秒)＝6秒}，该算出的时间为进行物体位置推定处理的时间。此时，若能够在3秒以内推定处理1个物体的位置，则能够由物体位置推定处理机构106使用“Obj_001(65，20)”和“Obj_002(120，26)”这2个观测数据来推定处理物体ID为“Obj_001”和物体ID为“Obj_002”这2个物体的位置(参照图11B的工序P₂₁)。然而，在进行1个物体的位置的推定处理花费长于3秒的时间的情况下，物体位置推定处理机构106使用“Obj_001(65，20)”和“Obj_002(120，26)”的某一方的数据来推定处理1个物体的位置(参照图11B的工序P₂₁)。使用哪一方的数据的判断已经说明，因此省略。

此外，在当前的时刻14时17分20秒以后，基于第一观测装置501的物体识别处理结束，因此通过第一观测装置501进行其他的观测物体的观测动作。即，通过第一观测装置501的观测机构101分别得到第三观测物体及第四观测物体的观测原始数据(参照图11B的工序P₇)，通过处理结束时刻预测机构104算出物体识别机构103分别处理各观测原始数据所需要的时间(观测原始数据处理预定结束时刻)的合计，向观测数据库105作为观测原始数据处理预定结束时刻与第一观测装置501的ID“501”一起存储到观测数据库105(参照图5的(b)的最下行的“14时17分38秒”及图11B的工序P₈)。接下来，由物体识别机构103使用由第一观测装置501得到的观测原始数据开始物体识别处理，在结束观测原始数据的物体识别处理而得到观测数据时，将该观测数据与第一观测装置501的ID“501”一起存储到观测数据库105中(参照图11B的工序P₉)。该工序P₉的结束时刻为时刻14时17分38秒。

在到达时刻14时17分26秒时，由于第一观测物体及第二观测物体或第一观测物体及第二观测物体中任一个的物体的物体位置推定处理工序P₂₁结束，因此，接着通过参数决定机构107参照图5的(b)的数据表所示的与第一观测装置501相关的观测原始数据处理预定结束时刻来算出从14时17分26秒到观测原始数据处理预定结束时刻的时间{(14时17分38秒)-(14时17分26秒)＝8秒}，该算出的时间为进行物体位置推定处理的时间。此时，若能够在4秒以内推定处理1个物体的位置，则能够由物体位置推定处理机构106使用“Obj_004(266，37)”和“Obj_005(322，21)”这2个观测数据来推定处理物体ID为“Obj_004”和物体ID为“Obj_005”的这2个物体的位置(参照图11B的工序P₂₂)。然而，在进行1个物体的位置的推定处理花费长于4秒的时间的情况下，由物体位置推定处理机构106使用“Obj_004(266，37)”和“Obj_005(322，21)”的某一方的数据来推定处理1个物体的位置(参照图11B的工序P₂₂)。使用哪一方的数据的判断已经说明，因此省略。

此外，在时刻14时17分26秒以后，由于基于第三观测装置503的物体识别处理结束，因此通过第三观测装置503进行其他的观测物体的观测动作。即，与工序P₉同时，通过第三观测装置503的观测机构101分别取得第一观测物体及第二观测物体的观测原始数据(参照图11B的工序P₁₀)，通过处理结束时刻预测机构104算出物体识别机构103分别处理观测原始数据所需要的时间(观测原始数据处理预定结束时刻)的合计，向观测数据库105作为观测原始数据处理预定结束时刻与第三观测装置503的ID“503”一起存储到观测数据库105中(参照图5的(c)的最下行的“14时17分48秒”及图11B的工序P₁₁)。接下来，由物体识别机构103使用由第三观测装置503得到的观测原始数据开始物体识别处理(参照图11B的工序P₁₂)。该工序P₁₂即使在工序P₉结束的情况下(换言之，即使超过时刻14时17分38秒)也继续，在结束观测原始数据的物体识别处理而得到观测数据时，将该观测数据与第三观测装置503的ID“503”一起存储到观测数据库105中(参照图11B的工序P₁₂)。

之后，在到达时刻14时17分38秒时，由于第四观测物体及第五观测物体或第四观测物体及第五观测物体中任一个的物体的物体位置推定处理工序P₂₂结束，因此，接着通过参数决定机构107与上述同样地，算出从14时17分38秒到观测原始数据处理预定结束时刻的时间，该算出的时间为在工序P₉中取得的进行观测数据的物体位置推定处理的时间(参照图11B的工序P₂₃)。

根据所述第二实施方式，根据在物体位置推定处理所必要的到下一次存储观测数据的等待时间内能够处理的物体数来决定进行物体位置推定处理的物体，从而提供能够在有限的时间内尽可能地进行物体位置的推定的物体位置推定系统。

(第三实施方式)

图21是表示本发明的第三实施方式所涉及的物体位置推定系统的框图。

本系统由观测机构101、物体数据库102、物体识别机构103、处理结束时刻预测机构104、观测数据库105、物体位置推定机构106、参数决定机构107和显示机构108构成。

显示机构108以外的各机构及各数据库与在第一实施方式、第二实施方式中说明的功能相同，因此省略说明。

显示机构108接收物体位置推定机构106的物体位置的推定结果，并显示所述推定结果。作为显示机构108的一例可使用监视器等。

此外，显示机构108可以参照观测数据库105将得到用于输出当前推定的物体的推定位置的观测数据的时刻作为上次推定时刻显示。在图25的“TBL_006”中示出能够记录观测装置101进行观测的时刻的观测数据库105的示例。例如，在使用观测装置ID503的观测数据“Obj_004(266，37)、Obj_005(322，21)”进行了物体位置推定处理的情况下，根据上次的观测装置ID503的数据可知所述观测数据观测时刻为时刻2007年9月11日14时17分15秒。

此外，显示机构108参照观测数据库105显示下一次的物体识别处理的预定结束时刻来作为下一次的所述物体位置推定机构106的物体位置推定结果的输出时刻。当前，在处于图25的“TBL_006”的状态时，下一次的物体识别处理的预定结束时刻为2007年9月11日14时17分34秒，因此显示机构108显示下一次的物体位置的推定结果的输出时刻为2007年9月11日14时17分34秒。

图22中示出显示机构108的显示例。在图22的显示例中，显示出“Obj_001”、“Obj_002”、“Obj_003”、“Obj_004”、“Obj_005”的各物体的推定位置和当前时刻、上次推定时刻、下一次推定时刻的各信息。另外，显示机构10具备用于取得当前时刻的计时器。

此外，显示机构108也可以以概率密度分布来显示物体的推定位置。图23中示出以概率密度分别来显示物体的推定位置的示例。在图23中，用数值和图表显示出“Obj_001”、“Obj_002”、“Obj_003”、“Obj_004”、“Obj_005”的各物体的位置的平均位置和方差。

此外，显示机构108也可以将物体的推定位置叠加于实际环境(当前时刻的环境)的映像上显示(但是，在图中，为了简化，省略了房间及房屋等的图示。在此所说的实际环境的映像是指物体照映的图，叠加显示的是黑圆的推定位置和物体ID。)。在图24中示出将“Obj_001”、“Obj_002”、“Obj_003”、“Obj_004”、“Obj_005”的各物体的推定位置叠加于实际环境的映像上显示的示例。在此需要说明的是，在进行叠加显示的情况下，为了使物体的推定位置和在实际环境中的物体s的位置关系容易理解，也可以不显示当前的实际环境的映像，而显示在上次推定时刻得到的映像。

根据所述第三实施方式，通过具备显示机构108，能够向用户提示物体的推定位置，还能够向用户提示输出下一次物体的位置推定的结果的时刻。

在所述各实施方式中，关于观测机构101、物体数据库102、物体识别机构103、处理结束时刻预测机构104、观测数据库105、物体位置推定机构106、参数决定机构107等分别或其中的任意的一部分，其自身可以由软件构成。由此，例如可以通过将具有所述第一、二、三实施方式的物体位置推定系统或物体位置推定装置的物体位置推定动作的各自的步骤的计算机程序以能够读取到存储装置(硬件等)等记录媒介的方式进行存储，将该计算机程序读取到计算机的暂时存储装置(半导体存储器等)中而利用CPU执行，由此能够执行所述的各步骤。

另外，通过将所述各种实施方式中的任意的实施方式进行适当组合，能够发挥它们具有的效果。

工业上的可利用性

本发明的物体位置推定系统、物体位置推定装置、物体位置推定方法及物体位置推定程序为了有效活用物体位置推定处理所必要的到下一次存储观测数据之前的等待时间而使物体推定处理的参数可变，从而能够同时实现实时处理和物体位置推定的高精度化，对于家庭内的物品的检索系统，或机器人等移动体的追踪有用。

本发明参照附图对优选的实施方式进行了充分记载，但对于熟悉该技术的人员来说是能够了解各种变形或变更的，应当能够理解上述的变形或变更只要没有脱离本发明的技术方案限定的范围的情况下当然被涵盖于其中。