物品推定装置及物品位置推定装置、物品推定方法以及物品推定程序

摘要

本发明具备：将物品和搬运物品时的拿法对应登记的拿法登记数据库(112)、判定人在搬运对象物品时如何拿着所述对象物品的拿法判定处理机构(107)、和从在所述拿法登记数据库(112)登记的物品中抽取被登记了由所述拿法判定处理机构(107)判定的拿法的物品作为备选物品的第一物品备选抽取机构(114)。

说明书

技术领域

本发明涉及对使用者在家庭或办公室等生活空间所管理的日用品或办公用品等物品进行推定的物品推定装置、及求出被推定的物品的位置的物品位置推定装置、物品推定方法、以及物品推定程序。

背景技术

家庭或办公室等生活空间(以下称为环境空间。)中的日用品或办公用品等物品，日常放置在桌上或架子中等各种场所。若用例如图像传感器检测这样的场所的物品，会发生其他物品或家具将对象物品的一部分或全部隐藏而无法准确辨认的问题。

因此，作为可以应对这种问题的、以往的检测物品的技术，有根据抓住对象物品的手指的动作来辨认的技术(专利文献1)。图41是上述专利文献1记载的以往的物体辨认装置的构成图。

利用动作检测部1检测抓住对象物品时手指的动作。利用特征抽取部2从动作检测部1所检测出的手指的动作数据抽取特征量。利用神经网络部3，使用预先确定的示教数据，学习由特征抽取部2抽取的特征量。利用判别部4对上述神经网络部3的学习结果进行对象物品的辨认。

这是利用人在抓住对象物品时进行对应于对象物品的形状准备手形的称之为预成型的动作。

【专利文献1】特开平7-160665号公报

但是，家庭或办公室等生活空间中的日用品或办公用品等物品有各种各样。在这样的状况下应用上述以往的技术时，检测手指的动作，根据对象物品的形状进行辨认，在相同形状的物品存在多个的情况下，备选的对象物品存在多个。

发明内容

本发明是解决上述以往的课题的发明，其目的在于，即便在对象物品的一部分或全部被隐藏且存在多个相同形状的物品的情况下也可以推定对象物品的物品推定装置、及可以求出该对象物品的位置的物品位置推定装置、物品推定方法、以及物品推定程序。

为了实现上述目的，本发明如下所述构成。

根据本发明的第一方式，提供一种物品推定装置，其具备：

物品传感机构，其对在环境空间中存在的多个物品的位置信息进行检测；

手传感机构，其对在上述环境空间中存在的人的手的位置信息进行检测；

拿法判定处理机构，其将分别由上述物品传感机构及上述手传感机构检测出的上述物品的位置信息和上述手的位置信息的位置关系作为上述手对上述物品的拿法进行判定；和

物品推定机构，其从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第二方式，提供一种物品推定装置，其具备：

物品传感机构，其检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，将所检测的信息在物品检测履历数据库中登记；

手传感机构，其检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，将所检测的信息在手检测履历数据库中登记；

拿法判定处理机构，其从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将所判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中；

第一物品备选抽取机构，其从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；和

物品推定机构，其推定由上述第一物品备选抽取机构抽取的上述第一备选物品为上述人在搬运的物品。

根据本发明的第九方式，提供一种物品推定方法，其包括：

用物品传感机构对在环境空间中存在的多个物品的位置信息进行检测；

用手传感机构对在上述环境空间中存在的人的手的位置信息进行检测；

用拿法判定处理机构，将分别由上述物品传感机构及上述手传感机构检测出的上述物品的位置信息和上述手的位置信息的位置关系作为上述手对上述物品的拿法进行判定；

用物品推定机构，从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第十方式，提供一种物品推定方法，其包括：

通过物品传感机构，检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，将所检测的信息在物品检测履历数据库中登记；

通过手传感机构，检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，将所检测的信息在手检测履历数据库中登记；

通过拿法判定处理机构，从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将所判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中；

通过第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

通过物品推定机构，推定由上述第一物品备选抽取机构抽取的上述第一备选物品为上述人在搬运的物品。

根据本发明的第十一方式，提供一种物品推定方法，其包括：

通过物品传感机构，检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，使所检测的信息与检测的时刻的信息对应并在物品检测履历数据库中登记；

通过手传感机构，检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，使所检测的信息与检测的时刻的信息对应并在手检测履历数据库中登记；

通过拿法判定处理机构，从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法、或是否用上述手拿着上述物品，使其与对应于分别由上述物品传感机构及上述手传感机构检测的信息并在上述物品检测履历数据库和上述手检测履历数据库中登记的时刻的信息对应，通过拿法判定处理机构将该判定结果的信息登记在拿法判定结果履历数据库中；

通过第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

通过场景判定机构，参照上述拿法判定结果履历数据库，取得包括判定了上述物品的拿法的时刻的时间区间的信息；

通过第二物品备选抽取机构，参照上述手检测履历数据库，取得就到上述场景判定机构已取得的上述时间区间之前(稍前)的时刻的信息中的上述手的位置，根据上述已取得的手的位置信息和上述之前的时刻的信息，参照上述物品检测履历数据库，抽取在上述人搬运前放置有对象物品的移动源的位置存在的第二备选物品；

通过物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品和由上述第二物品备选抽取机构抽取的上述第二备选物品中共同的物品推定为上述人在搬运的物品。

根据本发明的第十二方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构和物品推定机构发挥功能，

所述拿法判定处理机构，将物品传感机构检测出的在环境空间中存在的多个物品的位置信息和由手传感机构检测出的在上述环境空间中存在的人的手的位置信息的位置关系，作为上述手对上述物品的拿法进行判定；

所述物品推定机构，从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第十三方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构、第一物品备选抽取机构和物品推定机构发挥功能，

所述拿法判定处理机构，从分别在物品检测履历数据库和手检测履历数据库登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将已判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中，所述物品检测履历数据库中登记有由物品传感机构检测出的在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，所述手检测履历数据库中登记有由手传感机构检测出的在上述环境空间中存在的人的ID信息及上述人的手的位置信息；

所述第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

所述物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品判定为上述人在搬运的物品。

根据本发明的第十四方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构、第一物品备选抽取机构、场景判定机构、第二物品备选抽取机构、和物品推定机构发挥功能，

所述拿法判定处理机构，从分别在物品检测履历数据库和手检测履历数据库登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，或是否用上述手拿着上述物品，并与对应于分别由上述物品传感机构及上述手传感机构检测的信息在上述物品检测履历数据库和上述手检测履历数据库中登记的时刻的信息对应，将该判定结果的信息登记在拿法判定结果履历数据库中，所述物品检测履历数据库中将由物品传感机构检测出的在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息与检测的时刻的信息对应进行登记，所述手检测履历数据库中将由手传感机构检测出的在上述环境空间中存在的人的ID信息及上述人的手的位置信息与检测的时刻的信息对应进行登记；

所述第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

所述场景判定机构，参照上述拿法判定结果履历数据库，取得包括判定了上述物品的拿法的时刻的时间区间的信息；

所述第二物品备选抽取机构，参照上述手检测履历数据库，取得就要到上述场景判定机构已取得的上述时间区间之前(稍前)的时刻的信息中的上述手的位置，根据上述已取得的手的位置信息和上述之前的时刻的信息，参照上述物品检测履历数据库，抽取在上述人搬运前放置有对象物品的移动源的位置存在的第二备选物品；

所述物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品和由上述第二物品备选抽取机构抽取的上述第二备选物品中共同的物品推定为上述人在搬运的物品。

发明效果

根据本发明，即便在对象物品的一部分或全部被隐藏且存在多个相同形状的物品的情况下，也可以通过判定人搬运对象物品时的拿法，来缩窄对象物品的辨认备选并对该物品进行推定，进而，使用该推定结果对物品的位置进行推定。

附图说明

本发明的这些和其它目的和特征，由有关附图的优选实施方式的下列记述而明确。其附图如下所示：

图1A是本发明的第一实施方式涉及的物品推定装置及物品位置推定装置中的功能框图，

图1B是本发明的第一实施方式涉及的物品推定装置及物品位置推定装置中的拿法判定处理机构的功能框图，

图2是对本发明的上述第一实施方式中的整体处理流程进行说明的图，

图3是对本发明的上述第一实施方式中的作为生活空间的厨房环境空间进行说明的图，

图4是对本发明的上述第一实施方式中的坐标系进行说明的图，

图5A是表示本发明的上述第一实施方式中的环境空间内的时刻t11的物品的状况的例子的俯视图，

图5B是表示本发明的上述第一实施方式中的环境空间内的时刻t99的物品的状况的例子的俯视图，

图6A是对本发明的上述第一实施方式中的图像传感器的处理中的背景图像进行说明的图，

图6B是对本发明的上述第一实施方式中的图像传感器的处理中的摄像图像进行说明的图，

图6C是对本发明的上述第一实施方式中的图像传感器的处理中的差量图像进行说明的图，

图7是表示本发明的上述第一实施方式中的登记物品数据库的例子的图，

图8是表示本发明的上述第一实施方式中的物品检测履历数据库的例子的图，

图9A是对本发明的上述第一实施方式中的超声波标签传感器的处理进行说明的立体图，

图9B是对本发明的上述第一实施方式的变形例中的超声波标签传感器的处理进行说明的立体图，

图10是表示本发明的上述第一实施方式中的登记人物数据库的例子的图，

图11是表示本发明的上述第一实施方式中的手检测履历数据库的例子的图，

图12A是表示从手的手背侧对本发明的上述第一实施方式中的手和其周边区域进行摄像得到的摄像图像的例子的图，

图12B是表示从手的手掌侧对本发明的上述第一实施方式中的手和其周边区域进行摄像得到的摄像图像的例子的图，

图13是对本发明的上述第一实施方式中的拿法判定处理机构的处理流程进行说明的图，

图14A是表示从图12A抽取本发明的上述第一实施方式中的手的区域和该手所拿的物品的区域图12A的图像的例子的图，

图14B是表示从图12B抽取本发明的上述第一实施方式中的手的区域和该手所拿的物品的区域的图像的例子的图，

图15A是表示对本发明的上述第一实施方式中的手区域和物品区域进行检测的图像的例子的图，

图15B是表示对本发明的上述第一实施方式中的手区域和物品区域进行检测的图像的例子的图，

图15C是表示对本发明的上述第一实施方式中的手区域和物品区域进行检测的图像的例子的图，

图15D是表示对本发明的上述第一实施方式中的手区域和物品区域进行检测的图像的例子的图，

图16是表示本发明的上述第一实施方式中的拿法登记数据库的例子的图，

图17A是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17B是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17C是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17D是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17E是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17F是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图17G是表示本发明的上述第一实施方式中的、从图17A的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图17H是表示本发明的上述第一实施方式中的、从图17B的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图17I是表示本发明的上述第一实施方式中的、从图17C的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图17J是表示本发明的上述第一实施方式中的、从图17D的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图17K是表示本发明的上述第一实施方式中的、从图17E的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图17L是表示本发明的上述第一实施方式中的、从图17F的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图18A是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图18B是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图18C是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图18D是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图18E是表示对本发明的上述第一实施方式中的、手对物品的拿法进行摄像得到的摄像图像的例子的图，

图18F是表示本发明的上述第一实施方式中的、从图18A的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图18G是表示本发明的上述第一实施方式中的、从图18B的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图18H是表示本发明的上述第一实施方式中的、从图18C的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图18I是表示本发明的上述第一实施方式中的、从图18D的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图18J是表示本发明的上述第一实施方式中的、从图18E的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图19是表示本发明的上述第一实施方式中的拿法判定结果履历数据库的例子的图，

图20A是表示本发明的上述第一实施方式中的移动轨迹的例子的俯视图，

图20B是以表格形式表示本发明的上述第一实施方式中的移动轨迹的例子的图，

图21是表示本发明的上述第一实施方式中的每单位时间的移动量的曲线图的例子的图，

图22是表示本发明的上述第一实施方式中的场景判定结果履历数据库的例子的图，

图23A是表示对本发明的上述第一实施方式中的拿书的场景进行摄像得到的摄像图像的例子的图，

图23B是表示对本发明的上述第一实施方式中的拿书的场景进行摄像得到的摄像图像的例子的图，

图23C是表示本发明的上述第一实施方式中的、从图23A的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图23D是表示本发明的上述第一实施方式中的、从图23B的摄像图像分别抽取了手的区域和物品的区域的图像的例子的图，

图24是表示本发明的上述第一实施方式中的场景判定结果的信息和拿法判定结果的信息的例子的图，

图25是表示本发明的上述第一实施方式中的物品拿法对应数据库的例子的图，

图26是对本发明的上述第一实施方式中的第二物品备选抽取机构的考虑方法进行说明的图，

图27是表示本发明的上述第一实施方式中的物品推定结果履历数据库的例子的图，

图28A是表示对本发明的上述第一实施方式中的物品位置推定机构的综合方法进行说明的图，

图28B是表示对本发明的上述第一实施方式中的物品位置推定机构的综合方法进行说明的图，

图29A是表示对本发明的上述第一实施方式中的物品位置推定机构的综合方法进行说明的图，

图29B是表示对本发明的上述第一实施方式中的物品位置推定机构的综合方法进行说明的图，

图30是表示本发明的上述第一实施方式中的物品位置推定结果履历数据库的例子的图，

图31是表示本发明的上述第一实施方式中的显示画面的例子的图，

图32A是表示本发明的第二实施方式涉及的物品推定装置及物品位置推定装置中的环境空间内的物品的状况的例子的图，

图32B是表示本发明的上述第二实施方式中的环境空间内的物品的状况的例子的图，

图32C是表示本发明的上述第二实施方式中的环境空间内的物品的状况的例子的图，

图33是表示本发明的上述第二实施方式中的物品检测履历数据库的例子的图，

图34是表示本发明的上述第二实施方式中的场景判定结果的信息和拿法判定结果的信息的例子的图，

图35A是表示本发明的上述第二实施方式中的物品拿法对应数据库的例子的图，

图35B是表示本发明的上述第二实施方式中的物品拿法对应数据库的例子的图，

图36A是表示本发明的第三实施方式涉及的物品推定装置及物品位置推定装置中的环境空间内的物品的状况的例子的图，

图36B是表示本发明的上述第三实施方式中的环境空间内的物品的状况的例子的图，

图37是表示对本发明的上述第三实施方式中的无线IC标签传感器的处理进行说明的图，

图38是表示本发明的上述第三实施方式中的物品检测履历数据库的例子的图，

图39是表示本发明的上述第三实施方式中的场景判定结果的信息和拿法判定结果的信息的例子的图，

图40是表示本发明的上述第三实施方式中的被更新的物品拿法对应数据库的例子的图，

图41是以往的物体辨认装置的说明图，

图42是在本发明的上述第一实施方式中对第二物品备选抽取机构的具体的物品备选信息的抽取方法进行说明的流程图，

图43是表示本发明的上述第一实施方式的变形例中的场景判定结果的信息和拿法判定结果的信息的其他例子的图，

图44是本发明的上述第一实施方式的变形例涉及的物品推定装置及物品位置推定装置中的功能框图，

图45是表示本发明的上述第一实施方式的变形例中的物品推定结果履历数据库的例子的图，

图46是本发明的上述第一实施方式的变形例中的物品推定装置中的功能框图，

图47是对图46的物品位置推定装置的处理流程进行说明的流程图，

图48是表示本发明的上述第一实施方式中进行了区划分割的环境空间的例子的说明图。

具体实施方式

以下，根据附图详细说明本发明涉及的实施方式。

以下，在参照附图详细说明本发明中的实施方式之前，对本发明的各种方式进行说明。

根据本发明的第一方式，提供一种物品推定装置，其具备：

物品传感机构，其对在环境空间中存在的多个物品的位置信息进行检测；

手传感机构，其对在上述环境空间中存在的人的手的位置信息进行检测；

拿法判定处理机构，其将分别由上述物品传感机构及上述手传感机构检测出的上述物品的位置信息和上述手的位置信息的位置关系作为上述手对上述物品的拿法进行判定；和

物品推定机构，其从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第二方式，提供一种物品推定装置，其具备：

物品传感机构，其检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，将所检测的信息在物品检测履历数据库中登记；

手传感机构，其检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，将所检测的信息在手检测履历数据库中登记；

拿法判定处理机构，其从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将所判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中；

第一物品备选抽取机构，其从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；和

物品推定机构，其推定由上述第一物品备选抽取机构抽取的上述第一备选物品为上述人在搬运的物品。

根据本发明的第三方式，提供一种物品推定装置，其具备：

物品传感机构，其检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，使已检测的信息与检测的时刻的信息对应，在物品检测履历数据库中登记；

手传感机构，其检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，使已检测的信息与检测的时刻的信息对应，在手检测履历数据库中登记；

拿法判定处理机构，其从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法、或是否用上述手拿着上述物品，使其与对应于分别由上述物品传感机构及上述手传感机构检测的信息并在上述物品检测履历数据库和上述手检测履历数据库中登记的时刻的信息对应，将该判定结果的信息登记在拿法判定结果履历数据库中；

第一物品备选抽取机构，其从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

场景判定机构，其参照上述拿法判定结果履历数据库，取得包括判定了上述物品的拿法的时刻的时间区间的信息；

第二物品备选抽取机构，其参照上述手检测履历数据库，取得就要到上述场景判定机构已取得的上述时间区间之前的时刻的信息中的上述手的位置，根据上述已取得的手的位置信息和上述之前的时刻的信息，参照上述物品检测履历数据库，抽取在上述人用上述手拿并搬运上述物品前放置有该物品的移动源的位置存在的第二备选物品；和

物品推定机构，其将由上述第一物品备选抽取机构抽取的上述第一备选物品和由上述第二物品备选抽取机构抽取的上述第二备选物品中共同的物品推定为上述人在搬运的物品。

根据本发明的第四方式，提供一种第二或第三方式中记载的物品推定装置，其中，上述物品传感机构及上述手传感机构的至少任意1个，由对包括在上述环境空间中存在的上述多个物品及上述人的手的图像信息进行摄像的图像传感器、和根据由上述图像传感器摄像的图像信息进行图像识别处理的图像识别机构构成，

上述图像识别机构具有如下的任意功能，即作为检测上述多个物品的ID信息及上述多个物品的位置信息并在上述物品检测履历数据库中登记的上述物品传感机构的功能、或作为检测上述人的ID信息及上述人的手的位置信息并在上述手检测履历数据库中登记的上述手传感机构的功能。

根据本发明的第五方式，提供一种第三方式中记载的物品推定装置，

上述场景判定机构，参照上述手检测履历数据库，从已取得的时间区间的信息中的上述手的位置信息和检测出该手的位置信息的时刻的信息，算出每单位时间的上述手的移动量，将已算出的上述手的移动量为预先设定的阈值以下的时间区间的信息抽取多个，将已抽取的时间区间中最早时刻的信息的时间区间的信息判定为取物品的场景，将上述已抽取的时间区间中最晚时刻的信息的时间区间的信息判定为放置物品的场景，将上述取物品的场景和上述放置物品的场景之间的时间区间判定为搬运物品的场景，将上述判定的结果分别在场景判定结果履历数据库中登记，

进而，具备登记有下述信息的物品拿法对应数据库，即将上述人对上述物品的拿法按照上述多个物品的ID信息的每个、以及将上述人搬运上述物品时的拿法的信息按每个场景，作为上述物品和上述人的手的位置关系进行登记，

上述第一物品备选抽取机构，在上述场景判定结果履历数据库所登记的场景下，从上述物品拿法对应数据库所登记的物品中，抽取被登记有下述拿法的物品作为备选物品，所述拿法在由上述场景判定机构判定的场景下被上述拿法判定处理机构判定。

根据本发明的第六方式，提供一种第五方式中记载的物品推定装置，其中，还具备数据库切换机构，

所述数据库切换机构对应于用上述手拿来搬运上述物品的上述人、或上述人在用上述手拿来搬运上述物品的场所，对上述拿法登记数据库及上述物品拿法对应数据库的上述第一物品备选抽取机构所参照的数据进行切换。

根据本发明的第七方式，提供一种物品位置推定装置，其具备：

第二～第六的任意1个方式中记载的上述物品推定装置；和

物品位置推定机构，其参照上述物品检测履历数据库，将与上述物品推定机构所推定的上述物品的ID信息对应的上述物品的ID的位置信息作为推定位置。

根据本发明的第八方式，提供一种第七方式中记载的物品位置推定装置，其中，还具备输入输出机构，所述输入输出机构接受上述物品的查找请求，输出由上述物品位置推定机构推定的上述物品的ID的位置信息中与已接受上述查找请求的上述物品的ID信息对应的上述物品的位置信息。

根据本发明的第九方式，提供一种物品推定方法，其包括：

用物品传感机构对在环境空间中存在的多个物品的位置信息进行检测；

用手传感机构对在上述环境空间中存在的人的手的位置信息进行检测；

用拿法判定处理机构，将分别由上述物品传感机构及上述手传感机构检测出的上述物品的位置信息和上述手的位置信息的位置关系作为上述手对上述物品的拿法进行判定；

用物品推定机构，从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第十方式，提供一种物品推定方法，其包括：

通过物品传感机构，检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，将所检测的信息在物品检测履历数据库中登记；

通过手传感机构，检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，将所检测的信息在手检测履历数据库中登记；

通过拿法判定处理机构，从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将所判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中；

通过第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

通过物品推定机构，推定由上述第一物品备选抽取机构抽取的上述第一备选物品为上述人在搬运的物品。

根据本发明的第十一方式，提供一种物品推定方法，其包括：

通过物品传感机构，检测在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，使所检测的信息与检测的时刻的信息对应并在物品检测履历数据库中登记；

通过手传感机构，检测在上述环境空间中存在的人的ID信息及上述人的手的位置信息，使所检测的信息与检测的时刻的信息对应并在手检测履历数据库中登记；

通过拿法判定处理机构，从分别由上述物品传感机构及上述手传感机构检测出且在上述物品检测履历数据库和上述手检测履历数据库中登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法、或是否用上述手拿着上述物品，使其与对应于分别由上述物品传感机构及上述手传感机构检测的信息并在上述物品检测履历数据库和上述手检测履历数据库中登记的时刻的信息对应，通过拿法判定处理机构将该判定结果的信息登记在拿法判定结果履历数据库中；

通过第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

通过场景判定机构，参照上述拿法判定结果履历数据库，取得包括判定了上述物品的拿法的时刻的时间区间的信息；

通过第二物品备选抽取机构，参照上述手检测履历数据库，取得就要到上述场景判定机构已取得的上述时间区间之前的时刻的信息中的上述手的位置，根据上述已取得的手的位置信息和上述之前的时刻的信息，参照上述物品检测履历数据库，抽取在上述人搬运前放置有对象物品的移动源的位置存在的第二备选物品；

通过物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品和由上述第二物品备选抽取机构抽取的上述第二备选物品中共同的物品推定为上述人在搬运的物品。

根据本发明的第十二方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构和物品推定机构发挥功能，

所述拿法判定处理机构，将物品传感机构检测出的在环境空间中存在的多个物品的位置信息和由手传感机构检测出的在上述环境空间中存在的人的手的位置信息的位置关系，作为上述手对上述物品的拿法进行判定；

所述物品推定机构，从拿法登记数据库推定与由上述拿法判定处理机构判定的上述拿法的信息相对应的物品的ID为上述人在拿的物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库。

根据本发明的第十三方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构、第一物品备选抽取机构和物品推定机构发挥功能，

所述拿法判定处理机构，从分别在物品检测履历数据库和手检测履历数据库登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，将已判定的拿法的信息按每个上述物品的ID登记在拿法判定结果履历数据库中，所述物品检测履历数据库中登记有由物品传感机构检测出的在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息，所述手检测履历数据库中登记有由手传感机构检测出的在上述环境空间中存在的人的ID信息及上述人的手的位置信息；

所述第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

所述物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品判定为上述人在搬运的物品。

根据本发明的第十四方式，提供一种物品推定程序，用于使计算机作为如下的拿法判定处理机构、第一物品备选抽取机构、场景判定机构、第二物品备选抽取机构、和物品推定机构发挥功能，

所述拿法判定处理机构，从分别在物品检测履历数据库和手检测履历数据库登记的上述物品的位置信息和上述手的位置信息的位置关系，判定上述手对上述物品的拿法，或是否用上述手拿着上述物品，并与对应于分别由上述物品传感机构及上述手传感机构检测的信息在上述物品检测履历数据库和上述手检测履历数据库中登记的时刻的信息对应，将该判定结果的信息登记在拿法判定结果履历数据库中，所述物品检测履历数据库中将由物品传感机构检测出的在环境空间中存在的多个物品的ID信息及上述多个物品的位置信息与检测的时刻信息对应进行登记，所述手检测履历数据库中将由手传感机构检测出的在上述环境空间中存在的人的ID信息及上述人的手的位置信息与检测的时刻信息对应进行登记；

所述第一物品备选抽取机构，从拿法登记数据库抽取与由上述拿法判定处理机构取得的上述拿法的信息相对应的物品的ID作为第一备选物品，所述拿法登记数据库是将上述人对上述物品的拿法按每个上述物品的ID作为上述物品和上述人的上述手的位置关系而登记的数据库；

所述场景判定机构，参照上述拿法判定结果履历数据库，取得包括判定了上述物品的拿法的时刻的时间区间的信息；

所述第二物品备选抽取机构，参照上述手检测履历数据库，取得就要到上述场景判定机构已取得的上述时间区间之前的时刻的信息中的上述手的位置，根据上述已取得的手的位置信息和上述之前的时刻的信息，参照上述物品检测履历数据库，抽取在上述人搬运前放置有对象物品的移动源的位置存在的第二备选物品；

所述物品推定机构，将由上述第一物品备选抽取机构抽取的上述第一备选物品和由上述第二物品备选抽取机构抽取的上述第二备选物品中共同的物品推定为上述人在搬运的物品。

以下，参照附图对本发明的实施方式进行说明。

(第一实施方式)

图1A是本发明的第一实施方式涉及的物品推定装置及物品位置推定装置中的功能框图。

该物品推定装置具备：时刻取得机构(时刻取得部)100、物品传感机构(物品传感部)101、物品检测履历数据库(物品检测履历DB)102、手传感机构(手传感部)103、手检测履历数据库(手检测履历DB)104、拿法判定处理机构(拿法判定处理部)107、拿法判定结果履历数据库(拿法判定结果履历DB)108、场景判定机构(场景判定部)109、场景判定结果履历数据库(场景判定结果履历DB)110、数据库切换机构(数据库切换部)111、拿法登记数据库(拿法登记DB)112、物品拿法对应数据库(物品拿法对应DB)123、登记物品数据库(登记物品DB)113、第一物品备选抽取机构(第一物品备选抽取部)114、第二物品备选抽取机构(第二物品备选抽取部)115、物品推定机构(物品推定部)116、物品推定结果履历数据库(物品推定结果履历DB)117、输入输出机构(输入输出部)120、和数据库更新机构(数据库更新部)121，可以推定人管理的物品。

另外，上述第一实施方式涉及的物品位置推定装置，在上述物品推定装置中还具备物品位置推定机构118、和物品位置推定结果履历数据库(物品位置推定结果履历DB)119，可以使用上述推定结果的信息来推定物品的位置。

《各构成要件的简单说明》

以下，简单说明各构成要件。

时刻取得机构100取得当前时刻的信息后输出。

物品传感机构101检测在家庭或办公室等生活空间(以下为环境空间。)91中的日用品或办公用品等物品的ID信息及位置信息。物品传感机构101从上述时刻取得机构100取得检测的时刻的信息，将该时刻的信息和物品的ID信息及位置信息合起来登记在物品检测履历数据库102中。

物品检测履历数据库102，将通过上述物品传感机构101检测出的物品的ID信息及位置信息与从上述时刻取得机构100取得的时刻的信息对应储存。

手传感机构103，检测出在环境空间91活动的人的ID信息及人的手的位置信息。手传感机构103，从上述时刻取得机构100取得已检测的时刻的信息，将该时刻的信息和人的ID信息及人的手的位置信息合起来登记在手检测履历数据库104中。

手检测履历数据库104，将通过上述手传感机构103检测出的手的位置信息和从上述时刻取得机构100取得的时刻的信息对应储存。

拿法判定处理机构107，参照在物品检测履历数据库102中登记的物品的ID信息及位置信息和在上述手检测履历数据库104中登记的人的ID信息及该人的手的位置信息，根据手及其周边区域的信息，判定人如何拿着物品、或是否什么都没拿。将判定结果的信息与时刻的信息合起来按照每个物品的ID信息登记在拿法判定结果履历数据库108中。

拿法判定结果履历数据库108，按每个物品的ID将由上述拿法判定处理机构107判定的物品的拿法和时刻的信息对应储存。

场景判定机构109，以时间序列参照在上述手检测履历数据库104中登记的手的位置，求出人移动物品时的手的移动轨迹。进而，根据该手的移动轨迹，由场景判定机构109来判定场景。在这里，“场景”是指在人移动物品时人拿起放置的物品人的状况(取物的场景)、人在搬运已拿起的物品的状况(搬运的场景)、和人放置所拿着的物品的状况(放置的场景)、的任意状况。将移动轨迹和判定结果的信息与时刻的信息合起来，通过场景判定机构109登记在场景判定结果履历数据库110中。

场景判定结果履历数据库110，将由上述场景判定机构109求出的手的移动轨迹和场景判定结果的信息与时刻的信息对应储存。

数据库切换机构111，参照在上述手检测履历数据库104中登记的人的ID信息及手的位置信息，从拿法登记数据库112的多个数据中切换成适于状况的数据，该数据被第一物品备选抽取机构114参照。另外，数据库切换机构111，对物品拿法对应数据库123切换成适于状况的数据，该数据被第一物品备选抽取机构114参照。

拿法登记数据库112，登记有对物品的拿法进行分类并登记有各拿法的判定条件的数据。上述数据按每个人的ID信息、每个位置信息分别记述，通过上述数据库切换机构111切换成适于状况的数据。

物品拿法对应数据库123，针对在登记物品数据库113中记录的各物品的信息，登记记述了其每个场景的拿法的数据。上述数据按每个人的ID信息、每个位置信息分别记述，通过上述数据库切换机构111切换成适于状况的数据。

登记物品数据库113，登记有环境空间91中的日用品或办公用品等成为管理对象的物品的信息。至少有物品的ID信息、物品的品名的信息、用于通过上述物品传感机构101检测出物品的ID信息及位置信息检测的信息(例如模板图像信息、颜色信息等)。

第一物品备选抽取机构114，参照上述拿法判定结果履历数据库108和上述场景判定结果履历数据库110，对在各场景下以何种拿法来拿对象物品进行比较，由此从登记在上述拿法登记数据库112或/及物品拿法对应数据库123的数据抽取对象物品的第一物品备选的信息。

第二物品备选抽取机构115，参照上述物品检测履历数据库102和上述场景判定结果履历数据库110，抽取在对象物品的移动轨迹的移动源中检测出的物品的信息作为第二物品备选的信息。

物品推定机构116，将由上述第一物品备选抽取机构114和上述第二物品备选抽取机构115中共同抽取的对象物品的备选的信息作为对象物品的推定结果的信息。通过物品推定机构116将推定结果的信息和时刻的信息合起来登记在物品推定结果履历数据库117中。

物品推定结果履历数据库117，将由上述物品推定机构116推定的物品推定结果的信息与时刻的信息对应储存。

物品位置推定机构118，参照上述物品检测履历数据库102和上述物品推定结果履历数据库117，推定对象物品的位置。通过物品位置推定机构118将推定结果的信息和时刻的信息合起来登记在物品位置推定结果履历数据库119中。

物品位置推定结果履历数据库119，将由上述物品位置推定机构118推定的物品位置推定结果的信息与时刻的信息对应储存。

输入输出机构120，接受来自使用者的物品查找请求的信息并在接受了物品查找请求的信息时对于请求查找的物品参照上述物品位置推定结果履历数据库119，输出物品的位置信息。另外，也可以通过使用输入输出机构120，对本发明的任意数据库适当进行存取，追加或更新在数据库中登记的信息。

数据库更新机构121参照上述物品检测履历数据库102、上述拿法判定结果履历数据库108和上述场景判定结果履历数据库110，更新上述拿法登记数据库112或/及物品拿法对应数据库123的内容。

登记人物数据库(登记人物DB)122，对在环境空间91活动的人的信息进行了登记。作为人的信息，至少有人的ID信息、及人的姓名的信息。

《整体的处理流程》

接着，参照图2对本发明的第一实施方式中的物品位置推定装置的整体处理流程进行说明。

在步骤S201中，由传感机构分别检测出环境空间91内的多个物品的ID信息及位置信息、人的手的位置信息和具有该手的人的ID信息，分别登记在数据库102、104中。具体而言，物品传感机构101检测出在环境空间91存在的日用品或办公用品等多个物品的ID信息及位置信息，与检测的时刻的信息相对应，登记在物品检测履历数据库102中。手传感机构103检测出在环境空间91存在的人的手的位置信息及具有该手的人的ID信息，与检测的时刻的信息相对应，登记在手检测履历数据库104中。

接着，在步骤S202中，拿法判定处理机构107参照物品检测履历数据库102和手检测履历数据库104，取得物品和手的位置关系，根据该位置关系和拿法登记数据库112的数据(登记有被分类的物品的拿法的判定条件的数据)，来判定人如何拿着物品、或是否什么都没拿，将判定结果的信息按每个物品的ID登记在拿法判定结果履历数据库108中。

接着，在步骤S203中，场景判定机构109以时间序列参照手检测履历数据库104的手的位置信息，求出手的移动轨迹，根据该移动轨迹来判定场景(“取物的场景”、“搬运的场景”、或“放置的场景”)，使已判定的场景的信息和判定该场景的时刻的信息对应，登记在场景判定结果履历数据库110中。另外，参照手检测履历数据库104，确定与移动的手对应的“人的ID”的信息，在场景判定结果履历数据库110中登记。进而，将与已确定的人的ID信息对应的人的手的位置信息和检测出该位置信息的时刻的信息作为对应的手的移动轨迹进行登记。

接着，在步骤S204中，第二物品备选抽取机构115，根据在步骤S203中判定并登记在场景判定结果履历数据库110中的结果的信息，判定物品是否是“放置的场景”已结束，如果由第二物品备选抽取机构115判定物品为“放置的场景”的结束以前，则从步骤S201的传感起反复进行，另一方面，如果由第二物品备选抽取机构115判定物品为“放置的场景”已结束，则开始以下的步骤S205以后的用于物品推定的处理。

在步骤S205中，数据库更新机构121，参照物品检测履历数据库102、上述拿法判定结果履历数据库108和场景判定结果履历数据库110，物品传感机构101将与登记在场景判定结果履历数据库110中的手的移动轨迹相同而移动的物品确定为唯一1个时，关于该物品的拿法，在步骤S202中所判定的拿法的信息更新拿法登记数据库112或/及物品拿法对应数据库123。

接着，在步骤S206中，数据库切换机构111，根据登记在场景判定结果履历数据库110中的人的ID信息2203、参照手检测履历数据库104而取得的该人的手所在的位置信息、和该人的ID信息，从登记在拿法登记数据库112中的多个数据中切换成对应于状况的数据，使得第一物品备选抽取机构114在下一个步骤可以参照该被切换的数据。例如，可以根据人的ID信息，对手区域及物品区域位置关系中的ID进行切换，具体而言，可以与因大人和子供而对物品的拿法不同的场面等相对应。

接着，在步骤S207中，上述第一物品备选抽取机构114，参照在拿法判定结果履历数据库108和场景判定结果履历数据库110中登记的人的ID信息和场景的信息，根据在各场景下的物品的拿法，从在拿法登记数据库112或/及物品拿法对应数据库123中登记的数据抽取第一物品备选的信息。

接着，在步骤S208中，通过第二物品备选抽取机构115，参照上述物品检测履历数据库102和上述场景判定结果履历数据库110，根据在上述场景判定结果履历数据库110中登记的手的移动轨迹，在物品移动之前的位置(以下称为“移动源”。)，抽取已被推定的物品的信息作为第二物品备选的信息。

接着，在步骤S209中，物品推定机构116，将由第一物品备选抽取机构114和上述第二物品备选抽取机构115抽取的第一物品备选的信息和第二物品备选的信息中共同的物品信息，作为物品的推定结果的信息。物品推定机构116，使由物品推定机构116推定的物品推定结果的信息与时刻的信息对应，储存在物品推定结果履历数据库117中。作为上述物品推定装置，在该状态下通过步骤S211输出物品的推定结果的信息即可。在上述物品推定位置装置中，在步骤S211之前进行以下的步骤S210的动作。

接着，在步骤S210中，物品位置推定机构118，参照物品检测履历数据库102和物品推定结果履历数据库117，推定对象物品的位置。

接着，在步骤S211中，通过上述输入输出机构120，输出推定结果的信息，结束处理。

《各机构的说明》

接着，关于前述的各机构，对具体的处理内容进行说明。在这里，以在图3所示的厨房的环境空间91管理厨房用品的场景为例进行说明。本发明不限于在作为环境空间91的厨房中使用，也可以在起居室或餐厅等其他空间中使用，为了容易理解，以下，以厨房为例进行说明。

传感器的一例的摄像头301设置在厨房的环境空间91的顶棚91a，对环境空间91内进行传感。在系统厨房上，系统厨房的一端的煤气灶的里侧放置有收纳架302，系统厨房的另一端的侧部放置有收纳架303，通过这些收纳架302或303，用上述摄像头301对厨房用品进行传感时，会发生厨房用品的隐蔽等问题。另外，显示输出用的监视器304也设置在系统厨房的案桌的里侧。人305边在该环境空间91内运动边进行作业。以后，如图4所示，考虑以左上角为原点的坐标系。

在该环境空间91中，按照茶杯3203的一部分被收纳架302隐藏的方式将茶杯3203放置在收纳架302上。花子在时刻t11将该茶杯3203从收纳架302取出，搬运，在时刻t99将茶杯3203放置在其他收纳架303的、茶杯3203的一部分被隐藏这样的位置。此时，即便在监视器304的前方的容易看到的位置，也放置茶杯3204。考虑以上所示的状况。图5A及图5B中分别示出时刻t11的物品的状况3201、时刻t99的物品的状况3202。在时刻t11的物品的状况3201下，按照圆形的茶杯3203的一半被收纳架302隐藏的方式，将茶杯3203放置在收纳架302上，仅是茶杯3203的半圆形的斜线区域从收纳架302露出而被看到，而且即便在监视器304的前方的容易看到的位置，也会看到用圆形的斜线区域表示的茶杯3204。在时刻t99的物品的状况3202下，按照圆形的茶杯3203的一半被其他收纳架303隐藏的方式，将茶杯3203放置在收纳架303上，仅是茶杯3203的半圆形的斜线区域从收纳架303露出而被看到，而且即便在监视器304的前方的容易看到的位置，也会看到用圆形的斜线区域表示的茶杯3204。

《传感机构》

传感机构由物品传感机构101和手传感机构103构成。物品传感机构101和手传感机构103可以由不同的装置或机构等构成，也可以由共同的装置或机构(例如图像传感器等)构成。

在该实施方式中，关于物品传感机构101，作为一例，具备：取得在环境空间91存在的多个物品的信息(多个物品的ID信息及上述多个物品的位置信息)的信息取得装置、从由信息取得装置得到的信息对物品进行确定的确定机构(确定部)。作为信息取得装置的一例，能够使用可以取得物品的形状及颜色信息等的公知的图像传感器等摄像头301。作为确定机构的一例，能够使用公知的图像识别机构300等。用图像传感器301对环境空间91中存在的多个物品进行摄像，根据经摄像得到的图像，用图像识别机构300检测多个物品的ID信息及上述多个物品的位置信息，登记在物品检测履历数据库102中，由此可以作为物品传感机构101发挥功能。需要说明的是，手传感机构103也与该物品传感机构101一样，构成为用图像传感器301对环境空间91中存在的多个或单个人及该人的手进行摄像，根据经摄像得到的图像，用图像识别机构300检测多个或单个人的ID信息及上述人的位置信息及手的位置信息，登记在手检测履历数据库104中。

物品传感机构101，从在环境空间91存在的多个物品的信息中，检测环境空间91中的多个日用品或办公用品等多个物品的ID信息及位置信息。

以下，参照图6A～图6C，对使用图像传感器301、利用物品传感机构101取得在环境空间91存在的多个物品的信息时的动作的例子进行说明。

如图3所示，当作为物品传感机构101的图像传感器的一例的摄像头301设置在厨房环境空间91的顶棚91a时，通过摄像头301对背景图像501(参照图6A)进行摄像，将没有想预先检测的物品的状态的图像保持在登记物品数据库113中。此外，当想检测的物品存在于环境空间91时，通过摄像头301对环境空间91进行摄像，取得包括在此时的环境空间91存在的多个物品的图像信息，通过图像识别机构300算出背景图像501和由摄像头301摄像得到的环境空间91的图像的差量，检测物品的ID及位置。在这里，如图6B所示，如果在收纳架302一部分被隐藏这样的位置放置有物品90，利用图像识别机构300求出放置物品90时的输入图像502(参照图6B)和上述背景图像501(参照图6A)的差，得到差量图像503(参照图6C)。将由上述差量图像503抽取的斜线部的区域504的重心位置作为检测物品90的位置。

另一方面，对于登记物品数据库113，预先使用输入输出机构120等登记用于检测物品的信息。在这里，将使模板图像信息和颜色信息与物品的ID信息及品名的信息对应并登记在登记物品数据库113中的例子示于图7。即，在图7中，在登记物品数据库113中，对于各物品，对应登记有ID信息601、品名的信息602、模板图像信息603、和颜色信息604。模板图像信息603登记有实际上从各方向取得的图像(例如，上面、下面、左侧面、右侧面、正面、背面6个方向的图像)，为了进行简化，在这里，仅记载有从上方取得的图像的例子。

通过图像识别机构300参照在登记物品数据库113中登记的信息，根据由图像识别机构300从背景图像501和经摄像头301摄像得到的环境空间91的图像算出的差量图像、和与差量图像对应的模板图像信息603等信息，利用图像识别机构300检测出物品的ID信息。

例如，通过核对从图6C的差量图像503抽取的斜线部的区域504、和模板图像信息603，来辨认物品的ID。如前所述，在物品的一部分被隐藏的情况、即便物品全部被看到但摄像图像粗糙而无法准确进行与模板的核对的情况、及登记有多个相同形状的物品的情况等情况下，难以确定为1个物品。因此，关于区域504和模板图像信息603的类似度，将预先设定的阈值以上的多个物品作为备选的信息，在物品检测履历数据库102中登记该多个物品的ID信息。在这里，类似度可以使用例如摄像图像和模板图像的匹配的比率。

另外，在利用颜色信息604的情况下，利用图像识别机构300对已抽取的区域504的颜色和物品的颜色信息604进行比较，由此来辨认物品，通过图像识别机构300取得物品的ID信息。与利用上述模板图像信息603时一样，在难以确定为1个物品时，将多个物品的ID信息作为备选的信息，由图像识别机构300登记在物品检测履历数据库102中。物品的检测及辨认不限于在此所述的方法，在大多数情况下，会发生同样难以确定1个物品的情况，所以多个备选的ID信息通过图像识别机构300登记在物品检测履历数据库102中。

图8示出登记有物品传感机构101的结果的信息的物品检测履历数据库102的例子。在物品检测履历数据库102中，登记有由物品传感机构101检测出物品的时刻701、检测出物品的位置信息(例如XY坐标)702、和检测的物品的备选信息(例如，作为已检测的物品的备选的、多个物品的ID信息)703。作为一例，图8按每个位置的信息示出在时刻t11检测出的结果的信息和在时刻t99检测出的结果的信息。

手传感机构103检测在环境空间91活动的人305的ID信息及手的位置信息。作为一例，参照图9A，对使用了可以安装在人305的手腕上的手表型的超声波标签传感器802的情况下的动作的例子进行说明。需要说明的是，作为其他例，图9B中示出使用了可以安装在人305的衣服上的超声波标签传感器802B的情况，在动作上与图9A相同，所以在以下的说明中，以图9A的超声波标签传感器802为基础进行。在顶棚91a或墙壁等上设置多个超声波接收机801，在人305的手腕上安装手表型的超声波发送器802，使人305携带超声波发送器802。由多个超声波接收机801来接收超声波发送器802发送的超声波，可以通过上述超声波的到达时间的差求出超声波发送器802的三维位置，将该位置作为人305的手的位置。另外，通过预先在超声波发送器802中登记人305的ID，使手传感机构103参照登记人物数据库122，由此可以辨认已检测出的人305是谁。即，手传感机构103使用登记人物数据库122辨认至人的ID。此外，如果知道人的ID，通过由手传感机构103参照物品拿法对应数据库123等，知晓每人的物品的拿法的差异等。

图10中示出登记人物数据库122的例子。在图10中，登记人物数据库122中登记有ID信息901、和人物姓名的信息902。作为人305的手的位置检测的其他例子，也可以使用上述图像传感器301进行摄像(或使用通过物品传感机构101摄像得到的摄像图像)，用图像识别机构300抽取摄像图像中的肤色区域，追踪，由此得以实现。例如，可以使用在特开2007-148663号公报等中公开的方法。

将通过以上所示的处理得到的结果的信息登记在手检测履历数据库104中。

图11中示出登记有上述结果的信息的手检测履历数据库104的例子。手检测履历数据库104中登记有检测的时刻的信息1101、检测的手的ID信息1102(与具有该手的人305的ID信息相对应。)、和检测的位置信息1(XY坐标)103。

《传感控制机构》

关于传感控制机构1220，例如图3所示，按照使作为图像传感器的一例的摄像头301通过移动装置1222沿着上下方向的轨道1221移动的方式进行控制，改变摄像头301的三维位置，用摄像头301从不同的位置进行摄像，改变所取得的在环境空间91存在的物体(物品及人)的图像信息，由此来控制构成物品传感机构101及手传感机构103等的图像识别机构300所使用的图像信息。由此，可以按照与在后述的拿法登记数据库112及物品拿法对应数据库123中登记的物品和手的位置关系相对应的方式，得到各种角度的图像信息(当在图像传感器301和物体之间没有障碍物时，从物体的360度的所有方向看到的图像信息)。具体的控制如后所述，例如，改变图像传感器301的位置为由手传感机构103检测出的手的高度，得到在环境空间存在的物体的图像信息。

《拿法判定处理机构》

拿法判定处理机构107，参照在上述手检测履历数据库104中登记的手的位置，进而参照物品检测履历数据库102，根据手和在其周边存在的物品的位置信息，判定人是如何拿着物品，或是否什么都没拿。

关于判定，通过比较由传感控制机构1220控制多个摄像头301而得到的手和其周边区域的图像来进行。图12A示出从手的手背侧摄像的摄像图像，图12B示出从手的手掌侧摄像的摄像图像。需要说明的是，只要能通过人到处活动取得从多方向拍摄得到的图像，摄像头301可以不必设置多台。另外，关于手的手背侧的图像、手的手掌侧的图像的区别，作为一例，可以在取得了2个图像之后，将手的区域多的一方的图像作为手的手背侧的图像进行管理，将手的区域少的一方的图像作为手的手掌侧的图像进行管理。

参照图13，对通过拿法判定处理机构107的拿法判定处理的处理内容进行说明。

首先，在步骤S1300中，传感控制机构1220对摄像头301的高度位置进行控制。例如，按照使摄像头301位于与手传感机构103检测出的手的高度方向相对应的位置的方式，对移动装置1222进行驱动控制，来控制摄像头301的高度，用摄像头301对人305的手及该手的周边区域的图像信息进行摄像而取得。在这里，例如，可以得到人305的手、及由手把持的物品的摄像图像。

接着，在步骤S1301中，根据由摄像头301取得的、手及该手的周边区域的图像信息，使用物品传感机构101和手传感机构103的图像识别机构300，检测人的手和在该手的周边存在的物品(推定为人305的手所拿的物品)。通过手传感机构103，使用对图像传感器301的摄像图像进行处理的图像识别机构300来进行肤色检测等，由此进行手的检测。以检测出的手的位置为中心，以预先设定的区域(例如以手的位置为中心的直径50cm的球的区域)为对象，用图像识别机构300抽取与预先取得的背景图像的差量区域，通过图像识别机构300检测出手和在该手的周边存在的物品。

在这里，通过传感控制机构1220来控制2台摄像头301的高度位置，按照同时从1只手的两侧(手的手背侧和手的手掌侧)拍摄的方式进行控制。根据得到的手的图像信息，用图像识别机构300进行图像识别处理，将从肤色区域多的方向摄像得到的图像信息称为“手的手背侧图像”(参照图12A)，将从肤色区域少的方向摄像得到的图像信息即从手的手掌侧拍摄得到的图像称为“手的手掌侧图像”(参照图12B)。图14A及图14B中示出从“手的手背侧图像”(参照图12A)及“手的手掌侧图像”(参照图12B)抽取的图像的例子。在图14A及图14B中，白色的椭圆形部分W为手的部分，黑色的圆柱部分B为物品(在该例中为杯子)的部分。

接着，在步骤S1302中，分割手区域和物品区域，求出每个区域的尺寸。具体而言，在上述步骤S1301中利用图像识别机构300进行图像识别处理而检测出的区域中，将肤色区域设为手区域，将肤色以外的区域设为物品区域。此外，通过构成拿法判定处理机构107的一部分的演算部107A(参照图1B)求出各区域的面积。图15A～图15D中分别示出手的手背侧的图像和手的手掌侧的图像的手区域1501、以及手的手背侧的图像和手的手掌侧的图像的物品区域1502。在图15C中示出物品区域1502被分成多个连结成分的状态。

接着，在步骤S1303中，通过构成拿法判定处理机构107的一部分的判定部107B(参照图1B)来判定物品区域1502的尺寸是否为0(零)。如果通过构成拿法判定处理机构107的一部分的手区域比较判定部107C(参照图1B)判定为手的手背侧图像及手的手掌侧图像的物品区域1502的尺寸均为0，则由步骤S1308判定为在步骤S1308中人的手什么都没拿，将判定结果的信息登记在拿法判定结果履历数据库108中，结束拿法判定处理。另外，在步骤S1303中，如果通过构成拿法判定处理机构107的一部分的手区域比较判定部107C判定物品区域1502的尺寸不是0，则进入下一步骤S1304。

需要说明的是，参照手检测履历数据库104，在手的位置连续一定时间位于比腰的高度高的位置的情况下，可以判断为人在拿着收在手里的小物品。

在步骤S1304中，通过构成拿法判定处理机构107的一部分的手区域比较判定部107C来比较手的手背侧图像和手的手掌侧图像的手区域1501的尺寸。

如果由构成拿法判定处理机构107的一部分的手区域比较判定部107C，判定为手的手背侧图像的手区域1501的尺寸和手的手掌侧图像的手区域1501的尺寸大致相等，则为“类型A1”，如果由构成拿法判定处理机构107的一部分的手区域比较判定部107C判定为手的手背侧图像的手区域1501的尺寸大于手的手掌侧图像的手区域1501的尺寸，则为“类型A2”。

接着，在步骤S1305中，由构成拿法判定处理机构107的一部分的手区域比较判定部107C来比较手的手背侧图像和手的手掌侧图像的物品区域1502的尺寸。如果由构成拿法判定处理机构107的一部分的手区域比较判定部107C判定为手的手背侧图像的物品区域尺寸和手的手掌侧图像的物品区域尺寸大致相等，则为“类型B1”，如果由构成拿法判定处理机构107的一部分的手区域比较判定部107C判定为手的手背侧图像的物品区域尺寸小于手的手掌侧图像的物品区域尺寸，则为“类型B2”。在这里，在用手拿着物品时，通常假设手的手背侧的图像的物品区域的尺寸应该小于手的手掌侧的图像的物品区域的尺寸。

接着，在步骤S1306中，通过构成拿法判定处理机构107的一部分的位置关系算出部107D(参照图1B)求出手区域1501和物品区域1502的位置关系。即，具体而言，就位置关系而言，用构成拿法判定处理机构107的一部分的位置关系算出部107D求出手区域1501和物品区域1502各区域的重心的位置，根据求出的各区域的重心的位置的关系，由构成拿法判定处理机构107的一部分的位置关系算出部107D求出位置关系。在各区域被分成多个连结成分的情况下(例如如图15D所示物品区域1502被分成多个连结成分的情况下)，使用有关各连结成分的重心位置。详细内容在后述的具体的拿法判定中说明。

接着，在步骤S1307中，用构成拿法判定处理机构107的一部分的拿法判定部107E(参照图1B)进行拿法的判定。用构成拿法判定处理机构107的一部分的拿法判定部107E参照拿法登记数据库112，根据其判定条件，用构成拿法判定处理机构107的一部分的拿法判定部107E来判定拿法，用构成拿法判定处理机构107的一部分的拿法判定部107E将判定结果的信息登记在拿法判定结果履历数据库108中，结束拿法判定处理。在这里，在拿法判定结果履历数据库108中登记的判定结果的信息，包括拿法的ID信息、判定时从时刻取得机构100取得的时刻、和人的ID信息(参照图19)。

图16中示出上述拿法登记数据库112的例子。登记有人的ID信息1600、拿法的ID信息1601、作为拿法的判定条件的在步骤S1304中的手区域1501的尺寸比较结果的信息1602、物品区域1502的尺寸比较结果的信息1603、手区域1501和物品区域1502的位置关系的信息1604。就手区域1501和物品区域1502的位置关系的信息1604而言，将左侧设为人的体侧，圆圈表示手区域1501的重心，方形表示物品区域1502的重心。

关于从图16的上述拿法登记数据库112上数第2层的拿法ID＝C001，手区域的尺寸比较结果＝A1(是指类型A1。)、物品区域的尺寸比较结果＝B1(是指类型B1。)，手区域和物品区域的位置关系是物品区域存在于手区域的前方。这是例如用手抓住茶杯的把手部分的拿法(分别由图17A的1701及图17G的1701A例示)。或者，这是按照从跟前侧用手拿住碟子的方式拿起的拿法(分别由图17B的1702及图17H的1702A例示)。需要说明的是，图17A～图17F是对在用手拿物品时的状态进行摄像得到的摄像图像，图17G～图17L分别示出从图17A～图17F的摄像图像1701、1702、1703、1704、1705、1706抽取手的区域和物品的区域后的图像1701A、1702A、1703A、1704A、1705A、1706A的例子。在图17G～图17L中，白色的椭圆形部分W是手的部分，黑色的圆柱部分B是物品(该例中为杯子)的部分。

关于从图16的上述拿法登记数据库112上数第3层的拿法ID＝C002，手区域的尺寸比较结果＝A1、物品区域的尺寸比较结果＝B1，手区域和物品区域的位置关系是物品区域存在于手区域的下方。这是例如用手抓住茶壶的把手部分的拿法(分别由图17C的1703及图17I的1703A例示)。或者，这是用手从上部拿住杯子的拿法(分别由图17D的1704及图17J的1704A例示)。

关于从图16的上述拿法登记数据库112上数第4层的拿法ID＝C003，手区域的尺寸比较结果＝A1、物品区域的尺寸比较结果＝B1，手区域和物品区域的位置关系是物品区域存在于手区域的上方。这是例如用手抓住刀柄的端部分的拿法(分别由图17E的1705及图17K的1705A例示)。或者，这是用手从下部托住小碟子的拿法(分别由图17F的1706及图17L的1706A例示)。

关于从图16的上述拿法登记数据库112上数第5层的拿法ID＝C004，手区域的尺寸比较结果＝A1、物品区域的尺寸比较结果＝B1，手区域和物品区域的位置关系是物品区域存在于手区域的上方和下方。这是例如用手抓住叉柄的中央部分的拿法(分别由图18A的1801及图18F的1801A例示)。需要说明的是，图18A～图18E是对在用手拿着物品时的状态进行摄像得到的摄像图像，图18F～图18J分别表示从图18A～图18E的摄像图像1801、1802、1803、1804、1805分别抽取手的区域和物品的区域后的图像1801A、1802A、1803A、1804A、1805A的例子。在图18F～图18J中，白色的椭圆形部分W为手的部分，黑色的圆柱部分B为物品(在该例中为杯子)的部分。

关于从图16的上述拿法登记数据库112上数第6层的拿法ID＝C005，手区域的尺寸比较结果＝A2、物品区域的尺寸比较结果＝B1，手区域和物品区域的位置关系是在手的手背侧图像中里侧物品区域存在于手区域，在手的手掌侧图像中物品区域存在于手区域的跟前侧。这是例如用手横着端碟子的拿法(分别由图18B的1802及图18G的1802A例示)。

关于从图16的上述拿法登记数据库112上数第7层的拿法ID＝C006，手区域的尺寸比较结果＝A2、物品区域的尺寸比较结果＝B2，手区域和物品区域的位置关系是在手的手背侧图像中物品区域存在于手区域的上方和下方，在手的手掌侧图像中物品区域存在于手区域的前方。这是例如用手横着端杯子的拿法(分别由图18C的1803及图18H的1803A例示)。

关于从图16的上述拿法登记数据库112上数第8层的拿法ID＝C007，手区域的尺寸比较结果＝A2、物品区域的尺寸比较结果＝B2，手区域和物品区域的位置关系在手的手背侧图像中物品区域存在于手区域的前方，在手的手掌侧图像中物品区域存在于手区域的前方。这是例如用手横着端碗的拿法(分别由图18D的1804及图18I的1804A例示)。

关于从图16的上述拿法登记数据库112上数第9层的拿法ID＝C008，手区域的尺寸比较结果＝A2、物品区域的尺寸比较结果＝B2，手区域和物品区域的位置关系是在手的手背侧图像中物品区域存在于手区域的下方，在手的手掌侧图像中物品区域存在于手区域的下方。这是例如按照用手从上部握住海绵的方式拿起的拿法(图18E的1805及图18J的1805A例示)。

关于从图16的上述拿法登记数据库112上数第10层的拿法ID＝C009，手区域的尺寸比较结果＝A2、物品区域的尺寸比较结果＝B2，手区域和物品区域的位置关系是在手的手背侧图像中物品区域存在于手区域的前方和后方，在手的手掌侧图像中物品区域也存在于手区域的前方和后方。这是例如用手提着书的拿法(由图23A的2301例示)。

接着，图19中示出在步骤S1307中登记了判定结果的信息的拿法判定结果履历数据库108的例子。在拿法判定结果履历数据库108中，登记有时刻的信息1901、实施被判定的拿法的人的ID信息1902、和被判定的拿法的ID信息1903。在通过上述拿法判定处理机构107在步骤S1308中判定为“什么都不拿”的情况下，在拿法的ID信息1903中登记C000。在图19中，从时刻t1至时刻t10，在拿法的ID1903中登记C000，从时刻t11至时刻t99，在拿法的ID1903中登记C001，从时刻t100在拿法的ID1903中登记C000。由此，图19示出ID＝B001的人(花子)在时刻t11拿起实施ID＝C001的拿法的物品例如茶杯、搬运、并在时刻t99放置在其他场所时的检测结果的信息，可知在时刻t11至t99期间ID＝B001的人(花子)在实施ID＝C001的拿法。

《场景判定机构》

场景判定机构109以时间序列参照在手检测履历数据库104中登记的手的位置信息，按照与在移动的手相对应的每个手的ID(即人的ID)，使手的位置信息和检测出该手的时刻的信息相对应，算出人移动物品时手的移动轨迹。进而，根据其移动轨迹，用场景判定机构109对场景进行判定。如前所述，“场景”是指在人移动物品时，人拿起在放置的物品的状况(取物的场景)、人搬运已拿起的物品的状况(搬运的场景)、人放置所拿着的物品的状况(放置的场景)、的任意状况，所以在由场景判定机构109参照图19的拿法判定结果履历数据库108来判定人在拿着某物品期间，也就是说，仅在登记有C000以外的拿法ID的时刻的数据中，由场景判定机构109实施场景判定即可。不过，当在后面说明的第二阈值时间以内的期间，拿法ID从C000变成C000以外时，作为登记有C000以外的拿法ID的时刻数据(也就是说，判定了拿法的时刻数据)，用场景判定机构109实施场景判定。

将由场景判定机构109执行的场景的判定结果的信息登记在场景判定结果履历数据库110中。

在由场景判定机构109判定人在拿着某物品期间(拿法ID为C000以外)，由场景判定机构109抽取宽度为预先设定的一定时间前后的期间(例如在“取物的场景”的情况下是从1秒前起，在“放置的场景”的情况下是至1秒后)的、在手检测履历数据库104中登记的手的位置数据，由场景判定机构109按钮时间序列参照，由此可以通过场景判定机构109获得手的移动轨迹。具体而言，由场景判定机构109参照拿法判定结果履历数据库108，由场景判定机构109取得以下的时刻数据，即拿法ID从C000变成C000以外的时刻至接着拿法ID从C000以外变成C000的时刻持续一定时间以上的时刻为止的时刻数据。此外，用场景判定机构109参照手检测履历数据库104，由场景判定机构109按每个手的ID删除与已取得的时刻数据相对应的手的位置数据，以时间序列使手的位置运动，通过场景判定机构109得到手的移动轨迹。图20A中在厨房的俯视图中以虚线示出由场景判定机构109求出的移动轨迹的例子2001。图20B中以表格形式作为2002示出上述移动轨迹的例子。在表格2002中，由时刻和XY坐标的位置表示上述移动轨迹。

使用已抽取移动轨迹后的手的位置数据，用场景判定机构109算出每单位时间的移动量，由此用场景判定机构109来判定场景。即，在人取物或放物时，认为手的移动速度自然减慢的时间持续一定时间以上，所以基于此利用场景判定机构109来判定。

就通过场景判定机构109用于场景判定而删除的数据而言，用场景判定机构109算出每单位时间的移动量，用场景判定机构109抽取第一阈值时间以上(例如3秒以上)的期间已算出的移动量为预先设定的阈值以下(例如0.05m/s)的时间区间。此外，在已抽取的多个时间区间中，由场景判定机构109判定最早时刻的时间区间为“取物的场景”。在由场景判定机构109判定为“取物的场景”的时刻以后，用场景判定机构109抽取第二阈值时间以上(例如3秒以上)的期间已算出的移动量为预先设定的阈值以下(例如0.05m/s)的时间区间。此外，在已抽取的多个时刻区间中，用场景判定机构109判定最晚时刻的时刻区间为“放置的场景”。此外，用场景判定机构109判定“取物的场景”和“放置的场景”之间的时间区间为“搬运的场景”。

图21中示出已算出的每单位时间的移动量的曲线图的例子。对于每单位时间的移动量的曲线图2101，由场景判定机构109抽取成为已设定的阈值TH(图21中以2102示出。)以下的期间，由场景判定机构109判定最早的时间带(时刻t11至t19)为“取物的场景”2103，由场景判定机构109判定最晚的时间带(时刻t91至t99)为“放置的场景”2105，由场景判定机构109判定“取物的场景”2103和“放置的场景”2105之间为“搬运的场景”2104。

在这里，即便在判定为“搬运的场景”的2104中，存在移动量为阈值以下的时间。该时间假设在搬运难拿的物品时、搬运重物时、或搬运已放入热饮料的物品时，人改变对物品的拿法的情况。在改变对物品的拿法的情况下，像一次放置物品、或改变物品的拿法来取物、或再次搬运物品那样，与取物的情况相比动作更多，更耗费时间。因此，用场景判定机构109考虑该时间，将其设为比第一阈值时间长的第二阈值时间之后的时间，也通过场景判定机构109使用之后的时间中的物品的拿法ID，由此区分成改变物品的拿法进行搬运的情况和放置物品的情况，可以由场景判定机构109来判定。

图22中示出登记有判定结果的信息的场景判定结果履历数据库110的例子。在场景判定结果履历数据库110中，登记有时刻的信息2201、人的信息ID2203、和场景判定结果的信息2202。

需要说明的是，在判定为“搬运的场景”的场景中，进而用场景判定机构109参照手检测履历数据库104，由此通过场景判定机构109取得该人自身在步行中还是在停止中，可以通过场景判定机构109分类成该人在步行中、或在停止中。例如有如下的差异，即如图23A～图23D所示，在人于步行中搬运书的“搬运的场景”中，分别如图23A的2301及图23C的2301A所示，按照用手提着书的方式拿书，在人于停止中的“搬运的场景”中，分别如图23B的2302及图23D的2302A所示按照用手抓住书的方式拿书。由此，对于人在步行中和停止中拿法发生变化的物品、可以由场景判定机构109得到更准确的推定结果的信息。需要说明的是，在图23C及图23D中，白色的椭圆形部分W为手的部分，黑色的圆柱部分B为物品(在该例中为书)的部分。

《第一物品备选抽取机构》

第一物品备选抽取机构114，参照上述拿法判定结果履历数据库108和上述场景判定结果履历数据库110，对在各场景下对对象物品实施何种拿法进行比较，由此从在上述物品拿法对应数据库123中登记的数据抽取对象物品的备选的信息。

通过第一物品备选抽取机构114，从与场景判定结果履历数据库110的“取物的场景”、“搬运的场景”和“放置的场景”各场景的时刻相同的时间带的、拿法判定结果履历数据库108的拿法判定结果的信息中，将被最多判定的拿法作为该场景的拿法。例如，在为图24所示的场景判定结果的信息2401和拿法判定结果的信息2402的情况下，“取物的场景”的拿法为ID＝C006，“搬运的场景”的拿法为ID＝C009，“放置的场景”的拿法为ID＝C006。

用第一物品备选抽取机构114比较该结果的信息和在物品拿法对应数据库123中登记的拿法，用第一物品备选抽取机构114抽取场景和拿法的对应均相同的物品作为对象物品的备选的信息。

图25中示出物品拿法对应数据库123的例子。在物品拿法对应数据库123中，按每个场景登记有人的ID信息2500、物品的ID信息2501、品名的信息2502、和该物品的拿法的信息2503。物品的ID信息2501与登记物品数据库113通用。另外，拿法并非唯一，对于有多个拿法的物品，将多个拿法登记在物品拿法对应数据库123中。

在图24和图25所示的例子的情况下，在图24中，拿法ID存在C006和C009双方，所以在图25的物品拿法对应数据库123中，由第一物品备选抽取机构114抽取拿法ID存在C006和C009双方的物品时，作为对象物品的备选的信息，抽取ID＝A002、A012、A013。

《第二物品备选抽取机构》

第二物品备选抽取机构115，参照上述物品检测履历数据库102和上述场景判定结果履历数据库110，抽取在对象物品的移动轨迹的移动源中检测出的物品作为备选的信息。

图26示出备选抽取的考虑方法。首先，在时刻t1，摄像头301在位置(30，30)检测出物品2601，用图像识别机构300进行图像识别处理，其结果为物品A001或A002或A013的任意一个，从图像识别机构300输出结果的信息。另一方面，在时刻t1至t99期间，通过场景判定机构109得到所谓人将某物品从位置(30，30)搬运至(270，50)的移动轨迹2602。于是，即便在无法检测出位置(270，50)的情形的情况下，也可以通过第二物品备选抽取机构115推定在位置(270，50)有物品A001或A002或A013的任意一个存在。

使用图42的流程图，对第二物品备选抽取机构1125的具体的物品备选的抽取方法进行说明。

首先，在步骤S1401中，由第二物品备选抽取机构1125参照也在步骤S202(参照图2)的场景判定时使用的场景判定结果履历数据库110，由第二物品备选抽取机构1125取得每个时刻的场景判定结果的信息和与在移动的手对应的人的ID。

接着，在S1402中，由第二物品备选抽取机构1125从已取得的场景判定结果的信息中取得被判定为“取物的场景”的时刻，由第二物品备选抽取机构1125对在手检测履历数据库104中登记的时刻当中即将到已确定的时刻之前的时刻进行确定。由第二物品备选抽取机构1125参照手检测履历数据库104，通过第二物品备选抽取机构1125取得已确定的时刻和与在S1401中取得的人的ID相对应的手的位置。

接着，在S1403中，由第二物品备选抽取机构1125参照物品检测履历数据库102，通过第二物品备选抽取机构1125取得在S1402中确定的时刻存在于手的位置附近的物品。关于手的位置附近，为以手的位置为中心、直径50cm的球的区域等，预先在第二物品备选抽取机构1125内设定。对于手的位置，通过第二物品备选的信息和第二物品备选抽取机构1125，来决定在相对于登记在物品检测履历数据库102中的全部方向的±25cm的范围内的物品，结束利用第二物品备选抽取机构1125对物品备选的信息的抽取处理。

《物品推定机构》

物品推定机构116，将由上述第一物品备选抽取机构114和上述第二物品备选抽取机构115共同抽取的对象物品的备选的信息，作为对象物品的推定结果的信息。将推定结果的信息登记在物品推定结果履历数据库117中。

在前述的例子的情况下，放置于位置(270，50)的物品，由物品推定机构116推定为作为第一物品备选抽取机构114的抽取结果的信息的ID＝A002、A012、A013和第二物品备选抽取机构115的抽取结果的信息的ID＝A001、A002、A013当中的共同物品的、ID＝A002和ID＝A013的任意一个。

图27中示出物品推定结果履历数据库117的例子。在物品推定结果履历数据库117中，登记有时刻的信息2701、位置信息2702、和物品推定结果的信息2703。该例示出在时刻t99放置在位置(270，50)的物品被物品推定机构116推定为ID＝A002、A013的任意一个。

《物品位置推定机构》

物品位置推定机构118，参照上述物品检测履历数据库102(参照图8)和上述物品推定结果履历数据库117(参照图27)，对对象物品的位置进行推定。用物品位置推定机构118将推定结果的信息登记在物品位置推定结果履历数据库119中。

通过物品位置推定机构118，对在登记于物品检测履历数据库102和物品推定结果履历数据库117中的相同时间带检测及推定的结果的信息进行综合，物品位置推定机构118来推定在登记物品数据库113中登记的一个以上的物品的位置。

使用图28A及图28B，对综合方法的1个例子进行说明。得到在时刻t99的物品检测履历数据库102的物品备选的信息2801、和物品推定结果履历数据库117的物品推定结果的信息2802。如果由物品位置推定机构118参照物品推定结果的信息2802，则推定为在位置(270，50)存在物品ID＝A002、A013的任意一个。另一方面，如果由物品位置推定机构118参照物品备选的信息2801，检测出在位置(100，70)仅有物品ID＝A002存在。由于认为只有1个位置中仅有一个物品的备选的信息存在才是准确的，所以相反认为物品ID＝A002存在于位置(270，50)的可能性低。也就是说，认为在位置(270，50)存在的物品为ID＝A013。由此，通过物品位置推定机构118进行综合的结果在于，与检测出在位置(270，50)有多个物品ID存在的情况相比，由物品位置推定机构118抽取检测为在位置(100，70)仅有物品ID＝A002存在的情况作为推定结果的信息，通过物品位置推定机构118得到在位置(100，70)有物品ID＝A002存在、在位置(270，50)有物品ID＝A013存在的推定结果的信息。即，通过物品位置推定机构118对物品备选的信息2801和物品推定结果的信息2802进行比较，抽取在1个位置仅有一个物品的备选的信息存在的情况(例如在1个位置(100，70)仅有1个物品ID＝A002存在的情况)作为推定结果的信息，进而对从物品推定结果的信息2802除去已抽取的物品(例如物品ID＝A002)后剩余的物品推定结果的信息2802和物品备选的信息2801进行比较，如果有在1个位置仅有一个物品的备选的信息存在的情况(例如在1个位置(270，50)仅有1个物品ID＝A013存在的情况)，则该情况也作为推定结果的信息抽取，输出该推定结果的信息。

使用图29A及图29B，对利用物品位置推定机构118的综合方法的其他例子进行说明。得到时刻t99时的物品检测履历数据库102的物品备选的信息2901、和物品推定结果履历数据库117的物品推定结果的信息2902。如果参照物品备选的信息2901，则检测出在位置(270，50)有物品ID＝A003、A004、A005、A013存在。另一方面，如果参照物品推定结果的信息2902，推定为在上述相同的位置(270，50)有物品ID＝A002、A013的任意一个存在。由于在双方均在相同的位置检测出物品，所以如果简单一致，则得到在位置(270，50)有物品ID＝A002、A003、A004、A005、A013的任意一个存在的结果。在这里，在由双方输出的相同物品被双方输出的情况下，认为该物品存在于上述位置的可能性高。基于该考虑进行综合，其结果，在位置(270，50)有物品ID＝A002、A003、A004、A005、A013的任意一个存在，但可以得到有物品ID＝A013存在的可能性高的结果。由物品位置推定机构118进行这样的判定动作。即，通过物品位置推定机构118对物品备选的信息2901和物品推定结果的信息2902进行比较，抽取在相同位置(例如位置(270，50))重复登记的物品(例如物品ID＝A013)，推定为已被抽取的物品(例如物品ID＝A013)存在于该位置(例如位置(270，50))的可能性高，输出该推定结果的信息。

以上，对通过物品位置推定机构118进行2种简单的综合方法进行了说明，进而，作为其他例子，可以使物品备选的信息或物品推定结果的信息中有各物品的概率的信息，按概率推定物品。例如，第一物品备选抽取机构114，以ID＝A001的概率为60％、ID＝A002的概率为30％、ID＝A003的概率为10％，分别抽取物品备选，第二物品备选抽取机构115，以ID＝A001的概率为40％、ID＝A002的概率为40％、ID＝A003的概率为20％，分别抽取物品备选。此时，由人操作的物品的概率比为(ID＝A001)∶(ID＝A002)∶(ID＝A003)＝60×40∶30×40∶10×20。如果进行标准化，ID＝A001被操作的概率为63％，ID＝A002被操作的概率为32％，ID＝A003被操作的概率为5％。综上，决定由人操作的物品为概率最高的ID＝A001的物品。另外，关于抽取第一物品备选时的概率的求法，可以从对各物品的拿法进行辨认时的辨认错误的倾向算出。另外，关于抽取第二物品备选时的概率的求法，可以为在前次物品被操作时是所推定的各物品的概率。也就是说，下一次如果人从该位置开始了物品操作，将第二物品备选为ID＝A001的概率设为63％，为ID＝A002的概率设为32％，为ID＝A003的概率设为5％，分别抽取物品备选。

图30中示出登记有利用上述物品位置推定机构118的推定结果的信息的物品位置推定结果履历数据库119的例子。在物品位置推定结果履历数据库119中，登记有时刻的信息3001、位置信息3002、和物品推定结果的信息3003。即，作为使用了图28A及图28B的通过物品位置推定机构118进行的上述综合方法的上述最开始的例子中的推定结果的信息，示出登记有在时刻t99时在位置(100，70)有物品以ID＝A002存在、在位置(270，50)有物品以ID＝A013存在的推定结果的信息。另外，作为使用了图29A及图29B的通过物品位置推定机构118进行的上述综合方法的上述第2个例子中的推定结果的信息，示出登记有所谓在时刻t99时在位置(270，50)有物品以ID＝A013存在的推定结果的信息。

《输入输出机构》

输入输出机构120输入来自使用者的物品查找请求，参照上述物品位置推定结果履历数据库119，输出物品的位置信息。另外，也可以将输入输出机构120与其他数据库或其他机构连接，预先输入用于检测物品的物品或人的信息，在各数据库或其他机构的内部存储部中登记。输入输出机构120也可以构成为借助互联网等摄入其他数据库等的信息。

图31中示出作为输入输出机构120的一例即作为输出装置的例子的监视器304中的用于查找物品的显示画面的例子。在作为输出装置的例子的监视器304上显示出“请输入想要查找的物品名”，使用者使用作为输入输出机构120的其他例子即作为输入装置的例子的键盘等，输入物品名(例如茶壶)。根据被输入的物品名，通过输入输出机构120参照图7的登记物品数据库113，检测出茶壶的ID为A008之后，参照图30所示的物品位置推定结果履历数据库119，求出最新的时刻的A008的位置，向监视器304输出(参照图44)。

在上述第一实施方式中，物品推定机构116将第一物品备选和第二物品备选中重复的物品推定为对象物品，但并不限于此，作为上述第一实施方式的简化版，可以省略第二物品备选抽取机构，物品推定机构116将第一物品备选直接推定为对象物品。以下，参照图44对这样的第一实施方式的变形例涉及的第一物品备选抽取机构114及物品推定机构116的动作进行说明。

《第一物品备选抽取机构》

第一物品备选抽取机构114，参照上述拿法判定结果履历数据库108和上述场景判定结果履历数据库110，对在各场景下对对象物品采用何种拿法进行比较，由此从在上述物品拿法对应数据库123中登记的数据抽取对象物品的备选的信息。

通过第一物品备选抽取机构114，从与场景判定结果履历数据库110的“取物的场景”、“搬运的场景”和“放置的场景”各场景的时刻相同的时间带的、拿法判定结果履历数据库108的拿法判定结果的信息中，将被最多判定的拿法作为该场景的拿法。例如，在为图43所示的场景判定结果的信息2401和拿法判定结果的信息2402的情况下，“取物的场景”的拿法为ID＝C002，“搬运的场景”的拿法为ID＝C006，“放置的场景”的拿法为ID＝C002。

用第一物品备选抽取机构114比较该结果的信息和在物品拿法对应数据库123中登记的拿法，用第一物品备选抽取机构114抽取场景和拿法的对应均相同的物品作为对象物品的备选的信息。

图25中示出物品拿法对应数据库123的例子。在物品拿法对应数据库123中，按每个场景登记有物品的ID信息2501、品名的ID信息2502、和该物品的拿法的信息2503。物品的ID信息2501与登记物品数据库113通用。另外，拿法并非唯一，对于有多个拿法的物品，对多个拿法进行登记。

在图43和图25所示的例子的情况下，作为对象物品的备选，抽取ID＝A001。

《物品推定机构》

物品推定机构116，将由上述第一物品备选抽取机构114抽取的物品的信息，作为对象物品的推定结果的信息。物品推定机构116将推定结果的信息登记在物品推定结果履历数据库117中。

在前述的例子的情况下，放置于位置(270，50)的物品，由物品推定机构116从第一物品备选抽取机构114的抽取结果的信息推定为ID＝A001。

图45中示出物品推定结果履历数据库117的例子。在物品推定结果履历数据库117中，登记有时刻的信息4401、位置信息4402、和物品推定结果的信息4403。该例示出在时刻t99时放置在位置(270，50)的物品被物品推定机构116推定为ID＝A001。

接着，对未使用传感控制机构1220的情况下的处理进行说明。由于摄像头和人的位置关系，从摄像头看到的手和物品的位置关系会与实际的手和物品的位置关系不同。为此，可以将环境空间91分割成多个区划，对每个所分割的区划作成物品拿法对应数据库123。此时，根据摄像头的设置位置作成物品拿法对应数据库123。另外，作为区划分割的例子，考虑将环境空间91相对于X轴方向和Y轴方向以N(m)间隔划分成正方形的网状等。图48中示出进行了区划分割的环境空间91的例子。图48的4801表示被分割的正方形的区划。另外，在环境空间91中，人只能在XY平面(地板面)上移动，区划分割仅在X轴方向和Y轴方向上进行。

接着，对各区划4801的间隔尺寸N(m)的设定方法进行说明。当在低顶棚设置摄像头时，相对于人的移动的手和物品的视觉上的变化大，所以N设定成小值为好。另外，当在高顶棚设置摄像头时，相对于人的移动的手和物品的视觉上的变化小，所以N设定成大值为好。

另外，根据人的朝向，有时映入摄像头的手和物品的位置关系不同于实际的手和物品的位置关系。为此，可以以(上述的每个区划)θ度刻度作成360/θ量的物品拿法对应数据库123。此时，根据摄像头的设置位置作成物品拿法对应数据库123。另外，人的朝向可以认为是例如人的行进方向的朝向。人的行进方向可以通过使用例如标签的检测位置的履历来推测。

另外，当难以按每个区划或人的方向作成物品拿法对应数据库123时，考虑预先作成把持物品的状态的手和物品的三维形状模型的方法。

对图12A以人保持杯子时的三维形状模型进行说明。在这里，三维形状模型是指用于使用手的位置、摄像头的设置位置、及摄像头的摄影方向的信息，作成作为映入摄像头的手和物品的位置关系的物品拿法对应数据库123的规则。

在这里，三维形状模型可以使用例如CAD等作成。如果使用三维形状模型，可以根据人的位置(朝向)和摄像头的设置位置，预先作成手和物品的视觉上的物品拿法对应数据库123。例如，图12A是人的位置(朝向)为(x，y，z，θ)＝(0，0，0，0)且摄像头的设置位置为(x，y，z，仰角，方位角)＝(100，0，100，3π/2，π/2)时的结果。图12B是人的位置(朝向)为(x，y，z，θ)＝(0，0，0，0)且摄像头的设置位置为(x，y，z，仰角，方位角)＝(-100，0，100，π/2，π/2)时的结果。如此对应于人的位置(朝向)，当场算出手和物品的位置关系，由此无需按每个区划或人的方向预先作成物品拿法对应数据库123。

另外，可以预先设定已作成的三维形状模型相对于人的位置(朝向)存在于哪一位置(朝向)。假设摄像头是输出足跟的坐标的传感器时，手所拿的物品应该相对于所输出的人位置而高度(Z坐标)增高。例如，在人的位置(朝向)为(x，y，z，θ)＝(0，0，0，0)的情况下，已作成的三维形状模型被设定为相对于人的位置存在于(0，0，+50，0)的位置。此外，根据三维形状模型的位置(朝向)和摄像头的设置位置，求出从摄像头看到的手和物品的位置关系。

物品拿法对应数据库123的作成，可以由物品拿法对应数据库作成机构124进行。作为一例，以虚线示出在用于后述的图46的物品推定的必要最低限的构成例中追加物品拿法对应数据库123的情况。通过物品拿法对应数据库作成机构124预先作成物品拿法对应数据库123，在进行物品的推定时，可以仅使用物品拿法对应数据库123。

物品拿法对应数据库作成机构124，保持用于按每个物品作成物品拿法对应数据库123的规则即三维形状模型，所述物品拿法对应数据库123是映入摄像头的手和物品的位置关系。

作为一例，物品拿法对应数据库作成机构124从摄像头301取得人的位置(朝向)，根据预先保持的摄像头301的设置位置和由摄像头301取得的人的位置(朝向)，作成物品拿法对应数据库123。在与图46的构成对应的图47的流程中，在图47的流程的前阶段，作为手传感，从摄像头301取得人的位置(朝向)之后，用物品拿法对应数据库作成机构124进行物品拿法对应数据库123的作成，然后执行图47的流程。

需要说明的是，作为一例，图46及图47中示出物品拿法对应数据库作成机构124，但同样地也可以在其他构成图及流程图中追加。

通过以上所示的上述第一实施方式或其变形例的构成，即便在对象物品的一部分或全部被收纳架等其他物品或家具等设备等隐藏且存在多个的相同形状的物品的情况下，由拿法判定处理机构107来判定人搬运对象物品时的拿法，由此可以缩窄对象物品的辨认备选的信息而进行推定，进而，可以使用该结果通过第一物品备选抽取机构114和第二物品备选抽取机构115、或通过第一物品备选抽取机构114来推定物品的位置。另外，通过场景判定机构109等按场景对物品的拿法进行判定，由此可以更准确地推定物品。

另外，将用于进行物品推定的必要最低限的构成例示于图46。

图46所示的物品推定装置具备：物品传感机构(物品传感部)101、手传感机构(手传感部)103、拿法判定处理机构(拿法判定处理部)107、物品推定机构(物品推定部)116、和物品拿法对应数据库(物品拿法对应DB)123，可以推定由人管理的物品。另外，各构成要件的功能与上述的内容等同。

关于使用了图46的构成时的物品位置推定装置的处理流程，参照图47进行说明。

在步骤S4701中，物品传感机构101检测出在环境空间91存在的日用品或办公用品等多个物品的位置信息。

在步骤S4702中，手传感机构103检测出环境空间91内的人的手的位置信息。

在步骤S4703中，拿法判定处理机构107根据多个物品的位置信息和人的手的位置信息，从物品传感机构101及手传感机构103取得物品和手的位置关系，判定人如何拿物品、或是否什么都没拿。

在步骤S4704中，物品推定机构116参照物品拿法对应数据库123，将在S4703中通过拿法判定处理机构107判定的拿法登记在物品拿法对应数据库123中的物品，判定为人在拿着的物品。

(第二实施方式)

在这里，说明对象物品被全部隐藏的状况和物品的拿法因人而异的状况。

最开始，如图32A所示，叉3304被配置成一部分被收纳架302隐藏。第一状况是花子在时刻t11取该叉330后搬运，在时刻t99放置在全部被收纳架303隐藏的位置(参照图32B)。第二状况是花子在时刻t11取该叉3304后搬运，在时刻t99放置在全部被餐桌的花瓶3305隐藏的位置(参照图32C)。图32中，时刻t11的物品的状况3301示于图32A，上述第一状况中的时刻t99的物品的状况3302示于图32B，上述第二状况中的时刻t99的物品的状况3303示于图32C。

以下，按照上述的图2的整体处理流程进行处理时，仅对与上述说明的不同点进行说明。

图33中示出登记有物品传感机构101的检测结果的信息的物品检测履历数据库102的例子。是在时刻t11时检测出1个物品、在时刻t99时物品被全部隐藏的状态，所以未得到检测结果的信息。

图34中示出场景判定结果的信息3501和拿法判定结果的信息3502的例子。物品被搬运直至时刻t99，最后(该例中为时刻t92以后)被收纳架303隐藏，所以通过拿法判定处理机构107判定为在该时间带什么都没拿。由此，在场景判定结果的信息3501中，没有时刻t92以后的信息。另外，在放置物品时，放置的物品也被收纳架303隐藏，所以通过场景判定机构109，未被判定为“放置的场景”，因此在场景判定结果的信息3501中，未登记“放置的场景”。

在上述图2的整体处理流程的步骤S204中，如果“放置的场景”结束，则开始用于物品推定的处理，此时，不存在“放置的场景”，所以无法直接应用，因此取代之的是如果“搬运的场景”结束，则开始用于物品推定的处理。即，场景判定机构109在有“取物的场景”及“搬运的场景”存在且没有“放置的场景”的情况下，如果“搬运的场景”结束，则在步骤S204中将物品判定为“放置的场景”已结束，开始步骤S205以后的用于物品推定的处理。

经过步骤S206，在步骤S207中，当通过上述第一物品备选抽取机构114抽取第一物品备选的信息时，如下所示进行。

首先，在上述第一状况的情况下，通过图34的拿法判定结果的信息3502，“取物的场景”的拿法成为拿法ID＝C004，“搬运的场景”的拿法成为拿法ID＝C004。由于不存在“放置的场景”，所以第一物品备选抽取机构114在步骤S207中仅对“取物的场景”和“搬运的场景”进行比较，抽取对象物品的备选的信息。如果参照图25所示的物品拿法对应数据库123的例子，作为对象物品的备选的信息，由第一物品备选抽取机构114抽取ID＝A009、A010、A011。

接着，步骤S208中，第二物品备选抽取机构115参照图33的物品检测履历数据库102，ID＝A009、A010、A011作为对象物品的备选的信息被第二物品备选抽取机构115抽取。不过，放置有对象物品的位置被收纳架303隐藏，不知在哪一位置，在这里，置于假设隐藏对象物品的收纳架303的重心位置(290，50)。由此，通过第二物品备选抽取机构115适当参照数据库，抽取图34的拿法判定结果的信息3502的“搬运的场景”的最后的信息即时刻91时手的位置，取得收纳架303位于已抽取的位置，抽取已取得的收纳架303的重心位置(290，50)作为对象物品的备选的位置信息。

在这里，对物品是否被隐蔽的判断方法进行说明。在“搬运的场景”已结束时，当在手的位置的附近无法检测出对象物品时，对象物品配置成被其他物品隐蔽，此时可以由第二物品备选抽取机构115来判断。在该例的情况下，“搬运的场景”已结束时的人的手的位置位于收纳架303的位置，所以如果对象物品被收纳架303隐蔽，则可以通过第二物品备选抽取机构115来判断。需要说明的是，收纳架303的重心位置被记录在登记物品数据库113中。

其结果，在步骤S209中，物品推定机构116，从由上述第一物品备选抽取机构114抽取的备选的信息、和由上述第二物品备选抽取机构115抽取的备选的信息，判定放置于位置(290，50)的物品为ID＝A009、A010、A011的任意一个，在物品推定结果履历数据库117中登记有被推定的物品的ID(该例中为ID＝A009、ID＝A110、ID＝A011)。

进而，在步骤S210中，物品位置推定机构118参照图8的上述物品检测履历数据库102和图27的上述物品推定结果履历数据库117，来推定物品的位置，此时，对象物品被收纳架303全部隐藏，在上述物品检测履历数据库102中不存在应该参照的数据，所以采用上述物品推定结果履历数据库117的结果的信息，得到所谓在位置(290，50)存在ID＝A009、A010、A011的任意一个的推定结果的信息。

通过以上所示的构成，即便在对象物品被全部隐藏的状况下，也可以推定物品及其位置。

《数据库切换机构》

接着，在上述第二状况的情况下，直到拿法判定处理机构107和场景判定机构109的处理(步骤S201～S204)，与上述第一状况同样进行，得到图34所示的结果的信息。

此时，按每个场所或人登记多个物品拿法对应数据库123，由于可以对应于搬运对象物品的场所或人，通过数据库切换机构111，切换第一物品备选抽取机构114所参照的数据。具体而言，将与在场景判定结果履历数据库110中登记的人的ID对应的数据、或作为手的移动轨迹登记的手的位置作为场所，在步骤S206中通过数据库切换机构111切换成与该场所对应的数据。

图35A及图35B中示出物品拿法对应数据库123的例子。在物品拿法对应数据库123中，除了物品ID信息、品名的信息、每个场景的物品的拿法的信息之外，登记有人的ID信息3601、场所的信息3602。将人的ID信息3601和场所的信息3602中应用各数据的人和场所的ID或名称，登记在物品拿法对应数据库123中。即，人的ID和(人所在的)场所的信息由传感机构101进行检测。另外，图35A及图35B的物品拿法对应数据库123可以预先准备，不从各机构逐次记录。如果能够通过传感机构101判断人的ID和场所，则可以从图35A及图35B的物品拿法对应数据库123中选择与经判断的人的ID和场所对应的数据库，抽取物品的备选。

图35A中示出人ID＝B001的场所＝厨房中的第一数据3603的一部分，图35B中示出人ID＝B001的场所＝起居室、餐厅中的第二数据3604的一部分。

在图35A及图35B所示的例子中，物品ID＝A009(刀)的物品的拿法在第一数据3603和第二数据3604中不同。这是指当在厨房中洗刀时，也有拿法C004，即拿着刀柄的中央部分，所以在第一数据3603中，C004登记在物品拿法对应数据库123中，但由于在起居室或餐厅中比较危险，所以为拿法C003，即仅为拿着刀柄的端部分的拿法，在第二数据3604中，仅有C003登记在物品拿法对应数据库123中。

另外，虽未图示，但认为像大人和子供等那样拿法因人而异，所以在该情况下，同样也可以将不同的拿法登记在物品拿法对应数据库123中。

在上述第二状况中，人将对象物品搬运到餐桌，根据其场所(餐桌)，数据库切换机构111选择图35B的第二数据3604。根据图34，“取物的场景”的拿法为ID＝C004，“搬运的场景”的拿法为ID＝C004。由于没有“放置的场景”存在，第一物品备选抽取机构114在步骤S207中仅对“取物的场景”和“搬运的场景”进行比较，抽取对象物品的备选的信息。第一物品备选抽取机构114参照图35B所示的物品拿法对应数据库123的数据3604来检索ID＝C004的物品时，作为对象物品的备选的信息，由第一物品备选抽取机构114抽取ID＝A010、A011。

在步骤S208中，通过第二物品备选抽取机构115，与上述第一状况一样，参照图33的物品检测履历数据库102，ID＝A009、A010、A011作为对象物品的备选的信息被抽取。

其结果，在步骤S209中，物品推定机构116，从由上述第一物品备选抽取机构114抽取的备选的信息、和由上述第二物品备选抽取机构115抽取的备选的信息，推定放置在位置(290，50)的物品为ID＝A010、A011的任意一个，在物品推定结果履历数据库117中登记。进而，在步骤S210中，物品位置推定机构118参照上述物品检测履历数据库102和上述物品推定结果履历数据库117，推定物品的位置，得到所谓在位置(290，50)存在ID＝A010、A011的任意一个的推定结果的信息。

通过以上所示的构成，按场所或人登记多个物品拿法对应数据库123，对应于搬运对象物品的场所或人，通过数据库切换机构111切换由第一物品备选抽取机构114参照的数据，可以更准确地推定物品及其位置。

(第三实施方式)

在这里，对物品拿法对应数据库123的更新方法进行说明。

最开始，如图36A所示，茶杯3703放置在监视器304的前方。花子在时刻t11取该茶杯3703后搬运，如图36B所示，在时刻t99放置于收纳架303的前方。此时，不拿茶杯3703的把手部分3703a，而是与普通的杯子一样用手拿茶杯3703的主体部分3703b。另外，在监视器304的前方设置无线IC标签传感器3704作为物品传感机构101的一例。图36A示出时刻t11的物品的状况3701，图36B示出时刻t99的物品的状况3702。

在这里，参照图37对无线IC标签传感器3704进行说明。按照使想要检测物品的区域为检测范围的方式设置读取天线3801，在物品上粘贴无线IC标签3802。如果在读取天线3801的检测范围内放置粘贴有无线IC标签3802的物品，则用读取天线3801读取该物品的无线IC标签3802的信息，由此可以检测物品的位置。不过，由于甚至不知道位于读取天线3801的检测范围内的何处，检测位置的精度依赖于读取天线3801的检测范围的尺寸。另外，通过预先在无线IC标签3802上登记所管理的物品的ID信息，可以辨认已检测出的物品是什么物品。

以下，按照上述图2的整体处理流程进行处理。

在步骤S201中，物品传感机构101如前所述设置无线IC标签传感器3704，所以可以唯一确定物品的ID。图38中示出登记有检测结果的信息的物品检测履历数据库102的例子。在时刻t11时检测出1个物品，若物品ID＝A004，确定为1个物品。

《数据库更新机构》

在上述图2的整体处理流程的步骤S204中，如果“放置的场景”结束，则开始用于物品推定的处理。在这里，如前所述，通过上述物品传感机构101将对象物品确定为1个，因此在步骤S205中进行数据库更新机构121的处理。

图39中示出场景判定结果的信息4001和拿法判定结果的信息4002的例子。其结果，“取物的场景”的拿法是拿法ID＝C006，“搬运的场景”的拿法是拿法ID＝C006，“放置的场景”的拿法是拿法ID＝C006。

因此，第一物品备选抽取机构114参照物品拿法对应数据库123，对于与物品ID＝A004对应的物品(茶杯2)的拿法的项目，在“取物的场景”的拿法中追加“拿法ID＝C006”，在“搬运的场景”的拿法中追加“拿法ID＝C006”，在“放置的场景”的拿法中追加“拿法ID＝C006”。对于图25所示的物品拿法对应数据库123的例子，将用数据库更新机构121更新了物品拿法对应数据库123的结果示于图40。

就更新前的物品拿法对应数据库123而言，在已登记有拿法的情况下，在通过该数据库更新机构121进行更新前后，物品拿法对应数据库123的内容没有变化。但是，例如由数据库更新机构121自身来计数通过数据库更新机构121更新的次数，根据该次数由数据库更新机构121进行加权，在物品推定处理时参照该加权的信息，由此可以使物品的推定反映人的搬运方法的倾向。

以后的处理与前述的例子相同。

通过以上所示的构成，用数据库更新机构121适当更新物品拿法对应数据库123，由此可以更准确地推定物品及其位置。

需要说明的是，关于除了上述的传感机构之外的机构及数据库，通过计算机使各自发挥功能，由此可以用作物品推定程序或物品位置推定程序。例如，作为具有上述的各处理流程的各步骤的计算机程序，以可以读取的方式存储在存储装置(硬盘等)等记录介质中，将该计算机程序读入计算机的临时存储装置(半导体存储器等)，使用CPU来执行，由此来执行上述的各动作或处理，从而可以发挥与物品推定装置或物品位置推定装置相同的作用效果。

需要说明的是，通过适当组合上述各种实施方式或变形例当中的任意实施方式或变形例，可以发挥各自所具有的效果。

产业上的可利用性

本发明涉及的物品推定装置及物品位置推定装置、物品推定方法、以及物品推定程序，用拿法判定处理机构来判定人在环境空间中搬运使用者所管理的日用品或办公用品等物品时的拿法，由此可以缩窄对象物品的辨认备选的信息来进行推定，而且，使用其结果的信息，由物品推定机构来推定物品，进而可以用物品位置推定机构推定至物品的位置。由此，作为人在查找所希望的物品的所在时所使用的物品推定装置及物品位置推定装置、物品推定方法、以及物品推定程序是有用的。另外，也可以全面用于利用物品的位置的服务、应用。

本发明参照附图对优选的实施方式进行了充分记述，但对于熟悉该技术的人来说，自然能进行各种变形或修正。这样的变形或修正只要未超出技术方案限定的本发明的范围，就可以理解为被本发明所包含。