顾客行为分析装置、顾客行为分析系统和顾客行为分析方法

摘要

本发明涉及一种顾客行为分析装置、顾客行为分析系统和顾客行为分析方法。顾客行为分析装置包括：跟踪单元，其被配置为基于由在自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在自助区域周围的区域中移动的人；检测单元，其被配置为基于由跟踪单元执行的跟踪结果来获得每一个人相对于顾客需要进入以从自助区域选择和拾取物品的访问区域的移动方向和人在访问区域中的停留时间，并且基于移动方向和停留时间来检测出放弃完成自助行为的未完成人；输出信息生成单元，其被配置为基于由检测单元执行的检测结果来生成表示分析结果的输出信息。

说明书

技术领域

本发明涉及一种顾客行为分析装置、顾客行为分析系统和顾客行 为分析方法，用于执行对在商业机构中的顾客行为的分析。

背景技术

存在多种类型的商业机构，包括诸如休闲餐厅的餐厅、诸如超市、 便利店的零售商店等。不论商业机构的类型如何，与基于在商业机构 中顾客的行为的分析结果的商业机构的操作相关的发展中的改善措施 有益于改善顾客满意度和商业机构的操作的流水线，由此增大商业机 构的销售和利润。

与在商业机构中的顾客行为分析相关地，已知下述技术：其中， 使用由被建立来捕获在诸如超市或便利店的零售商店中的图像的相机 所获得的图像信息来检测出已经访问物品陈列架的顾客（参见 JP2012-022528A和JP2009-048430A）或检测出顾客进出商店中的各种 区域并且获得顾客在每一个区域中的停留时间（参见 JP2006-285409A）。

诸如休闲餐厅的一些餐厅具有诸如沙拉吧的自助区域，其中，提 供了用于自助的食品。如果在自助区域处提供的食品的选择未满足顾 客的偏好或顾客所要的食品用完，则顾客可能放弃完成选择和拾取食 品的自助行为，并且不拾取食品而返回他的/她的桌子。而且，同样当 自助区域拥挤着顾客时，顾客可能放弃完成自助行为。

因此，当顾客放弃完成自助行为时，可以假定在餐厅的自助系统 的操作中存在一些问题。因此，通过检测出放弃完成自助行为的人（顾 客）并且研究使得他们放弃完成自助行为的原因，有可能在实际上作 出抱怨之前了解导致来自顾客的抱怨的在餐厅中的问题，并且通过采 取措施来处理在餐厅中的该问题，有可能避免来自顾客的抱怨，并且 改善顾客满意度。

在传统技术中，可能基于顾客在零售商店中的行为来获得指示顾 客对于所提供的物品等的感兴趣程度的信息。而且，通过将这样的信 息与由POS系统提供的销售信息组合，可能获得在促销中有用的信息。 然而，该传统技术未提供用于分析顾客的自助行为、特别是用于检测 出放弃完成自助行为的人的手段，并且因此，期望可以允许用户容易 了解靠近自助区域但是放弃完成自助行为的人的出现状态的技术。

发明内容

本发明被用作解决在现有技术中的上述问题，并且本发明的主要 目的是提供顾客行为分析装置、顾客行为分析系统和顾客行为分析方 法，它们被配置为允许用户容易了解靠近自助区域但是放弃完成从自 助区域选择和拾取物品的自助行为的人的出现的状态。

为了实现上述目的，在本发明的第一方面中，提供了一种顾客行 为分析装置，用于执行对在提供了用于自助的物品的商业机构中从自 助区域选择和拾取物品的顾客的自助行为的分析，所述顾客行为分析 装置包括：人跟踪单元，所述人跟踪单元被配置为基于由在所述自助 区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所述自 助区域周围的区域中移动的人；未完成人检测单元（48），所述未完 成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结果来获得 每一个人相对于顾客需要进入以从所述自助区域选择和拾取物品的访 问区域的移动方向和所述人在所述访问区域中的停留时间、并且基于 所述移动方向和所述停留时间来检测出放弃完成所述自助行为的未完 成人；输出信息生成单元，所述输出信息生成单元被配置为基于由所 述未完成人检测单元执行的检测结果来生成表示分析结果的输出信 息，其中，所述人跟踪单元包括：人识别单元（52），所述人识别单 元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否 被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID； 以及，人校正单元，所述人校正单元被配置为当被识别为人的第一对 象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所 述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的 人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对 象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两 个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相 同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出 现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象 的跟踪失败的位置到所述第二对象出现的位置的距离满足预定接近条 件。

而且，在本发明的第二方面中，提供了一种顾客行为分析装置， 用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和 拾取物品的顾客的自助行为的分析，所述顾客行为分析装置包括：人 跟踪单元，所述人跟踪单元被配置为基于由在所述自助区域周围的区 域捕获图像的成像装置提供的图像信息来跟踪在所述自助区域周围的 区域中移动的人；未完成人检测单元，所述未完成人检测单元被配置 为基于由所述人跟踪单元执行的跟踪结果来获得每一个人相对于顾客 需要进入以从所述自助区域选择和拾取物品的访问区域的移动方向和 所述人在所述访问区域中的停留时间、并且基于所述移动方向和所述 停留时间来检测出放弃完成所述自助行为的未完成人；输出信息生成 单元，所述输出信息生成单元被配置为基于由所述未完成人检测单元 执行的检测结果来生成表示分析结果的输出信息，其中，当人从其进 入所述访问区域的方向和所述人离开所述访问区域的方向相同时、并 且当所述人在所述访问区域中的所述停留时间比预定阈值短时，所述 未完成人检测单元确定所述人是未完成人。

根据上述结构，检测出接近所述自助区域但是放弃完成自助行为 的人（未完成人），并且输出与未完成人的出现状态相关的分析结果， 并且因此，诸如所述商业机构的管理者的用户可以容易了解未完成人 的出现状态。这使得有可能研究使得顾客放弃完成自助行为的起因， 并且在实际上作出抱怨之前了解能够导致来自顾客机的抱怨的在所述 商业机构中的问题。因此，通过采取措施来处理在商业机构中的该问 题，有可能避免来自顾客的抱怨，并且改善顾客满意度。具体地说， 即使在难以跟踪人的情况下，例如当在所述自助区域周围的区域拥挤 着人时，也能够通过执行人校正处理以及评估每一个人的移动方向和 停留时间来掌握人的移动状态，并且因此，有可能最小化对放弃完成 自助行为的未完成人的检测的失败，并且以高检测速率和以高精度来 检测出未完成人。

在本发明的第三方面中，所述商业机构是餐厅，并且所述物品包 括食品。

根据这种结构，因为需要一定的时间来使得人（顾客）将食品从 所述自助区域放在他的/她的盘等上，所以所述停留时间可以指示所述 人是否执行了这样的服务行为。因此，有可能以高精度检测出放弃完 成自助行为的未完成人。

在本发明的第四方面中，将所述访问区域划分为至少第一区域和 第二区域，所述第一区域与所述自助区域邻接，而所述第二区域与所 述自助区域间隔开；并且所述未完成人检测单元基于人进入所述第一 区域和所述第二区域的状态来检测出未完成人。

根据这种结构，有可能以高精度来检测出放弃完成自助行为的未 完成人。

在本发明的第五方面中，当人从其进入所述访问区域的方向和所 述人离开所述访问区域的方向相同时，并且当所述人未进入所述访问 区域时，所述未完成人检测单元确定所述人是未完成人。

根据这种结构，有可能以高精度来检测出放弃完成自助行为的未 完成人。

在本发明的第六方面中，所述输出信息生成单元生成与每一个预 定时间段的所述未完成人的出现状态相关的信息作为所述输出信息。

根据这种结构，使得诸如所述商业机构的管理者的用户能够了解 每一预定时间段（时隙）的未完成人的出现的状态，特别是未完成人 的检测的数量（所检测到的未完成人的数量）。由此，用户可以识别 出未完成人的检测的数量高的一个或多个时隙，并且研究致使顾客放 弃完成自助行为的起因。

在本发明的第七方面中，所述顾客行为分析装置进一步包括：显 示控制单元，所述显示控制单元被配置为从记录了由所述成像装置提 供的图像信息的图像记录装置获取图像信息，并且向显示装置输出所 述图像信息，其中，所述显示控制单元使得用于选择未完成人的屏幕 显示在所述显示装置上，并且一旦由用户执行了选择操作，就使得包 括了所选择的未完成人的图像显示在所述显示装置上。

根据这种结构，使用包括所述未完成人的图像，用户可以详细查 看所述未完成人放弃完成自助行为的情况，并且研究使得所述人放弃 完成自助行为的起因。而且，用户可以确认是否存在未完成人的错误 检测，即，被检测为未完成人的人是否实际上放弃完成自助行为，由 此，诸如商业机构的管理者的用户可以精确地了解未完成人的出现的 状态。

在本发明的第八方面中，提供了一种顾客行为分析系统，用于执 行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物 品的顾客的自助行为的分析，所述顾客行为分析系统包括：成像装置， 所述成像装置被配置为捕获在所述自助区域周围的区域的图像；以及， 多个信息处理装置，其中，所述多个信息处理装置共同地包括：人跟 踪单元，所述人跟踪单元被配置为基于由所述成像装置提供的图像信 息来跟踪在所述自助区域周围的区域中移动的人；未完成人检测单元， 所述未完成人检测单元被配置为基于由所述人跟踪单元执行的跟踪结 果来获得每一个人相对于顾客需要进入以从所述自助区域选择和拾取 物品的访问区域的移动方向和所述人在所述访问区域中的停留时间、 并且基于所述移动方向和所述停留时间来检测出放弃完成所述自助行 为的未完成人；输出信息生成单元，所述输出信息生成单元被配置为 基于由所述未完成人检测单元执行的检测结果来生成表示分析结果的 输出信息，其中，所述人跟踪单元包括：人识别单元，所述人识别单 元被配置为确定在包括所述访问区域的指定区域中检测到的对象是否 被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID； 以及，人校正单元，所述人校正单元被配置为当被识别为人的第一对 象的跟踪在所述指定区域中失败并且其后被识别为人的第二对象在所 述指定区域中重新出现时，确定所述第一和第二对象是否代表相同的 人，并且当确定所述第一和第二对象代表相同的人时，向所述第二对 象分配已经向所述第一对象分配的相同的人ID，其中，当满足下面两 个条件的至少一个时所述人校正单元确定所述第一和第二对象代表相 同的人：从当所述第一对象的跟踪失败时的时间至当所述第二对象出 现时的时间所经历的时间段满足预定接近条件、以及从所述第一对象 的所述跟踪失败的位置到所述第二对象出现的位置的距离满足预定接 近条件。

而且，在本发明的第九方面中，提供了一种顾客行为分析系统， 用于执行对在提供了用于自助的物品的商业机构中从自助区域选择和 拾取物品的顾客的自助行为的分析，所述顾客行为分析系统包括：成 像装置，所述成像装置被配置为捕获在所述自助区域周围的区域的图 像；以及，多个信息处理装置，其中，所述多个信息处理装置共同地 包括：人跟踪单元，所述人跟踪单元被配置为基于由所述成像装置提 供的图像信息来跟踪在所述自助区域周围的区域中移动的人；未完成 人检测单元，所述未完成人检测单元被配置为基于由所述人跟踪单元 执行的跟的结果来获得每一个人相对于顾客需要进入以从所述自助区 域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中 的停留时间，并且基于所述移动方向和所述停留时间来检测出放弃完 成所述自助行为的未完成人；输出信息生成单元，所述输出信息生成 单元被配置为基于由所述未完成人检测单元执行的检测结果来生成表 示分析结果的输出信息，其中，当人从其进入所述访问区域的方向和 所述人离开所述访问区域的方向相同时、并且当所述人在所述访问区 域中的所述停留时间比预定阈值短时，所述未完成人检测单元确定所 述人是未完成人。

根据这些结构，与根据本发明的第一和第二方面的结构类似地， 使得诸如商业机构的管理者的用户能够容易地了解放弃完成自助行为 的未完成人的出现的状态。

在本发明的第十方面中，提供了一种顾客行为分析方法，用于执 行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取物 品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之外 设置的信息处理装置执行，所述方法包括：第一步骤，基于由在所述 自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在所 述自助区域周围的区域中移动的人；第二步骤，基于在所述第一步骤 中的跟踪的结果来获得每一个人相对于顾客需要进入以从所述自助区 域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中 的停留时间，并且基于所述移动方向和所述停留时间来检测出放弃完 成所述自助行为的未完成人；第三步骤，基于在所述第二步骤中的检 测结果来生成表示分析结果的输出信息，其中，所述第一步骤包括： 人识别步骤，确定在包括所述访问区域的指定区域中检测到的对象是 否被识别为人，并且当所述对象被识别为人时，向所述对象分配人ID； 以及，人校正步骤，当被识别为人的第一对象的跟踪在所述指定区域 中失败并且其后被识别为人的第二对象在所述指定区域中重新出现 时，确定所述第一和第二对象是否代表相同的人，并且当确定所述第 一和第二对象代表相同的人时，向所述第二对象分配已经向所述第一 对象分配的相同的人ID，其中，当满足下面两个条件的至少一个时， 在所述人校正步骤中确定所述第一和第二对象代表相同的人：从当所 述第一对象的所述跟踪失败时的时间至当所述第二对象出现时的时间 所经历的时间段满足预定接近条件、以及从所述第一对象的所述跟踪 失败的位置到所述第二对象出现的位置的距离满足预定接近条件。

在本发明的第十一方面中，提供了一种顾客行为分析方法，用于 执行对在提供了用于自助的物品的商业机构中从自助区域选择和拾取 物品的顾客的自助行为的分析，所述分析由在所述商业机构之内或之 外设置的信息处理装置执行，所述方法包括：第一步骤，基于由在所 述自助区域周围的区域捕获图像的成像装置提供的图像信息来跟踪在 所述自助区域周围的区域中移动的人；第二步骤，基于在所述第一步 骤中的跟踪结果来获得每一个人相对于顾客需要进入以从所述自助区 域选择和拾取物品的访问区域的移动方向和所述人在所述访问区域中 的停留时间、并且基于所述移动方向和所述停留时间来检测出放弃完 成所述自助行为的未完成人；第三步骤，基于在所述第二步骤中的检 测结果来生成表示分析结果的输出信息，其中，当人从其进入所述访 问区域的方向和所述人离开所述访问区域的方向相同时、并且当所述 人在所述访问区域中的所述停留时间比预定阈值短时，在所述第二步 骤中确定所述人是未完成人。

根据这些结构，与根据本发明的第一和第二方面的结构类似地， 使得诸如商业机构的管理者的用户能够容易地了解放弃完成自助行为 的未完成人的出现的状态。

附图说明

现在，在下面参考附图针对本发明的优选实施例的各方面描述了 本发明，在附图中：

图1是示出根据本发明的实施例的分析系统的整体结构的图；

图2是示出餐厅的内部布局的示例的平面图；

图3是示出由被设置来捕获在沙拉吧31周围的区域的图像的相机 1捕获的图像的说明图；

图4是示意地示出在餐厅设置的PC3的功能结构的框图；

图5是示出显示未完成人检测信息的分析结果屏幕的示例的说明 图；

图6是示意地示出顾客行为分析单元43的配置的框图；

图7是示出由顾客行为分析单元43执行的处理的过程的流程图；

图8是用于说明由未完成人确定单元57执行的处理的说明图；

图9是示出在沙拉吧31周围的人的示例性移动模式的示意平面 图；

图10是示出显示容器更换信息的分析结果屏幕的示例的说明图；

图11是示意地示出物品状态分析单元44的结构的框图；以及

图12是示出由被设置来捕获在沙拉吧31周围的区域的图像的相 机1捕获的图像的示例的说明图。

具体实施方式

下面，将参考附图来作出本发明的示例性实施例的说明。

图1是示出根据本实施例的分析系统的整体结构的图。该分析系 统被设计来用于例如连锁休闲餐厅，并且包括在多个连锁餐厅内的每 一个处设置的相机（成像装置）1、记录器（图像记录装置）2、个人 计算机（PC）（顾客行为分析装置、物品状态分析装置、浏览器装置） 3、销售点（POS）工作站（销售信息管理装置）4、手持终端（订单输 入装置）5和打印机6。此外，该分析系统包括PC（浏览器装置）7和 POS服务器（销售信息管理装置）8，其被设置在监视多个餐厅的管理 办公室处。

在每一个餐厅中，相机1、记录器2、PC3、POS工作站4和打印 机6连同无线中继装置11被连接到局域网（LAN）以与因特网协议（IP） 网络连接，该无线中继装置11中继手持终端5和路由器12的通信。 PC3和POS工作站4具有与其连接的各自的显示单元（显示装置）13、 14。在管理办公室中，PC7和POS服务器8连同路由器16连接到LAN 以与IP网络连接。PC7和POS服务器8具有与其连接的各自的显示单 元（显示装置）17、18。

在每一个餐厅处设置的相机1、记录器2、PC3和在管理办公室处 设置的PC7构成监控系统，用于监控餐厅内部。相机1被设置在餐厅 中的适当位置处，以捕获在餐厅中的各个区域的图像，并且由其获得 的图像信息被记录器2记录。在餐厅处设置的PC3和在管理办公室处 设置的PC7可以显示由相机1捕获的在餐厅中的各个区域的实时图像 或由记录器2记录的在餐厅中的各个区域的过去的图像，并且这允许 在餐厅或管理办公室处的用户查看在餐厅中的情况。

在每一个餐厅处设置的手持终端5、无线中继装置11和打印机6 构成用于接受顾客订单的订单输入系统。每一个手持终端5要被餐厅 职员（诸如男服务员或女服务员）携带，由此，该职员在从顾客获得 订单后可以将订单的内容（订购的菜单项目、对于每一个菜单项目的 订单的数量）输入进手持终端5。在厨房中设置打印机6，并且当职员 将订单内容输入进手持终端5时，从打印机6输出订单内容，使得向 厨房职员发送订单内容。

在每一个餐厅处设置的POS工作站4和订单输入系统与在管理办 公室处设置的POS服务器8构成POS（销售点）系统，其管理与每一 个餐厅的销售相关的销售信息。该POS系统管理订单内容、订单时间、 结帐时间、订购方法、顾客数量等作为销售信息。在POS工作站4和 POS服务器8之间共享该销售信息。POS工作站4管理设置POS工作 站4处的餐厅的销售信息，并且POS服务器8管理在其管理下的所有 成员餐厅的销售信息。

构成订单输入系统的每一个手持终端5被适配来允许餐厅职员输 入除了订单内容（订购菜单项目、对于每一个菜单项目的订单的数量） 之外的订单信息，诸如在桌子处就坐的顾客的数量、桌子编号（座椅 编号）等，并且所输入的订单信息被传送到POS工作站4。除了用于 管理销售信息的功能之外，POS工作站4具有用于执行结帐的注册功 能，并且被设置在收银台处。该POS工作站4与在附图中未示出的钱 箱和收据打印机连接。POS工作站4基于从手持终端5传送的订单信 息和在结帐时获得的结帐信息来生成销售信息。

在每一个餐厅处设置的PC3被配置成实现：顾客行为分析装置， 其执行对在餐厅中的顾客行为的分析；以及，物品状态分析装置，其 执行对在餐厅的特定区域中布置的物品的状态分析。由在餐厅处设置 的PC3生成的分析结果信息可以在PC3本身上被显示，并且也被传 送到在管理办公室处设置的PC7，使得可以在PC7上显示信息。因此， PC3和7的每一个都被配置为浏览器装置，该浏览器装置允许用户观 看分析结果信息。

图2是示出餐厅的内部布局的示例的平面图。该餐厅包括门道、 等候区域、收银台、带有座椅的桌子、沙拉吧（自助区域）、饮料吧 和厨房。该沙拉吧和饮料吧是自助式桌子或柜台，其上分别提供了食 品和饮料，以便顾客自助。而且，在餐厅中的适当位置处设置了多个 相机1。具体地说，在图2中所示的示例中，设置相机1以捕获在门道、 桌子、沙拉吧和厨房处的图像。

图3是示出由被设置来捕获在沙拉吧31周围的区域的图像的相机 1捕获的图像的说明图。在沙拉吧31附近的天花板上安装了用于捕获 在沙拉吧31周围的区域的图像的相机1，使得相机1捕获沙拉吧31和 在沙拉吧31周围的区域中移动的顾客和职员的图像。在沙拉吧31处， 以在各自的独立容器中供应食品的方式来提供多种食品，并且顾客从 沙拉吧31选择和在他们自己的盘等上放置期望的食品。

图4是示意地示出在餐厅处设置的PC3的功能结构的框图。PC3 包括监控单元41和餐厅状态分析单元42。监控单元41允许PC3作为 用于监控餐厅内部的监控系统。监控单元41控制相机1和记录器2的 操作，并且使得用户能够具有由相机1捕获的在餐厅中的各个区域的 图像的实时视图，并且查看在记录器2中记录的在餐厅中的各个区域 的图像。

餐厅状态分析单元42包括顾客行为分析单元43和物品状态分析 单元44。顾客行为分析单元43执行在餐厅中、特别是对在本实施例中 在沙拉吧附近的顾客行为的分析。物品状态分析单元44执行在餐厅的 特定区域中布置的物品的状态、特别是对在本实施例中包含食品和在 沙拉吧处摆放的容器状态的分析。

应当注意，通过经由PC3的CPU来执行用于监控和餐厅状态分 析的程序来实现监控单元41和餐厅状态分析单元42。这些程序被预装 在作为用于实施专用于监控和餐厅状态分析功能的装置的信息处理装 置的PC3中，或者可以以在适当的记录介质上存储的形式被提供给用 户作为可以在通用操作系统上运行的应用程序。

接下来，将作出由在餐厅中设置的PC3的顾客行为分析单元43 执行的顾客行为分析处理的说明。在该顾客行为分析处理中，执行对 在沙拉吧附近的顾客行为的分析。具体地说，在本实施例中，获得与 放弃完成从沙拉吧选择和拾取食品的自助行为的人，即靠近沙拉吧以 拾取在沙拉吧处提供的食品但是离开沙拉吧而没有拾取食品的人（这 样的人将在以下被称为未完成人）相关的未完成人检测信息。

如在上面所述，在沙拉吧处，以在各自的独立容器中供应食品的 方式来提供食品，并且，顾客从沙拉吧选择和在他们自己的盘等上放 置期望的食品。当在沙拉吧处提供的食品的选择不满足顾客的偏好时 或者当顾客所要的食品已经用完时，顾客可能放弃完成从沙拉吧选择 和拾取食品的自助行为。而且，同样当在沙拉吧前的区域拥挤着顾客 时，顾客可能放弃完成自助行为。在顾客行为分析处理中，检测出放 弃完成自助行为的这样的未完成人。

图5是示出显示未完成人检测信息的分析结果屏幕的示例的说明 图。该分析结果屏幕将被显示在餐厅处设置的PC3的显示单元13和 在管理办公室处设置的PC7的显示单元17上。该分析结果屏幕示出 了对于在指定日期上的餐厅的营业时间（10:00AM至1:00AM）期间 的每一个时隙而言的未完成人的检测的数量（或被检测为未完成人的 人的数量）和每一次检测的时间，作为未完成人检测信息。从这个分 析结果屏幕，用户可以明白每一个时隙的未完成人出现的状态。

而且，除了放弃完成从沙拉吧选择和拾取食品的自助行为的未完 成人的数量之外，该分析结果屏幕也显示出对于每一个时隙而言的经 过的人的检测的数量（或被检测为经过的人的人的数量）和每一次检 测的时间，其中，经过的人是经过沙拉吧前面的人。由此，用户可以 明白经过的人的出现状态。而且，通过组合与未完成人相关的信息和 与经过的人相关的信息，用户可以掌握接近沙拉吧但是未执行或完成 自助行为的人的总数。应当注意，可以设计分析结果屏幕以仅显示与 未完成人相关的信息。

分析结果屏幕进一步包括操作元件71，用于指定年、月和日，使 得用户可以通过操作操作元件71来选择日期，并且查看在所选择的日 期上的分析结果。应当注意，在其中在管理办公室处设置的PC7的显 示单元17上显示分析结果屏幕的情况下，优选地在分析结果屏幕中显 示用于允许用户选择餐厅的操作元件。

而且，该分析结果屏幕包括：图像显示区域72，用于显示包括未 完成人和经过的人的图像；以及，操作元件73，用于允许用户选择未 完成人或经过的人，使得当通过相关联的操作元件73的操作来选择未 完成人或经过的人时，在图像显示单元72上显示包括所选择的未完成 人或经过的人的图像。这允许用户详细查看未完成人和经过的人的行 为。在此应当注意，所显示的图像可以是静止画面或移动画面，并且 也可能显示静止画面和移动画面两者。

图6是示意地示出顾客行为分析单元43的配置的框图。通过由顾 客行为分析单元43执行的未完成人检测处理来生成在图5中所示的分 析结果屏幕。顾客行为分析单元43包括作为与未完成人检测处理相关 的单元的人跟踪单元46、人跟踪信息存储单元47、未完成人检测单元 48、输出信息生成单元49和显示控制单元50。

人跟踪单元46基于由在沙拉吧周围的区域捕获图像的相机1提供 的图像信息来对在沙拉吧周围的区域中移动的人进行跟踪的处理。人 跟踪信息存储单元47存储表示由人跟踪单元46执行的跟踪结果的人 跟踪信息。未完成人检测单元48基于在人跟踪信息存储单元47中存 储的人跟踪信息来执行检测放弃完成自助行为的未完成人的处理。输 出信息生成单元49基于由未完成人检测单元48执行的检测结果来执 行生成表示分析结果的输出信息的处理。显示控制单元50执行从存储 由相机1提供的图像信息的记录器2获得图像信息并且向显示单元13 输出所获得的图像信息的处理。

具体地说，在本实施例中，输出信息生成单元49执行生成与每一 个时隙（预定时间段）的未完成人的出现的状态相关的未完成人检测 信息作为输出信息的处理，并且在PC3和7的显示单元13和显示单 元17上显示根据未完成人检测信息的分析结果屏幕（参见图5）。

而且，在本实施例中，显示控制单元50执行下述处理：使得显示 单元13和17显示用于选择未完成人的屏幕，并且在用户执行的操作 操作之后，使得在显示单元13和17上显示包括所选择的未完成人的 图像。为了实现这一点，在图5中所示的分析结果屏幕包括用于显示 包括未完成人的图像的图像显示区域72和用于允许用户选择未完成人 的操作元件73，使得当通过相关联的操作元件73的操作来选择未完成 人时，在图像显示区域72中显示包括所选择的未完成人的图像。

接下来，将作出通过在图6中所示的人跟踪单元46来执行的人跟 踪处理的详细说明。图7是示出由顾客行为分析单元43执行的处理的 过程的流程图。在下面，将在必要时参考图7来作出人跟踪处理的说 明。

如在上面所述，人跟踪单元46被配置成基于由在沙拉吧周围的区 域捕获图像的相机1提供的图像信息来跟踪在沙拉吧周围的区域中移 动的人，并且如图6中所示，包括对象检测单元51、人识别单元52和 人校正单元53。人跟踪单元46可以使用已知的图像识别技术（对象跟 踪技术、人识别技术等）。

人跟踪单元46在从在沙拉吧周围的区域捕获图像的相机1的图像 的输入后（在图7中的ST101）执行指定在要执行人跟踪的图像中的区 域的处理（在图7中的ST102）。该指定区域被定义为包括在图3中所 示的访问区域32的区域，即，定义为实质上与访问区域32相同的区 域或大于访问区域32的区域。

对象检测单元51执行如下处理：从输入图像检测在指定区域中存 在的对象（移动体）并且跟踪每一个所检测的对象（在图7中的ST103）。 在该对象跟踪处理中，对于移动画面的每一个帧获得每一个对象的位 置信息（坐标），并且该位置信息连同时间信息（帧的图像捕获时间） 被累积地存储在人跟踪信息存储单元47中来作为人跟踪信息。

人识别单元52执行下述处理：确定由对象检测单元51检测的每 一个对象是否被识别为人，并且当该对象被识别为人时，向该对象分 配人ID（在图7中的ST104）。在该人识别处理中，当还没有被分配 人ID的对象被再一次识别为人时，向该对象分配新的人ID。

人校正单元53执行校正由人识别单元52分配的人ID的处理。在 对象跟踪处理中，因为诸如在沙拉吧周围的区域中的拥挤的原因，在 指定区域中的对象的跟踪可能失败；即，进入指定区域的对象的移动 路径可能在对象离开指定区域之前结束。在人校正处理中，将对于其 的跟踪失败的对象（第一对象）链接到在第一对象的跟踪失败后在指 定区域中重新出现的对象（第二对象），使得可以可靠地掌握人的移 动的状态。

具体地说，首先，执行搜索以找到对于其而言在指定的区域中的 跟踪失败的对象（第一对象）。即，执行搜索（在图7中的ST105）， 以找到在人识别处理（在图7中的ST104）中向对象分配的人ID中的、 向从指定区域消失而没有离开指定区域的记录的对象（人）分配的人 ID（消失的人ID）。

接下来，执行搜索以找到在指定区域中的第一对象的跟踪失败后 在指定区域中重新出现的对象（第二对象）。即，执行搜索（在图7 中的ST106）以找到在人识别处理（在图7中的ST104）中向对象分配 的人ID中的、向在与通过消失人ID搜索（在图7中的ST105）获得 的消失人ID相关的消失时间后在指定区域中重新出现的对象（人）分 配的人ID（出现人ID）。

然后，确定对于在指定区域中的跟踪失败的对象（第一对象）和 对于在第一对象的跟踪失败后在指定区域中重新出现的对象（第二对 象）是否表示同一人，即，在消失人ID搜索（在图7中的ST105）中 获得的消失人ID和在出现人ID搜索（在图7中的ST106）中获得的 出现人ID是否已经被分配到同一人（对象），并且如果确定这些人ID 已经被分配到同一人，则重新出现的对象（第二对象）被分配已经被 分配给对于跟踪失败的对象（第一对象）（在图7中的ST107）的相同 人ID。

基于从当对象（第一对象）的跟踪失败的时间到当新的对象（第 二对象）出现时的时间所经历的时间段和从第一对象的跟踪失败的位 置到新的对象（第二对象）出现的位置的距离是否满足各自的预定接 近条件，来执行关于两个对象是否表示同一人的该确定。具体地说， 当所经历的时间段和距离中的每一个都满足各自的预定接近条件时， 确定对于跟踪失败的对象和重新出现的对象表示同一人。

在该实施例中，作为接近条件，设置分别与时间段和距离相关的 阈值，使得基于与该阈值的比较来执行关于两个对象是否表示同一人 的确定。具体地说，当所检测到的经历的时间段短于其预定阈值并且 所检测到的距离小于其预定阈值时，确定两个对象表示同一人。应当 注意，可以仅基于所经历的时间段和所述距离中的仅一个来执行上述 确定。

重复上述（在图7中的ST105至ST107）处理，直到已经对于在 指定区域中的跟踪失败的所有对象、即对于所有消失的人ID执行了该 处理（在图7中的ST108）。然后，作为人跟踪信息在人跟踪信息存储 单元47中存储了校正的人ID，并且，基于在人跟踪信息存储单元47 中存储的人跟踪信息来执行未完成人检测处理（在图7中的ST109）。

如在上面所述，在本实施例中，执行人校正处理，用于将对于在 指定区域中的跟踪失败的对象（第一对象）链接到在第一对象的跟踪 的失败后在指定区域中重新出现的对象（第二对象）。因此，即使在 难以跟踪人的情况下，诸如当在自助区域周围的区域拥挤着人时，也 有能够掌握人的移动状态，并且因此，有可能最小化对放弃完成自助 行为的未完成人的检测的失败，并且以高检测速率来检测出未完成人。

接下来，将给出通过在图6中所示的未完成人检测单元48执行的 未完成人检测处理的详细说明。

未完成人检测单元48执行下述处理：从人跟踪信息存储单元47 获得表示由人跟踪单元46执行的跟踪结果的人跟踪信息，并且基于该 人跟踪信息，检测出放弃完成从沙拉吧选择和拾取食品的自助行为的 未完成人。

如图3中所示，在沙拉吧31周围限定访问区域32，其中，访问 区域32是顾客需要进入以从沙拉吧31选择和拾取食品的区域。访问 区域32被划分为与沙拉吧31邻接的第一区域32a和与沙拉吧31间隔 开的第二区域32b。第一区域32a和第二区域32b中的每一个都具有大 体对应于一人的大小的宽度W，使得第一区域32a和第二区域32b中 的每一个都可以容纳单行的人。而且，第一区域32a和第二区域32b 中的每一个都被限定为具有字母L的形状。

在图6中所示的未完成人检测单元48执行下述处理：获得每一个 被检测的人相对于访问区域32的移动方向和该人在访问区域32中的 停留时间，并且基于该移动方向和停留时间来检测出未完成人。未完 成人检测单元48包括移动方向检测单元55、停留时间检测单元56和 未完成人确定单元57。

移动方向检测单元55对于被分配人ID的每一个对象执行下述处 理：检测对象从其进入访问区域的方向和该对象离开访问区域的方向。 停留时间检测单元56对于被分配人ID的每一个对象执行下述处理： 检测从进入访问区域的时间到离开访问区域的时间所经历的停留时 间。未完成人确定单元57基于由移动方向检测单元55和停留时间检 测单元56执行的检测结果来执行确定每一个对象是否是放弃完成自助 行为的未完成人的处理。

图8是用于说明由未完成人确定单元57执行的处理的说明图。图 9是示出在沙拉吧31周围的人的示例性移动模式的示意平面图。图9A 示出在人完成自助行为的情况下的示例性移动模式。图9B示出在人经 过沙拉吧的情况下的示例性移动模式。图9C示出在人放弃完成自助行 为的情况下的示例性移动模式。

如图8中所示，当对象从其进入访问区域32的方向和该对象离开 访问区域32的方向相同（即，当进入和离开访问区域32时使用了相 同的路径）并且在访问区域32中的对象的停留时间比预定阈值短时， 未完成人确定单元57确定该对象是放弃完成从沙拉吧选择和拾取食品 的自助行为的未完成人。

如图9A中所示，当顾客完成自助行为时，顾客从在用餐区域中的 桌子接近沙拉吧31，并且在从沙拉吧31拾取食品后，带着食品一起返 回到桌子。而且，如图9C中所示，当顾客放弃完成自助行为时，顾客 从用餐区域的桌子靠近沙拉吧31但是未从沙拉吧31拾取食品而返回 到桌子。因此，当顾客具有执行自助行为的意愿时，顾客从桌子向沙 拉吧31移动，并且然后移动回桌子，并且结果，顾客从其进入访问区 域32的方向和顾客离开访问区域32的方向变得相同（即，当进入和 离开访问区域32时使用了相同的路径）。

另一方面，在诸如当顾客去往卫生间和从其返回时、当顾客在吃 完饭后离开桌子去往收银台或门道时或者当职员在厨房和用餐区域之 间移动以从顾客获得订单、传递菜单项目和清洁桌子时的情况下，如 果沙拉吧31沿着路径定位，则人（顾客或职员）经过的沙拉吧31附 近，如图9B中所示。在该情况下，人从其进入访问区域32的方向和 人离开访问区域32去往的方向彼此不同。因此，基于人从其进入访问 区域32的方向和人离开访问区域32去往的方向，有可能彼此区分意 欲执行自助行为而靠近沙拉吧的人和仅经过沙拉吧附近的人。

而且，如图9A中所示，在顾客完成自助行为的情况下，顾客从沙 拉吧拾取食品，即，将期望的食品从其中包含各自的食品的容器放在 他的/她的盘等上，并且因为这样的自助行为需要特定的时间，所以顾 客在访问区域32中的停留时间趋向于长。

另一方面，在顾客因为诸如在沙拉吧31处提供的食品的选择不满 足顾客的偏好或顾客所要的食品已经用完的原因而放弃完成自助行为 的情况下，顾客未呆在访问区域32长时间，并且因此，在访问区域32 中的顾客的停留时间趋向于短。因此，基于在访问区域32中的停留时 间，有可能彼此区分完成自助行为的人和放弃完成自助行为的未完成 人。

因此，在本实施例中，基于人从其进入访问区域32的方向和人离 开访问区域32的方向是否相同和在访问区域32中的人的停留时间是 否长于预定时间段，有可能精确地确定该人是否是未完成人。

应当注意，在上述的未完成人确定处理中，与停留时间相关的阈 值可以例如是5秒。

而且，未完成人确定单元57基于人进入第一区域32a和第二区域 32b的状态来检测出放弃完成从沙拉吧31选择和拾取食品的自助行为 的未完成人，如图8中所示。具体地说，在本实施例中，如果人从其 进入访问区域32的方向和人离开访问区域32的方向相同并且人未进 入第一区域32a，则将该人确定为未完成人。

如图9A中所示，当顾客完成自助行为时，顾客进入与沙拉吧31 邻接的第一区域32a，来从沙拉吧31选择和拾取食品。

另一方面，如图9C中所示，当顾客因为在沙拉吧31前面的区域 中的拥挤而放弃完成自助行为时，该顾客可能能够进入第二区域32b 但是因为拥挤而不能进入与沙拉吧31邻接的第一区域32a，并且可能 不进入第一区域32a而返回到桌子。因此，基于人（顾客）是否进入 第一区域32a，有可能彼此区分完成自助行为的人和放弃完成自助行为 的未完成人。

而且，如图9B中所示，当人经过沙拉吧31附近时，该人可以仅 进入第二区域32b。在该情况下，人从其进入访问区域32的方向和人 离开访问区域32的方向不同。因此，通过除了人是否进入第一区域32a 之外也考虑每一个人从其进入访问区域32的方向和该人离开访问区域 32的方向是否相同，有可能彼此区分放弃完成自助行为的未完成人和 经过沙拉吧31附近的人。应当注意，为了可靠地彼此区分试图在访问 区域32中执行自助行为的人和仅通过访问区域32的人，有可能当对 人进行分类时另外考虑诸如每一个人的特定行为或姿势（例如，一个 人伸出他/她的手臂拿起了自助餐盘子的行为或一个人拿着自助餐盘子 的姿势等）的其他因素。

因此，在本实施例中，基于人从其进入访问区域32的方向和人离 开访问区域32的方向是否相同和人是否进入第一区域32a中，有可能 精确地确定该人是否是未完成人。

在沙拉吧处，职员可以执行从沙拉吧去除需要被重新填充食品的 容器并且在将该容器再一次填充食品后返回容器的容器更换工作。与 容器更换工作相关的职员的这样的行为可以类似于放弃完成自助行为 的顾客的行为，并且因此，可能错误地将执行容器更换工作的职员检 测为未完成人。然而，职员的行为和顾客的行为关于相对于访问区域 32的移动方向上不同。即，有可能基于人是否从厨房或用餐区域进入 访问区域32和/或人是否离开访问区域32而去往厨房或用餐区域来确 定所检测的人是否是职员或顾客。

应当注意，通过本实施例，如图3和9中所示限定访问区域32（第 一区域32a和第二区域32b），并且，可以根据在沙拉吧31周围的情 况来任意地限定访问区域32。例如，在其中在沙拉吧31周围存在诸如 墙壁或隔断的障碍物的情况下，可以在其中不存在障碍物的沙拉吧31 的一侧上限定访问区域。

而且，在本实施例中，如图3中所示，在接近沙拉吧31的天花板 上安装的相机1以斜角来捕获在沙拉吧31周围的区域的图像，并且在 成像角度的限制下如图中所示限定访问区域32（第一区域32a和第二 区域32b）。然而，可以根据在沙拉吧31和桌子之间的位置关系等来 适当地限定访问区域32。

即，每一个顾客的自助行为涉及在用餐区域中的桌子和沙拉吧31 之间的移动，并且因此，顾客相对于沙拉吧31的移动方向可能根据在 沙拉吧31和顾客所坐在的桌子之间的位置关系而不同，并且在一些情 况下，顾客可能从各个方向接近沙拉吧31，并且可以离开沙拉吧31而 去往各个方向。在这样的情况下，被设置来在一个方向上捕获图像的 相机1可能不足以捕获顾客的移动，并且可以优选地在沙拉吧31上设 置多个相机1或设置全方向相机。

而且，可以适当地限定第一区域32a和第二区域32b，以应付顾客 相对于沙拉吧31的移动方向，并且具体地说，优选的是，将第一区域 32a限定为在与沙拉吧31邻接的整个区域上延伸，并且将第二区域32b 限定为整体围绕第一区域32a。

应当注意，可以通过在适当的时间从人跟踪信息存储单元47获得 人跟踪信息来执行上述的未完成人检测处理，并且也可以在适当的时 间执行人跟踪处理。因此，这些处理可以在每次用于预定时间段（时 隙）的数据变得可获得时（例如，在每小时的基础上执行处理的情况 下每次经历一个小时）被执行，或者以更长的间隔被执行，使得在相 同的时间执行用于不同的时隙的处理。例如，有可能在每日的基础上 执行处理，使得在那天餐厅关闭后或下一天可以可获得对于给定天的 未完成人的出现的状态。

如在上面所述，在本实施例中，检测出接近自助区域但是放弃完 成自助行为的人（未完成人），并且输出与未完成人的出现的状态相 关的分析结果，并且因此，诸如商业机构（餐厅）的管理者的用户可 以容易了解未完成人的出现的状态。这使得有可能研究使得顾客放弃 完成自助行为的起因，并且在实际上作出抱怨之前了解会导致来自顾 客的抱怨的在商业机构中的问题。因此，通过采取用于处理在商业机 构中的问题的措施，有可能避免来自顾客的抱怨，并且改善顾客满意 度。

而且，在本实施例中，在诸如休闲餐厅的餐厅中检测出放弃从自 助区域（沙拉吧）选择和拾取食品的完成自助行为的未完成人。因为 顾客需要一定的时间来将食品从自助区域放在他的/她的盘等上，所以 有可能基于停留时间来确定顾客是否执行了这样的自助行为，并且由 此以高准确度来检测出放弃完成自助行为的未完成人。

而且，在本实施例中，输出信息生成单元49生成与在每一个预定 时间段（时隙）的未完成人的出现状态相关的信息，使得显示根据该 信息的分析结果屏幕（参见图5）。因此，使得诸如商业机构的管理者 的用户能够了解每一个预定时间段（时隙）的未完成人的出现状态， 特别是未完成人的检测的次数（所检测到的未完成人的数量）。由此， 用户可以识别其中未完成人的检测的数量高的时隙，并且研究致使顾 客放弃完成自助行为的起因。

而且，在本实施例中，响应于由用户对于在分析结果屏幕中的操 作元件执行的选择操作（参见图5），在显示单元13和17上显示包括 所选择的未完成人的图像。因此，使用包括未完成人的图像，用户可 以详细查看其中未完成人放弃完成自助行为的情况，并且研究致使人 放弃完成自助行为的起因。而且，用户可以确认是否存在未完成人的 错误检测，即，是否被检测为未完成人的人是否实际上放弃完成自助 行为，由此，诸如商业机构的管理者的用户可以实际上了解未完成人 的出现状态。应当注意，可以提供下述功能：该功能用于允许用户在 显示单元13和17上校正或删除错误检测结果，其可以被发现作为未 完成人和经过的人的行为的详细查看的结果。

接下来，将作出由在餐厅处设置的PC3的物品状态分析单元44 执行的物品状态分析处理的说明。在该物品状态分析处理中，执行包 含各自的食品并且摆放在沙拉吧处的容器（例如，大盘、碗等）的状 态的分析。具体地说，在本实施例中，获得与由餐厅职员执行的容器 的更换的状态相关的容器更换信息。

在沙拉吧处，顾客自愿地为自己获取食品，并且因此，不像职员 从顾客获取其订单的食品那样，不能从由POS系统管理的订单信息了 解在沙拉吧处提供的每一种食品的销售的状态。而且，通常通过在厨 房处组合多种配料来准备在沙拉吧处提供的食品。因此，虽然有可能 了解从可以被POS系统等管理的每种配料的购买信息购买的每种配料 的数量，但是单独购买的每种配料的数量不能指示每种食品的销售的 状态。

另一方面，在沙拉吧处，以在各自的独立容器中包含食品的方式 来向顾客提供多种食品，并且，餐厅职员执行容器更换工作：从沙拉 吧去除需要被重新填充食品的容器，并且在将容器重新填充食品后将 该容器返回到沙拉吧。因此，如果获得容器的更换的状态，则有可能 了解每种食品的销售的状态，而不需要职员执行麻烦的工作，诸如向 终端内输入数据。因此，在物品状态分析处理中，获得与通过餐厅职 员执行的容器的更换的状态相关的容器更换信息。

图10是示出显示容器更换信息的分析结果屏幕的示例的示例性 图。该分析结果屏幕要被显示在在餐厅处设置的PC3的显示单元13 和在管理办公室处设置的PC7的显示单元17上。该分析结果屏幕包 括堆积条形图，该堆积条形图示出了在指定日期上的餐厅的营业时间 （10:00AM至1:00AM）期间的每一个时隙的、相对于容器更换的总 次数的每一种食品的容器更换的次数作为容器更换信息。

从该分析结果屏幕，诸如餐厅的管理者的用户可以了解在容器更 换的总次数上的改变的特性以及根据时隙的每种食品的容器更换的次 数，其中，每种食品的容器更换的次数提供了容器更换的总数的分类。 而且，通过识别其中对于每种食品执行容器更换的时隙，有可能对于 每种食品了解在容器更换之间的时间段（更换间隔），即，从当容器 被重新填充食品时到当在该容器中供应的食品被耗尽时的时间段。也 可能基于容器的更换时间来详细显示更换间隔。

分析结果屏幕进一步包括操作元件81，用于指定年、月和日，使 得用户可以通过操作操作元件81来选择日期，并且查看在所选择的日 期上的分析结果。应当注意，在其中在管理办公室处设置的PC7的显 示单元17上显示分析结果屏幕的情况下，优选地在分析结果屏幕中显 示用于允许用户选择餐厅的操作元件。

图11是示意地示出物品状态分析单元44的结构的框图。通过由 物品状态分析单元44执行的容器更换检测处理来生成在图10中所示 的分析结果屏幕。物品状态分析单元44包括作为与容器更换检测处理 相关的单元的感兴趣对象检测单元61、更换检测单元62、汇总单元63 和输出信息生成单元64。

感兴趣对象检测单元61基于由用于在沙拉吧周围的区域捕获图 像的相机1提供的图像信息来执行下述处理：从沙拉吧检测每一个容 器的消失和容器返回到沙拉吧。而且，在该感兴趣对象检测处理中， 基于由相机1执行的图像捕获的时间来获得当每一个容器从沙拉吧消 失时的时间（消失时间）和当每一个容器返回到沙拉吧时的时间（返 回时间）。

更换检测单元62基于由感兴趣对象检测单元61执行的检测结果 来执行检测用于每一种食品的容器更换。在该更换检测处理中，当感 兴趣对象检测单元61在检测到容器的消失后检测到同一容器的返回 时，确定将容器的更换被执行一次。

汇总单元63执行下述处理：汇总由更换检测单元62执行的检测 的结果，并且获得每一个时隙（预定时间段）的容器更换的次数。在 该汇总处理中，对于定义了用于汇总的单位时间段的每一个时隙（一 小时）独立地获得用于每一种食品的容器更换的次数，使得对于每一 个时隙获得用于每种食品的容器更换的次数。该用于每一个时隙的汇 总的处理需要每一个容器的更换时间，并且可以根据由感兴趣对象检 测单元61获得的时间信息（消失时间和返回时间）确定每一个更换时 间。

输出信息生成单元64基于由更换检测单元62执行的检测结果来 执行生成表示分析结果的输出信息的处理。在该输出信息生成处理中， 生成输出信息，该输出信息表示由汇总单元63获得的用于每一个时隙 的容器更换的次数。具体地，在本实施例中，输出信息生成单元64基 于对于每一个时隙获得的每种食品的容器更换的次数的时间序列来生 成与每种食品的容器更换的次数上的改变的趋势相关的信息作为输出 信息，使得在PC3和7的显示单元13和显示单元17上显示根据该信 息的分析结果屏幕（参见图10）。

图12是示出由被设置来在沙拉吧31周围的区域捕获图像的相机 1捕获的图像的示例的说明图。感兴趣对象检测单元61使用已知的图 像识别技术来检测出容器从沙拉吧31的消失（去除检测）和容器返回 到沙拉吧31（返回检测）。在去除检测和返回检测中，根据背景差别 方法，将输入图像与当在沙拉吧31处没有容器时已经捕获的背景图像 作比较，以检测出容器的消失（去除）和返回。

图12A示出在职员已经从沙拉吧31去除了容器后立即捕获的图 像，其中，在沙拉吧31处没有在图12B中所示的捕获的图像中存在的 容器33。图12B示出在职员使容器33返回到沙拉吧31后立即捕获的 图像，其中，在沙拉吧31处存在图12A中所示的捕获的图像中不存在 的容器33。因此，当在检测到容器的消失后检测到相同容器的返回时， 确定将容器的更换执行一次。

如上所述，在本实施例中，检测到在自助区域（沙拉吧）中布置 的感兴趣的对象（包含各自的食品的容器）的更换，并且，输出感兴 趣的对象的更换的状态的分析结果。由此，诸如商业机构（餐厅）的 管理者的用户有可能容易了解感兴趣的对象的更换的状态，而职员不 需要执行麻烦的工作，诸如当执行感兴趣的对象的更换时向终端内输 入数据。因此，通过基于感兴趣的对象的更换的状态来开发与商业机 构的操作相关的改善措施，有可能改善顾客满意度和餐厅的操作的流 水线，由此增大餐厅的销售和利润。

而且，在本实施例中，汇总单元63汇总由更换检测单元62执行 的检测的结果，并且获得每一个预定时间段（时隙）的每一个感兴趣 的对象的更换的次数，并且这允许诸如商业机构的管理者的用户了解 每一个预定时间段的每一个感兴趣的对象的更换的次数。而且，从每 个预定时间段的感兴趣的每个对象的更换的次数，用户可以了解感兴 趣的每个对象的更换间隔，即，在每一个感兴趣的对象的更换之间的 时间段。

而且，在本实施例中，输出信息生成单元64基于对于每一个预定 时间段（时隙）获得的每一个感兴趣的对象的更换的次数的时间序列 来生成与在每一个感兴趣的对象的更换的数量上的改变的趋势相关的 信息作为输出信息，使得显示根据该信息的分析结果屏幕（参见图10）。 因此，诸如商业机构的管理者的用户可以了解每一个感兴趣的对象的 更换次数如何根据时隙改变。因此，通过根据在每一个感兴趣的对象 的更换的数量上的改变来在商业机构处进行准备，有可能改善顾客满 意度，并且提高销售和利润。

而且，在本实施例中，要对于其执行更换的检测的感兴趣的对象 是包含物品的容器。每一个包含物品的容器具有预定形状，并且因此， 即使当该物品没有确定的形状时或当该物品由多个物体构成时，也可 以改善由感兴趣的对象检测单元和更换检测单元执行的检测的准确 度，以允许诸如商业机构的管理者的用户更精确地了解感兴趣的对象 的更换的状态。而且，即使当难以计数/测量物品的数/数量时，用户也 可以从包含物品的容器的更换的状态了解物品的销售的状态。

在本实施例中，在作为要被执行更换的感兴趣的对象的容器中包 含的物品是食品，诸如在沙拉吧处提供的沙拉成分。可以通过组合多 个配料来准备这样的食品中的每一种，并且因此，虽然有可能了解所 购买的每一个配料的数量，但是可能不直接地获得在沙拉吧处提供的 每一种食品的销售状态。也在这样的情况下，有可能通过获得容器的 更换的状态来了解在沙拉吧处提供的每一种食品的销售的状态。而且， 通过在不同的餐厅之间比较每一种食品的销售的状态或通过将每一种 食品的销售的状态与访问餐厅的顾客的数量作比较，有可能适当地订 购作为配料的各种材料，由此改善餐厅的操作效率。

在本实施例中，作出了向诸如休闲餐厅的餐厅应用本发明的示例 性情况的说明。然而，本发明可以被应用到除了餐厅之外的商业机构， 诸如零售商店，其可以是超市、便利店等。例如，本发明可以适用于 下述情况：其中，在诸如在超市中的廉价商品处理角的、供顾客选择 和拾取的廉价商品处理区（自助区域）中摆放物品。

而且，虽然在本实施例中作出了其中如图4中所示通过在餐厅处 设置的PC3执行顾客行为分析处理和物品状态分析处理的整体的示例 的说明，但是也可以例如如图1中所示通过诸如在管理办公室处设置 的PC7或形成云计算系统的云计算机21的另一个信息处理装置来执 行顾客行为分析处理和物品状态分析处理的整体。而且，可以通过多 个信息处理装置的合作来执行顾客行为分析处理和物品状态分析处 理，在该情况下，多个信息处理装置被配置成能够经由诸如IP网络或 LAN的通信介质或经由诸如硬盘或存储卡的存储介质来彼此发送或共 享信息。由此，联合执行顾客行为分析处理和物品状态分析处理的多 个信息处理装置构成顾客行为分析系统和物品状态分析系统。

在该情况下，优选的是，在餐厅处设置的PC3被配置成至少执行 在顾客行为分析处理中的人跟踪处理或在物品状态分析处理中的感兴 趣对象检测处理。在这样的结构中，因为由人跟踪处理获得的人跟踪 信息和由感兴趣对象检测处理获得的感兴趣对象检测信息具有小的数 据量，所以即使通过诸如在管理办公室处设置的PC7的、在除了餐厅 之外的位置处设置的信息处理装置来执行剩余的处理，通信负荷也可 以小，并且因此，容易以广域网的形式来操作系统。

也可以优选的是，云计算机21被配置成至少执行在顾客行为分析 处理中的人跟踪处理或在物品状态分析处理中的感兴趣对象检测处 理。在这样的结构中，虽然人跟踪处理和感兴趣对象检测处理需要大 量的计算，但是通过构成云计算系统的信息处理装置来实现它们，并 且因此，不必在用户侧上、即在餐厅等处准备高速信息处理装置。而 且，因为剩余的处理需要小的计算量，所以可以作为要作为销售信息 管理装置的、在餐厅处设置的信息处理装置的扩展功能执行剩余的处 理，并且这可以降低由用户承担的成本。

云计算机21可以被配置成执行顾客行为分析处理和物品状态分 析处理的整体。在这样的结构中，变得有可能也在除了在餐厅处设置 的PC3和在管理办公室处设置的PC7之外诸如智能电话22的移动终 端上查看分析结果，并且这允许用户不仅在餐厅或管理办公室处而且 在诸如用户出差访问的位置的任何其他位置处查看分析结果。

而且，虽然在本实施例中在餐厅处设置的PC3和在管理办公室处 设置的PC7用于查看分析结果，但是有可能提供浏览器装置，用于从 PC3和7独立地查看分析结果。例如，有可能使用智能电话22来作为 用于查看分析结果的浏览器装置，如上所述，或者向POS工作站4提 供用于查看分析结果的浏览器装置的功能。而且，虽然在本实施例中 在显示单元13和显示单元17上显示分析结果以使得用户能够查看分 析结果，但是也有可能通过打印机来输出分析结果。

而且，在本实施例中，如图3中所示，将顾客需要进入以选择和 拾取在自助区域处供应的期望的物品的访问区域32划分为两个区域， 即，第一区域32a和第二区域32b，但是也有可能将访问区域32划分 为三个或更多的区域。

而且，在本实施例中，作出了其中每一个包含一种或多种物品的 容器可更换的示例的说明，但是本发明可以被应用到其中物品本身是 可更换的情况。

而且，在本实施例中，作出了其中对于从沙拉吧选择和拾取食品 的顾客的自助行为执行分析的示例的说明，但是本发明可以被应用到 饮料吧或其中对于顾客供应物品以自助的任何其他自助区域。

而且，虽然在本实施例中，每一个具有一小时的持续时间的时隙 限定了用于汇总的时间段，但是用于汇总的时间段不限于所示的实施 例，并且可以根据用户需要而具有诸如一小时至几小时、一天至几天、 一星期至几星期、一个月至几个月等的任何持续时间。

根据本发明的顾客行为分析装置、顾客行为分析系统和顾客行为 分析方法具有能够分析从自助区域选择和拾取物品的顾客的自助行为 并且检测出放弃完成自助行为的人的优点，并且因此，用作用于执行 在商业机构中的顾客的行为的分析的顾客行为分析装置、顾客行为分 析系统和顾客行为分析方法。

通过引用在本申请中包含了原始日本专利申请的内容以及在本申 请中涉及的现有技术参考文献的内容，在该原始日本专利申请上作出 了对于本申请的巴黎公约优先权要求。