作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序

摘要

提供精度优良地识别包括移动物体进行的一连串的单独作业的作业序列的作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序。作业序列识别装置(1)识别包括一连串的单独作业的作业序列。作业序列识别装置(1)具备：取得部(11、12)，取得将作业区域内的移动物体的位置表示为时间序列的第1感测信息、和将作业区域内的不同的位置处的周围环境状态表示为时间序列的多个第2感测信息；控制部(12)，基于第1感测信息，确定一连串的单独作业的顺序，并基于第2感测信息，识别一连串的单独作业各自的作业内容。

说明书

技术领域

本公开涉及识别作业序列的作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序。

背景技术

专利文献1公开了行动状态推定系统。行动状态推定系统根据建筑物内的设备的使用信息、由建筑物内的传感器检测到的传感器信息、建筑物的房间和设备以及传感器的配置关系信息，推定人的行动状态。由此，即使在建筑物内有多人的情况下，也使得不需要使用摄像头就能够确定各用户的行动状态，并计算由各用户引起的消耗功率。

专利文献2公开了运动路线管理系统。运动路线管理系统基于设备的利用信息和用户持有的无线终端的位置信息，推定复制操作或印刷操作等设备的操作内容的运动路线开始时间。由此，使得能够判断针对利用设备的用户的恰当的运动路线。

在先技术文献

专利文献

专利文献1：专利第5087153号公报

专利文献2：专利第6318506号公报

发明内容

发明要解决的课题

本公开提供精度优良地识别包括移动物体进行的一连串的单独作业的作业序列的作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序。

用于解决课题的手段

本公开的作业序列识别装置是识别包括一连串的单独作业的作业序列的作业序列识别装置，具备：取得部，取得将作业区域内的移动物体的位置表示为时间序列的第1感测信息和将作业区域内的不同的位置处的周围环境状态表示为时间序列的多个第2感测信息；和控制部，基于第1感测信息确定一连串的单独作业的顺序，并基于第2感测信息识别一连串的单独作业的每一个的作业内容。

这些概括性的且特定的方式也可以通过系统、方法以及计算机程序和它们的组合实现。

发明效果

根据本公开的作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序，能够基于多个感测信息，精度优良地识别包括移动物体进行的一连串的单独作业的作业序列。多个感测信息包括将作业区域内的移动物体的位置表示为时间序列的第1感测信息、和将作业区域内的不同的位置处的周围环境状态表示为时间序列的多个第2感测信息。根据本公开的作业序列识别装置、作业序列识别系统、作业序列识别方法以及程序，基于第1感测信息决定一连串的单独作业的顺序，并基于第2感测信息识别单独作业的作业内容。由此，能够精度优良地识别作业序列。

附图说明

图1是示出第1实施方式的作业序列识别系统的结构的框图。

图2是用于说明摄像头的位置的图。

图3是用于说明附近传感器的位置的图。

图4是用于说明附近传感器所包括的传感器的种类的图。

图5是示出附近传感器的位置的传感器位置信息的一个例子。

图6是表示作业场所的范围的划分信息的一个例子。

图7是示出每个作业类别的作业的开始位置和结束位置的开始结束信息的一个例子。

图8是根据摄像头的影像数据获得的运动路线数据的一个例子。

图9是附近传感器生成的周围环境数据的一个例子。

图10是用于说明第1实施方式中的单独作业的作业内容的识别的一个例子的图。

图11是用于说明作业序列信息的一个例子的图。

图12是示出作业序列的显示的一个例子的图。

图13是示出作业序列的显示中的摄像头影像显示的图。

图14是示出作业序列的显示的另外的例子的图。

图15是用于说明第1实施方式中的作业序列识别装置的动作的流程图。

图16是示出图15的作业序列信息生成处理(步骤S4)的详细的流程图。

图17是示出第2实施方式的作业序列识别系统的结构的框图。

图18是用于说明第2实施方式中的单独作业的作业内容的识别的一个例子的图。

图19是用于说明第3实施方式中的运转率的计算的流程图。

具体实施方式

(成为本公开的基础的知识)

以往，在厨房或工场等的从业人员工作的作业现场，为了进行消耗时间的作业的改进以及每个从业人员所消耗的时间的偏差的作业效率改善等，改善担当者介入而对包括一连串的单独作业的作业序列中的各单独作业所消耗的时间进行测量。例如，在餐饮业界等中，在谋求厨房内的烹饪作业的效率化的情况下，改善担当者通过在厨房内配置摄像头，并参照该摄像头影像等，从而识别从接受点餐到提供料理的作业序列中的各单独作业的作业内容，并利用秒表等来测量各单独作业所消耗的时间。

近年来，正在尝试如在假想空间中对现场空间的过程进行再现以及分析，从而向现场提出改善方案的那样的网络物理系统(CPS)化。在CPS化中，为了高效地测量作业时间，例如，要求将作业时间的计算自动化。因此，期望人不介入而仅由设备来识别从业人员进行的作业序列。

本实施方式提供精度优良地识别包括人物等移动物体进行的一连串的单独作业的作业序列的作业序列识别装置。具体地，作业序列识别装置基于摄像头等远程传感器生成的广域感测信息和感知振动以及电磁波等的附近传感器生成的附近感测信息，识别作业序列。

(第1实施方式)

在本实施方式中，对移动物体为人，并且在人进行的一连串的单独作业为厨房内的作业的情况下，识别包括一连串的单独作业的作业序列的例子进行说明。厨房内的一连串的单独作业例如包括从接受点餐到提供料理的多个单独作业。多个单独作业例如是接受点餐、冰箱的开闭、餐具架的开闭、食材的盛装以及料理的提供等。

1.作业序列识别系统的结构

图1示出了本实施方式的作业序列识别系统100的电结构。作业序列识别系统100包括作业序列识别装置1、摄像头2以及多个附近传感器3。在本实施方式中，作业序列识别装置1、摄像头2以及多个附近传感器3设置在提供餐食的店铺内。作业序列识别装置1和摄像头2例如有线地连接。作业序列识别装置1例如经由无线路由器与多个附近传感器3连接。作业序列识别装置1基于摄像头2生成的影像数据和多个附近传感器3生成的周围环境数据，识别包括从业人员在厨房内进行的一连串的单独作业的作业序列。

1.1作业序列识别装置的结构

作业序列识别装置1例如是设置在店铺内的个人电脑或平板电脑终端等各种信息处理装置。作业序列识别装置1具备通信部11、控制部12、存储部13、输入部14、显示部15以及总线16。

通信部11包括按照给定通信标准而进行与外部设备的通信的电路。给定通信标准例如是LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)、USB以及HDMI(注册商标)。通信部11从摄像头2取得影像数据，并分别从多个附近传感器3取得周围环境数据。

控制部12能够利用半导体元件等来实现。控制部12例如能够利用微型多用计算机、CPU、MPU、GPU、DSP、FPGA、ASIC构成。控制部12的功能既可以仅由硬件构成，也可以通过组合硬件和软件来实现。控制部12通过读取容纳在存储部13的数据、程序，并进行各种运算处理，从而实现给定功能。

存储部13是存储为了实现作业序列识别装置1的功能所需要的程序以及数据的存储介质。存储部13例如能够通过硬盘(HDD)、SSD、RAM、DRAM、强电介质存储器、闪速存储器、磁盘、或它们的组合而实现。

通信部11相当于分别从摄像头2以及附近传感器3取得影像数据以及周围环境数据的取得部。经由通信部11取得的影像数据以及周围环境数据容纳在存储部13。控制部12相当于读取容纳在存储部13的影像数据以及周围环境数据的取得部。

输入部14是输入由用户进行的各种操作的用户接口。输入部14能够通过触摸屏、键盘、按钮、开关或它们的组合来实现。

显示部15例如是液晶显示器或有机EL显示器。显示部15例如显示控制部12识别的作业序列。

总线16是将通信部11、控制部12、存储部13、输入部14以及显示部15电连接的信号线。

1.2摄像头的结构

图2示出了配置摄像头2的位置的一个例子。摄像头2例如是设置在店铺内的厨房的天花板的全周围摄像头。摄像头2具备CCD图像传感器、CMOS图像传感器或NMOS图像传感器等图像传感器。摄像头2对厨房内进行拍射并生成影像数据。摄像头2是检测作业区域内的移动物体的位置的远程传感器的一个例子。摄像头2生成的影像数据是将作业区域内的移动物体的位置表示为时间序列的第1感测信息、换言之广域感测信息的一个例子。影像数据包括表示拍射时刻的时刻信息。

1.3附近传感器的结构

图3示出了配置多个附近传感器3的位置的一个例子。多个附近传感器3分别设置在厨房内的互相不同的位置。控制部12将厨房内划分为多个作业场所、在图3的例子中是作业场所L1～L10，从而进行管理。在图3的例子中，各作业场所的形状为矩形，但作业场所的划分方式是任意，也可以不是矩形。此外，划分的作业场所的数量可以根据作业区域整体的大小而适当地决定。各附近传感器3例如设置在多个作业场所L1～L10的任意处。具体地，例如，各附近传感器3可设置在冰箱的门或冰箱内、餐具架的门或架子内、微波炉的附近、提供柜台的附近等。在本说明书中，在不特别地对作业场所L1～L10进行区分时，总称为作业场所L。多个附近传感器3分别检测所配置的位置的周围环境状态，并生成将周围环境状态表示为时间序列的周围环境数据。周围环境数据是将作业区域内的互相不同的位置处的周围环境状态表示为时间序列的第2感测信息、换言之附近感测信息的一个例子。

图4示出了各附近传感器3所包括的传感器的种类的一个例子。本实施方式中的附近传感器3是多个传感器被封装于1个设备的多模式传感器。例如，各附近传感器3在1个筐体内包括人感传感器31、声音传感器32、振动传感器33、电磁波传感器34、加速度传感器35以及温度传感器36中的2个以上，在本实施方式中包括以上全部。附近传感器3也可以包括地磁传感器、湿度传感器、照度传感器以及气压传感器中的任意一个以上。此外，附近传感器3也可以仅封装有1个传感器。

2.在作业序列识别系统中使用的数据等

图5是表示多个附近传感器3各自的位置和灵敏度的传感器位置信息的一个例子。传感器位置信息51例如预先容纳在存储部13。传感器位置信息51包括作为附近传感器3的识别信息的ID和表示附近传感器3的位置的x、y坐标的值。传感器位置信息51还包括表示附近传感器3的灵敏度的以附近传感器3为中心的半径r的值。

图6是表示作业场所L的位置的划分信息的一个例子。划分信息52例如预先容纳在存储部13。在本实施方式中，如图3所示，由于厨房内的区域被划分为矩形形状的多个作业场所L，因而划分信息52包括表示各作业场所L的范围的对角位置的x、y坐标的值x1、y1、x2、y2。

图7是表示每个作业类别的开始位置和结束位置的开始结束信息的一个例子。开始结束信息53例如预先容纳在存储部13。作业类别A、B、C例如是开店准备中进行的采购工序、营业中进行的烹饪工序以及打烊准备中进行的整理工序。开始位置和结束位置分别通过作业场所L1～L10示出。另外，开始位置和结束位置也可以取代作业场所L1～L10而用厨房内的x、y坐标示出。

图8是运动路线数据的一个例子。作业序列识别装置1的控制部12通过图像解析，根据摄像头2的影像数据识别人物等移动物体，并生成表示移动物体的位置的运动路线数据54。控制部12在影像数据中在相同时刻拍到多个人物的情况下，例如针对每个人物生成运动路线数据54。运动路线数据54例如表示图3所示的那样的运动路线M1。具体地，本实施方式中的运动路线数据54用x、y坐标来表示各时刻的人物的位置。

图9是各附近传感器3生成的周围环境数据的一个例子。周围环境数据55包括各时刻的检测值d1～dn。检测值d1～dn是由人感传感器31、声音传感器32、振动传感器33、电磁波传感器34、加速度传感器35以及温度传感器36检测到的值。即，检测值d1～dn对应于红外线、声音、振动、电磁波、加速度以及温度的任意一者。周围环境数据55也可以根据附近传感器3所包括的传感器的种类而包括地磁、湿度、照度以及气压的检测值。

图10是示出单独作业的作业内容的识别方法的一个例子的图。控制部12使用单独作业识别器120来识别单独作业的作业内容。构建单独作业识别器120的程序以及参数例如容纳在存储部13。

单独作业识别器120包括使用深度学习等机器学习而进行学习，以使得识别单独作业的作业内容的模型。例如，单独作业识别器120通过递归神经网络构成。递归神经网络例如具有包括输入层N1、中间层N2、N3、N4以及输出层N5的多层构造。另外，中间层的数量不限于3层。中间层包括1个以上的层。此外，单独作业识别器120也可以采用其他种类的机器学习的算法。

关于单独作业识别器120，例如如果从输入层N1输入周围环境数据55的给定时间的量的检测值d1～dn，则从输出层N5输出表达表示哪一个作业内容的概率P(W1)～P(Wm)。给定时间例如是10秒。作业内容W1～Wm的每一个例如在烹饪工序的情况下，对应于点餐的接收、冰箱的开闭、餐具架的开闭、微波炉的使用、盛装以及料理的提供等。在本说明书中，在不特别地对作业内容W1～Wm进行区分时，总称为作业内容W。

递归神经网络可基于训练数据而进行学习，该训练数据预先对学习用的周围环境数据和对应于表示学习用的周围环境数据的作业内容的正解标签进行了关联。即，构成单独作业识别器120的递归神经网络的各层的加权系数根据使用该训练数据的学习而设定。例如，可设定各层的节点间的加权系数，使得在将10秒期间的量的检测值d1～dn输入到单独作业识别器120而获得的概率P(W1)～P(Wm)中，对应于正解标签的作业内容的概率成为最大。单独作业识别器120的学习既可以由作业序列识别装置1进行，也可以由另外的信息处理装置进行。

根据周围环境数据55识别作业内容时，控制部12通过将给定时间的量的检测值d1～dn输入到经过学习的单独作业识别器120，从而计算作业内容的概率P(W1)～P(Wm)。控制部12例如可判断为输入到输入层N1的给定时间的量的检测值d1～dn所表示的作业内容是在从输出层N5获得的概率P(W1)～P(Wm)中值最大的作业内容。

图11是示意性地示出控制部12生成的作业序列信息的一个例子的图。作业序列信息56例如表示将包括作业场所、作业内容以及作业时间的信息表示为时间序列的曲线图。作业序列信息56所记载的作业场所L是图3所示的作业场所L1～L10的任意处。作业序列信息56所记载的作业内容W是图10所示的使用单独作业识别器120识别的结果，是作业内容W1～Wm的任意者。作业序列信息56所记载的作业时间T表示在作业场所L处进行作业内容W的单独作业的时间T1、T2……。

图12至图14示出了基于作业序列信息56的由显示部15进行的作业序列的显示例。在图12的显示例中，示出了作业序列、即一连串的单独作业的顺序、作业场所以及作业内容和各单独作业所消耗的作业时间的最小值、平均值、最大值、标准偏差以及等级。在图13的显示例中，显示了摄像头影像。例如，在显示部15显示图12所示的画面时，用户经由输入部14而从正在显示的一连串的单独作业中选择任意的单独作业和单独作业所消耗的作业时间的代表值(最小值、平均值、最大值、标准偏差、以及等级中的任意者)时，对如图13所示的那样的对应于所选择的代表值的单独作业的摄像头影像进行显示。等级能够设定作业时间的平均值、最大值或标准偏差。由此，例如，用户能够按照等级顺序，通过对应的摄像头影像来确认消耗时间的作业、作业时间的偏差较大的单独作业。在图14的显示例中，示出了作业序列、即一连串的单独作业的顺序、作业场所以及作业内容和由某个人物所进行各单独作业所消耗的作业时间。

3.作业序列识别装置的动作

3.1整体动作

对上述的结构的作业序列识别装置1的动作进行说明。图15示出了作业序列识别装置1的控制部12的动作。

控制部12取得摄像头2的影像数据(S1)。例如，作业序列识别装置1经由通信部11取得摄像头2生成的影像数据，并容纳在存储部13。在步骤S1中，控制部12读取容纳在存储部13的影像数据。例如，控制部12读取1天的量的影像数据。

控制部12取得与作业类别相应的开始位置以及结束位置的信息(S2)。例如，如果由用户经由输入部14指定作业类别，则控制部12从开始结束信息53读取与用户指定的作业类别相应的开始位置以及结束位置。

控制部12根据影像数据检测从开始位置到结束位置的运动路线(S3)。例如，控制部12进行影像数据的图像解析，从而识别移动的人物，并检测从开始位置到结束位置的人物的运动路线，生成运动路线数据54。

控制部12基于运动路线数据54，生成运动路线上的表示一连串的单独作业的作业序列信息56(S4)。

控制部12判断影像内的运动路线的检测是否结束(S5)。例如，只要在步骤S1中取得的影像数据中，剩余有未试行步骤S3中的人物的识别以及运动路线的检测的数据，则回到步骤S3。由此，控制部12例如针对步骤S3中检测的每个运动路线而生成作业序列信息56。如果在步骤S1中取得的影像数据的整体中，人物的识别以及运动路线的检测的试行结束，则前进到步骤S6。

控制部12基于步骤S4中生成的作业序列信息56，计算每个单独作业的作业时间的最小值、平均值、最大值、标准偏差以及等级(S6)。在本实施方式中，控制部12计算最小值、平均值以及最大值、标准偏差以及等级的全部，但也可以计算任意一个以上。

控制部12使作业场所、作业内容以及作业时间显示在显示部15(S7)。例如，如图12所示，显示部15将识别的单独作业的作业内容、各单独作业的顺序以及每个单独作业的作业时间的最小值、平均值、最大值、标准偏差以及等级显示在确定的作业场所的附近。控制部12也可以在显示部15显示图12所示的画面时，经由输入部14接收由用户对任意的单独作业和作业时间的代表值(最小值、平均值、最大值、标准偏差以及等级的中的任意者)的选择。例如，用户也可以通过触摸屏选择单独作业和作业时间的代表值。在该情况下，控制部12根据用户的选择来选择单独作业和作业时间的代表值，如图13所示，也可以使对应于选择的代表值的单独作业的摄像头影像显示在显示部15。另外，也可以不是由用户进行的选择，而是控制部12选择任意的单独作业和作业时间的代表值。例如，控制部12也可以使各单独作业的最小值、平均值、最大值、标准偏差或者对应于等级的摄像头影像依次显示在显示部15。显示部15也可以取代图12所示的集体显示或除图12所示的集合显示以外，还如图14所示，显示某人物的作业时间。例如，控制部12也可以关于作业序列整体的作业时间最大以及最小的人物，与作业内容以及顺序一起将各单独作业的作业时间显示在确定的作业场所的附近。

3.2作业序列信息的生成动作

图16示出了作业序列信息56的生成的动作、即图15的步骤S4的详细。

控制部12基于运动路线数据54和划分信息52，确定作业场所(S401)。控制部12参照传感器位置信息51来选择检测确定的作业场所处的周围环境状态的附近传感器3(S402)。由此，从容纳在存储部13的多个周围环境数据55中选择作业内容的识别所使用的周围环境数据55。在本实施方式中，控制部12从确定的作业场所选择处于给定范围内的所有附近传感器3。在另外的例子中，控制部12也可以选择最靠近运动路线的附近传感器3。

控制部12从存储部13取得所选择的附近传感器3生成的周围环境数据55(S403)。

控制部12判断步骤S402中选择的附近传感器3是否为2个以上(S404)。

只要步骤S402中选择的附近传感器3为2个以上(S404中的是)，则控制部12基于步骤S403中取得的周围环境数据55从该2个以上的附近传感器3中决定1个附近传感器3(S405)。例如，控制部12基于各自所包括的时刻信息对运动路线数据54和周围环境数据55进行对应。控制部12也可以选择在步骤S401中确定的作业场所处有人物时的人感传感器31的检测值表示人更近的附近传感器3。也可以选择电磁波传感器34的检测值更大的附近传感器3。也可以选择声音传感器32的检测值更大的附近传感器3。也可以根据作业场所在周围环境数据55所包括的检测值d1～dn中改变参照哪个检测值。

只要步骤S402中选择的附近传感器3为1个(S404中的否)，则省略步骤S405，前进到步骤S406。

控制部12基于由决定的1个附近传感器3生成的周围环境数据55，识别单独作业的作业内容(S406)。例如，控制部12基于各自所包括的时刻信息对运动路线数据54和周围环境数据55进行对应。控制部12从周围环境数据55提取在步骤S401中确定的作业场所处有人物的期间的检测值d1～dn。控制部12在提取的时间带的检测值d1～dn中，将给定时间的量的检测值d1～dn输入到单独作业识别器120。例如，在提取1分钟的检测值d1～dn的情况下，也可以依次将其中的10秒期间的量的检测值d1～dn输入到单独作业识别器120。控制部12也可以基于运动路线数据54和传感器位置信息51，将从人物进入表示附近传感器3的灵敏度的半径r的范围内的时间点起给定时间的量的检测值d1～dn输入到单独作业识别器120。

控制部12计算单独作业所消耗的作业时间(S407)。例如，控制部12基于运动路线数据54所包括的时刻信息，计算步骤S401中确定的作业场所中的作业时间。作业时间也可以基于周围环境数据55所表示的时刻信息来计算。例如，控制部12也可以基于步骤S406中的单独作业识别器120的输出结果，计算判断为进行相同的单独作业的时间。

控制部12将步骤S401中确定的作业场所、步骤S406中识别的作业内容以及步骤S407中计算的作业时间追加到作业序列信息56中(S408)。

控制部12从运动路线数据54的开始位置起依次执行步骤S401～S408。控制部12判断步骤S401中确定的作业场所是否包括运动路线的结束位置、运动路线是否结束(S409)。只要步骤S401中确定的作业场所包括运动路线的结束位置，则返回步骤S401。由此，在运动路线数据54的下一作业场所处，执行步骤S401～S408。只要步骤S401中特定的作业场所包括运动路线的结束位置，并且运动路线结束，则结束图16所示的作业序列信息生成处理。

4.效果以及补充

本实施方式的作业序列识别系统100具备作业序列识别装置1、摄像头2以及多个附近传感器3。摄像头2对作业区域进行拍射，并生成将作业区域内的移动物体的位置表示为时间序列的影像数据。多个附近传感器3配置在作业区域内的互相不同的位置，并生成将配置的位置的周围环境状态表示为时间序列的周围环境数据55。周围环境状态包括声音、振动、红外线、电磁波、地磁、加速度、温度、湿度、照度、气压以及二氧化碳浓度中的1个以上。作业序列识别装置1基于影像数据和周围环境数据55，识别包括移动物体进行的一连串的单独作业的作业序列。

具体地，作业序列识别装置1具备取得部以及控制部12。取得部是通信部11或控制部12。取得部取得影像数据和周围环境数据55。控制部12基于影像数据决定一连串的单独作业的顺序，并基于周围环境数据，识别一连串的单独作业各自的作业内容，由此识别作业序列。

能够根据设置在天花板的摄像头2生成的影像数据来检测人物的运动路线。然而，根据影像数据识别作业内容较困难。能够根据附近传感器3生成的周围环境数据55识别作业内容。然而，根据该周围环境数据55识别人物并检测运动路线较困难。在本实施方式中，通过使用影像数据以及周围环境数据55这两者，能够实现人物的运动路线的检测和作业内容的识别这两者。由此，能够识别精度优良地作业序列。

取得部分别从配置在作业区域内的互相不同的位置的多个附近传感器3取得周围环境数据55。控制部12基于移动物体的位置和多个附近传感器3的位置，从多个周围环境数据55中选择在作业内容的识别中使用的周围环境数据。控制部12在基于移动物体的位置和多个附近传感器3的位置，选择了作业内容的识别所使用的多个周围环境数据的情况下，基于选择的多个周围环境数据，将实际使用的周围环境数据决定为任意一个。由此，能够精度优良地识别作业内容。

控制部12将作业区域划分为多个作业场所而进行管理，并基于影像数据，从多个作业场所中确定移动物体所处的作业场所，并对作业场所和作业内容进行对应，从而生成作业序列信息56。能够使作业序列信息56的生成自动化，因而变得不需要通过手动作业生成作业序列信息56。由此，能够高效地生成作业序列信息56。像这样生成的作业序列信息56对于分析作业，并进行设备的配置或作业的流程等的改善的方案制定是有用的。

控制部12基于影像数据，检测从与作业区域内的作业类别相应的开始位置到结束位置的移动物体的运动路线，按照检测到的运动路线，重复进行作业场所的确定和作业内容的识别，以生成作业序列信息56。由此，能够生成与作业类别相应的运动路线上的作业序列信息56。

影像数据包括表示拍射的时刻的时刻信息，周围环境数据55包括表示感测的时刻的时刻信息。周围环境数据55和根据影像数据生成的运动路线数据54基于时刻信息而同步。控制部12基于时刻信息，计算作业时间。由此，能够自动地测量作业序列所包括的各单独作业所耗费的作业时间。

控制部12计算相同的单独作业所消耗的作业时间的最小值、平均值、最大值、标准偏差以及等级的至少任意一者。计算得到的值对于分析作业并进行设备的配置或作业的流程等的改善的方案制定是有用的。

作业序列识别装置1还具备对一连串的单独作业的顺序、作业场所以及作业内容、和各单独作业所消耗的时间的最小值、平均值、最大值、标准偏差以及等级的至少任意一者进行显示的显示部15。由此，用户能够对作业序列以及作业时间进行视认。

本实施方式中的作业区域是厨房内的区域，一连串的单独作业包括与烹饪相关的作业。与厨房内的作业相关的作业序列信息56对于分析厨房内的作业，并进行设备的配置或作业的流程等的改善的方案制定是有用的。

(第2实施方式)

在上述第1实施方式中，在步骤S406中，控制部12基于周围环境数据55，识别单独作业的作业内容。在本实施方式中，控制部12除周围环境数据55之外，还使用表示购入的商品的POS(Point Of Sales，销售点)信息，识别单独作业的作业内容。

图17示出了本实施方式的作业序列识别系统100的电结构。本实施方式的作业序列识别系统100除作业序列识别装置1、摄像头2以及多个附近传感器3之外，还包括POS终端4。POS终端4生成POS信息。POS信息包括销售时间点的时刻、商品名、数量以及金额等。作业序列识别装置1经由通信部11取得POS终端4生成的POS信息。通信部11相当于从POS终端4取得POS信息的取得部。取得的POS信息容纳在存储部13。控制部12相当于从存储部13读取POS信息的取得部。

图18示出了本实施方式中的利用POS信息的单独作业的作业内容的识别例。控制部12在步骤S406中，基于POS信息表示的购入的商品来设定作业内容的识别所使用的系数q1～qm。例如，分别针对作业内容W1～Wm的系数q1～qm针对每个商品而预先决定，表示每个商品的系数q1～qm的信息容纳在存储部13。控制部12在步骤S406之前从存储部13读取POS信息，在步骤S406中，从存储部13读取POS信息表示的对应于购入的商品的系数q1～qm。控制部12针对由单独作业识别器120计算得到的各作业内容的概率P(W1)～P(Wm)，分别乘以对应于购入的商品的系数q1～qm。即，控制部12针对从单独作业识别器120输出的m个单独作业的每一个的概率P(W)，计算“P(W)×q”。控制部12判断为“P(W)×q”的计算值成为最大的作业内容W是对应于输入到单独作业识别器120的检测值d1～dn的单独作业的作业内容。控制部12将像这样识别的结果的作业内容W写入作业序列信息56。

如以上那样，本实施方式的取得部除周围环境数据55之外，还取得表示购入的商品的POS信息。控制部12基于POS信息和周围环境数据55，识别作业内容。由此，能够精度优良地识别作业内容。

另外，在本实施方式中，通过计算从单独作业识别器120输出的m个单独作业各自的概率P(W)和系数q的积，从而判断作业内容，但也可以将系数q作为单独作业识别器120的训练数据而进行预先学习。在该情况下，向单独作业识别器120输入检测值d和系数q，并判断为在从输出获得的概率P(W1)～P(Wm)中值最大的作业内容是对应于输入的检测值d的作业内容。

(第3实施方式)

在第1以及第2实施方式中，对作业序列识别系统100识别包括一连串的单独作业的作业序列，并生成表示作业序列的作业序列信息56的例子进行了说明。在本实施方式中，作业序列识别系统100计算进行一连串的单独作业的移动物体的运转率。具体地，作业序列识别装置1的控制部12通过计算在运动路线上移动物体未稼动的时间，从而计算运转率。

图19是示出由第3实施方式中的作业序列识别装置1的控制部12进行的运转率的计算的动作的流程图。控制部12例如在图15以及图16所示的作业序列信息56的生成后进行图19所示的运转率的计算。也可以与图15以及图16所示的作业序列信息56的生成并行地进行图19所示的运转率的计算。图19的步骤S11～S13与第1实施方式的图15的步骤S1～S3相同。图19的步骤S16～S18相当于第1实施方式的图16的步骤S401～S405。

控制部12取得摄像头2的影像数据(S11)。控制部12取得与作业类别相应的开始位置以及结束位置的信息(S12)。控制部12根据影像数据检测从开始位置到结束位置的运动路线(S13)。

控制部12计算从运动路线的开始到结束的时间，以作为第1期间的长度(S14)。例如，控制部12基于运动路线数据54所包括的时刻信息，计算第1期间的长度。

控制部12计算在从步骤S13中检测到的运动路线的开始位置到结束位置中，运动路线的移动量成为第1阈值以下的时间，以作为第2期间的长度(S15)。例如，控制部12基于运动路线数据54，对x坐标以及y坐标的变化量的合计值为第1阈值以下的时间基于运动路线数据54所包括的时刻信息而进行计算。

控制部12基于运动路线数据54和划分信息52，确定第2期间内的作业场所(S16)。控制部12参照传感器位置信息51，选择对确定的作业场所处的周围环境状态进行检测的附近传感器3(S17)。控制部12从存储部13取得附近传感器3生成的第2期间内的周围环境数据55(S18)。只要在步骤S17中选择的附近传感器3为多个，则控制部12基于选择的附近传感器3生成的周围环境数据55决定1个作业内容的识别所使用的附近传感器3。

控制部12计算在第2期间内的周围环境数据55中检测值的变化量成为第2阈值以下的时间以作为第3期间的长度(S19)。例如，控制部12基于周围环境数据55所包括的时刻信息，计算第2期间内的周围环境数据55所包括的电磁波的检测值为第2阈值以下的时间。也可以根据步骤S16中确定的作业场所来改变在周围环境数据55所包括检测值d1～dn中使用哪个检测值。控制部12也可以将周围环境数据55所包括的检测值d1～dn的全部与分别对应的第2阈值比较。在步骤S15中，在从运动路线的开始位置到结束位置中计算得到多个第2期间的情况下，控制部12针对各自的第2期间进行步骤S16～S19所示的处理，并分别计算第3期间的长度。

第3期间是运动路线的移动量为第1阈值以下且在周围环境数据55中检测值的变化量成为第2阈值以下的时间。即，第3期间表示移动物体的非稼动时间。

控制部12计算运转率(S20)。具体地，控制部12通过“运转率＝(第1期间-第3期间的合计)/第1期间”来计算运转率。另外，控制部12也可以通过“非运转率＝第3期间的合计/第1期间”来计算非运转率。

控制部12也可以将计算得到的运转率追加到作业序列信息56中，也可以将其显示在显示部15。控制部12也可以将作为第3期间的长度的非稼动时间追加到作业序列信息56中，也可以将其显示在显示部15。例如，控制部12也可以对步骤S16中确定的作业场所和非稼动时间进行对应并追加到作业序列信息56。

显示部15也可以将非稼动时间显示在作业场所的附近。

像这样，控制部12基于在检测到的运动路线上，移动物体的位置的变化量为第1阈值以下且周围环境状态的变化量为第2阈值以下的时间在运动路线的整个时间内的比例，从而计算移动物体的运转率。表示运转率的数据对于分析作业，并且进行设备的配置或作业的流程等的改善的方案制定是有用的。

(其他实施方式)

如以上那样，作为在本申请中公开的技术的例示，说明了上述第1实施方式～第3实施方式。然而，本公开中的技术不限于此，也能够应用于适当地进行变更、置换、附加、省略等的实施方式。因此，以下，对其他实施方式进行例示。

在上述第1实施方式～第3实施方式中，对识别包括在厨房中的人物进行的一连串的单独作业的作业序列的例子进行了说明，但作业序列的识别的对象不限定于厨房内的人物进行的作业。例如，作业序列的识别的对象不限于厨房内的作业，也可以是工场内的作业。作业序列的识别的对象不限于人物进行的作业，也可以是叉车、机器人等机器进行的作业。作业序列识别装置1、摄像头2以及多个附近传感器3也可以设置在工场内。摄像头2也可以在工场内对叉车移动的范围进行拍射。作业序列识别装置1也可以使用附近传感器3来检测叉车的动作。附近传感器3能够使用于检测人的动作、机器的动作以及现场环境。人的动作例如包括产品的组装、拾取、便当的烹饪。机器的动作包括产线(line)动作、叉车动作以及烹饪器具的状况。现场环境包括噪音、温度、湿度、二氧化碳浓度以及照度等。

此外，在上述第1实施方式～第3实施方式中，对识别包括店铺中的厨房内的一连串的单独作业的作业序列的例子进行了说明。然而，其应用对象不仅限于店铺等的商用用途，也可以是家庭内的厨房或者房间中的作业。例如，在家庭内的厨房的情况下，作业序列识别装置1、摄像头2、以及多个附近传感器3也可以配置在厨房。附近传感器3能够使用于检测烹饪者的动作、烹饪器具的动作以及厨房环境。烹饪者的动作包括食品的取出/收纳、食品的烹饪、餐具的取出/收纳。烹饪器具的动作包括食品架的开闭、烹饪器具的状况、收纳架的开闭。厨房环境包括噪音、温度、湿度、二氧化碳浓度以及照度等。由此，识别厨房中的烹饪作业的作业序列。

在上述实施方式中，作为远程传感器的一个例子而使用了摄像头2，但远程传感器不限于摄像头2。远程传感器只要是能够检测移动物体的位置的传感器即可。在上述实施方式中，作业序列识别装置1通过对影像数据进行图像解析而生成运动路线数据54，但作业序列识别装置1也可以从具备摄像头2的另外的设备或检测移动物体的位置的另外的远程传感器取得运动路线数据54。

此外，在上述实施方式中，根据开始结束信息53来检测与作业类别相应的开始位置以及结束位置，但也可以根据摄像头2的影像数据来检测开始位置以及结束位置。具体地，在运动路线包括于特定范围且运动差分信息成为预先决定的阈值以上的情况下，利用从摄像头2获得的运动路线位置和运动差分信息来检测该位置，以作为作业的开始位置或结束位置。这通常在设想的位置以外，进行了作业的开始和/或结束的情况下是有用的。例如，料理的提供时，从业人员会伸出手，因而此时的运动差分值表示较大的值。由此，在柜台附近，即使是通常的料理提供位置以外的场所，只要运动差分值为阈值以上，就能够作为作业结束位置来进行检测。

(实施方式的概要)

(1)本公开的作业序列识别装置是识别包括一连串的单独作业的作业序列的作业序列识别装置，具备：取得部，取得将作业区域内的移动物体的位置表示为时间序列的第1感测信息、和将作业区域内的不同的位置处的周围环境状态表示为时间序列的多个第2感测信息；和控制部，基于第1感测信息，确定一连串的单独作业的顺序，并基于第2感测信息，识别一连串的单独作业各自的作业内容。

由此，能够精度优良地识别作业序列。

(2)在(1)的作业序列识别装置中，也可以是，取得部分别从配置在作业区域内的不同的位置处的多个附近传感器取第2感测信息，控制部基于第1感测信息表示的移动物体的位置和多个附近传感器的位置，从多个第2感测信息中选择作业内容的识别所使用的第2感测信息。

由此，能够精度优良地识别单独作业的作业内容。

(3)在(2)的作业序列识别装置中，也可以是，控制部在基于移动物体的位置和多个附近传感器的位置，选择了作业内容的识别所使用的多个第2感测信息的情况下，基于选择的多个第2感测信息，将实际使用的第2感测信息决定为任意一个。

由此，能够精度优良地识别单独作业的作业内容。

(4)在(1)的作业序列识别装置中，也可以是，控制部将作业区域划分为多个作业场所而进行管理，并基于第1感测信息，从多个作业场所中确定移动物体所处的作业场所，并对作业场所和作业内容进行对应，生成表示作业序列的作业序列信息。

该作业序列信息对于分析作业，并且进行设备的配置或作业的流程等的改善的方案制定是有用的。

(5)在(4)的作业序列识别装置中，也可以是，控制部基于第1感测信息来检测从作业区域内的第1给定位置到第2给定位置的移动物体的运动路线，并沿着检测到的运动路线重复进行作业场所的确定和作业内容的识别，以生成作业序列信息。

通过根据作业类别来设定第1给定位置和第2给定位置，能够生成与作业类别相应的运动路线上的作业序列信息。

(6)在(5)的作业序列识别装置中，也可以是，第1感测信息和第2感测信息分别包括表示感测的时刻的时刻信息，控制部基于时刻信息，对第1感测信息和第2感测信息进行对应。

由此，能够精度优良地识别单独作业的顺序和作业内容。

(7)在(6)的作业序列识别装置中，也可以是，控制部基于时刻信息，测量各单独作业所消耗的时间。

测量得到的时间对于分析作业，并且进行设备的配置或作业的流程等的改善的方案制定是有用的。

(8)在(7)的作业序列识别装置中，控制部也可以计算相同的单独作业所消耗的时间的最小值、平均值、最大值、标准偏差以及等级的至少任意一者。

计算得到的最小值、平均值、最大值、标准偏差以及等级对于分析作业，并且进行设备的配置或作业的流程等的改善的方案制定是有用的。

(9)在(6)的作业序列识别装置中，控制部也可以基于在检测到的运动路线上，移动物体的位置的变化量为第1阈值以下且周围环境状态的变化量为第2阈值以下的时间在运动路线的整体时间内的比例，计算移动物体的运转率。

运转率对分析作业，并且进行设备的配置或作业的流程等的改善的方案制定是有用的。

(10)(1)的作业序列识别装置也可以还具备：显示部，对一连串的单独作业的顺序、作业场所以及作业内容、和各单独作业所消耗的时间的最小值、平均值、最大值、标准偏差以及等级的至少任意一者进行显示。

由此，用户能够对作业序列进行视认。

(11)在(1)的作业序列识别装置中，也可以是，取得部取得表示购入的商品的POS信息，控制部基于POS信息和第2感测信息来识别作业内容。

由此，能够精度优良地识别单独作业的作业内容。

(12)在(1)的作业序列识别装置中，取得部也可以取得对作业区域进行拍射的摄像头生成的影像数据以作为第1感测信息。

(13)在(1)的作业序列识别装置中，第2感测信息表示的周围环境状态也可以包括声音、振动、红外线、电磁波、地磁、加速度、温度、湿度、照度、气压以及二氧化碳浓度中的1个以上。

(14)在(1)的作业序列识别装置中，也可以是，作业区域是厨房内的区域，一连串的单独作业是与烹饪相关的作业。

(15)本公开的作业序列识别系统包括：摄像头，对作业区域进行拍射并生成将作业区域内的移动物体的位置表示为时间序列的第1感测信息；多个附近传感器，配置在作业区域内的不同的位置处，并且生成将所配置的位置的周围环境状态表示为时间序列的第2感测信息；权利要求1至14的任一者所述的作业序列识别装置，基于第1感测信息和多个第2感测信息，识别包括移动物体进行的一连串的单独作业的作业序列。

(16)本公开的作业序列识别方法是通过运算部来识别包括一连串的单独作业的作业序列的作业序列识别方法，包括：取得将作业区域内的移动物体的位置表示为时间序列的第1感测信息、和将作业区域内的不同的位置处的周围环境状态表示为时间序列的多个第2感测信息的步骤；和基于第1感测信息，确定一连串的单独作业的顺序，并基于第2感测信息，识别一连串的单独作业各自的作业内容的步骤。

(17)(16)的作业序列识别方法也可以还包括：对一连串的单独作业的顺序、作业场所以及作业内容、和各单独作业所消耗的时间的最小值、平均值、最大值、标准偏差以及等级的至少任意一者进行显示的显示步骤。

(18)(17)的作业序列识别方法的显示步骤也可以具有：从一连串的单独作业中，选择任意的单独作业的步骤；选择所选择的单独作业所消耗的时间的最小值、平均值、最大值、标准偏差以及等级中的任意者以作为代表值的步骤；和对与选择的代表值对应的单独作业的影像进行显示的步骤。

(19)本公开的程序使计算机执行(16)的作业序列识别方法。

本公开的整体权利要求中记载的作业序列识别装置、作业序列识别系统以及作业序列识别装置方法能够与硬件资源、例如处理器存储器以及程序的协作等而实现。

工业实用性

本公开的作业序列识别装置以及作业序列识别系统作为自动地识别包括一连串的单独作业的作业序列的装置是有用的。

-符号说明-

1：作业序列识别装置；

2：摄像头；

3：附近传感器；

4：POS终端；

11：通信部；

12：控制部；

13：存储部；

14：输入部；

15：显示部；

16：总线；

100：作业序列识别系统；

120：单独作业识别器。