行为识别方法、行为识别装置和记录介质

摘要

本发明涉及行为识别方法、行为识别装置和记录介质。行为识别方法，包括：由计算机针对图像的每一帧提取包括多个关节位置的骨架信息；根据骨架信息来计算第一组运动特征量；通过在由第二组运动特征量定义的特征量空间上绘制第一组运动特征量来计算绘制位置，绘制位置是第一组运动特征量被绘制在特征量空间上的位置，特征量空间具有多个映射区域，与要识别的预定的较高级别行为相对应的各个范围被映射在所述多个映射区域中；以及当绘制位置与多个映射区域中的每个映射区域之间的距离之中的最小距离与其他距离的偏离程度满足预定标准时，基于绘制位置来执行扩展距绘制位置最小距离处的映射区域的更新。

说明书

技术领域

本文讨论的实施方式涉及行为识别方法、行为识别装置和记录介质。

背景技术

用于从图像识别行为的技术是已知的。例如，存在一种用于根据定义了作为复杂行为的构成要素的基本运动的组合的规则来从图像的基本运动的识别结果中识别目标行为的技术。

例如，在日本公开特许公报第2018-147153号和日本公开特许公报第2005-202653号中公开了相关技术。

然而，在识别对象的行为中可能存在大量变化。因此，利用上述技术，可能难以在创建规则时不遗漏对目标行为的识别的情况下创建规则。

本实施方式的一个方面的目的是提供可以根据操作来更新规则的行为识别方法和行为识别装置。

发明内容

根据实施方式的一方面，一种行为识别方法包括：由计算机针对图像的每一帧提取包括多个关节位置的骨架信息；根据骨架信息来计算第一组运动特征量；通过在由第二组运动特征量定义的特征量空间上绘制第一组运动特征量来计算绘制位置，该绘制位置是第一组运动特征量被绘制在特征量空间上的位置，该特征量空间具有多个映射区域，与要识别的预定的较高级别行为相对应的各个范围被映射在多个映射区域中；以及当绘制位置与多个映射区域中的每个映射区域之间的距离之中的最小距离与其他距离的偏离程度满足预定标准时基于绘制位置来执行扩展距绘制位置最小距离处的映射区域的更新。

根据实施方式的一方面，可以根据操作来更新规则。

附图说明

图1是示出根据第一实施方式的行为识别服务的示例的图；

图2是示出确定条件数据的示例的图；

图3是示出图像的示例的图；

图4是示出图像的示例的图；

图5是示出特征量空间的示例的图；

图6是示出更新第二规则的方法的示例的示意图；

图7是示出根据第一实施方式的行为识别装置的功能配置的示例的框图；

图8是示出第二规则的示例的图；

图9是示出第二规则的另一示例的图；

图10是示出分析结果的示例的图；

图11是示出分析结果的示例的图；

图12是示出根据第一实施方式的规则转换处理的过程的流程图；

图13是示出根据第一实施方式的规则更新处理的过程的流程图；

图14是示出对较高级别行为的识别结果进行校正的示例的图；以及

图15是示出计算机硬件配置示例的图。

具体实施方式

在下文中，将参照附图来描述根据本公开内容的行为识别方法和行为识别装置的实施方式。本公开内容不限于这些实施方式。另外，在不引起处理内容的任何不一致的范围内，可以将实施方式适当地彼此组合。

(第一实施方式)

(行为识别服务的示例)

图1是示出根据第一实施方式的行为识别服务的示例的图。图1所示的行为识别服务1提供了从摄像机2的图像中识别被摄体(例如，人)的行为的服务。在这样的行为识别服务1中，仅作为示例，通过组合多个运动而复杂化的较高级别行为(例如，工作行为、可疑行为和购买行为)是识别目标。

除了上述行为识别服务1之外，为了识别“较高级别行为”，必须准备包括较高级别行为的大量图像作为训练数据。这样大量的训练数据的准备实际上可能是困难的，或者即使可以准备大量的训练数据，也花费时间和精力，使得可能难以将大量的训练数据引入到该领域中。

从消除准备这样大量的训练数据的需要的方面，上述行为识别服务1根据定义在日常生活中执行的“基本运动”的组合的规则来识别较高级别行为。

如图1所示，行为识别服务1可以包括对象识别功能3、基本运动识别功能4、较高级别行为识别功能5等。

对象识别功能3是从由摄像机2拍摄的图像中识别对象的功能。这里使用的术语“对象”指的是作为行为识别目标的图像的被摄体，并且可以包括例如作为行为识别目标的人。除了人之外，对象还可以包括与行为识别有关的事物，例如，人使用的工具、以及放置在环境中的家具、货物或装备。仅作为示例，对象识别功能3针对图像的每一帧识别对象。另外，对象识别功能3通过对对象执行被称为骨架检测或姿势检测(姿势估计)的处理来提取包括每个关节的位置的骨架信息。

基本运动识别功能4是从每帧的骨架信息中识别基本运动的功能。这里使用的术语“基本运动”可以包括运动出现在人的全身的“全身行为”、运动出现在人体的一部分的“部分行为”等。其中，“全身行为”的示例可以包括诸如“走”、“跑”、“停”等的行为。另外，“部分行为”的示例可以包括诸如“抬起右手”、“向下看”、“向前看”等的行为。这些“全身行为”和“部分行为”是日常生活中执行的“基本运动”，并且是比“较高级别行为”简单的行为。因此，可以容易地收集“基本运动”的图像，并且可以通过训练的模型来高度准确地识别“基本运动”。此外，“基本运动”可以包括诸如“持有对象”和“看到对象”的针对对象的运动以及诸如“身体部位进入图像中感兴趣区域即所谓的ROI(感兴趣区域)”的针对地点的运动。

根据图像的帧单位中的关节之间的位置关系被计算作为表示姿势的特征量的姿势特征量及其时间变化信息可以用于识别这样的“基本运动”。在下文中，将“姿势特征量”和“时间变化信息”统称为“运动特征量”。这里，作为示例，将特征量用于基本运动的识别，但是，也可以通过根据诸如深度学习的机器学习算法学习了基本运动的模型来实现基本运动的识别。

图2是示出确定条件数据的示例的图。如图2所示，确定条件数据4A针对作为用于标识基本运动的标识信息的示例的每个“基本运动ID(标识)”定义了两种类型的运动特征量(即，姿势特征量和时间变化信息)的确定条件。更具体地，确定条件数据4A采用其中针对每个基本运动ID将运动名称、运动类型和确定条件关联的数据。这里使用的术语“运动名称”是指基本运动的名称。此外，这里使用的术语“运动类型”是指对基本运动进行分类的类型，并且这里，仅作为示例，根据每个运动对应于“连续”和“瞬时”两种中的哪一种来对基本运动进行分类。例如，由“正在进行～”和“进行～”表示的情况“相同”的运动被分类为“连续”。另外，在“正在进行～”的情况下，表示情况的结束状态例如情况的结果或完成的运动被分类为“瞬时”。这样的分类使得能够进行“瞬时”基本运动的以下判别。例如，在以识别“蹲”的状态为目的情况下，确定姿势特征量是否满足确定条件，并且在识别“蹲”的姿势变化的情况下，可以确定时间变化信息是否满足确定条件。

例如，在图2所示的基本运动中，全身行为被作为示例。全身行为中运动类型被分类为“连续”的基本运动包括“走”和“跑”。例如，根据是否满足全身关节的位置对应于姿势“走”并且全身关节的位置的移动速度为4.0或更小的确定条件来识别基本运动“走”。当以这种方式使用多个关节的位置的移动速度时，可以使用诸如平均值、中值和众数值的统计值作为用于与阈值进行比较的代表值。另外，根据是否满足全身关节的位置对应于姿势“跑”并且全身关节的位置的移动速度超过4.0的确定条件来识别基本动作“跑”。

另外，全身行为中运动类型被分类为“瞬时”的基本运动包括“蹲”和“坐”。以基本运动“蹲”为例，当识别“蹲”的状态时，应用关于姿势特征量的确定条件。同时，当识别“蹲”的姿势变化时，应用关于时间变化信息的确定条件。例如，根据全身关节的位置是否对应于姿势“蹲”来识别“蹲”的状态。同时，根据是否存在全身的姿势特征量的状态变化来确定“蹲”的姿势变化。也就是说，根据全身关节的位置是否从全身关节的位置不对应于姿势“蹲”的状态变为全身关节的位置对应于姿势“蹲”的状态来识别“蹲”的姿势变化。

接下来，在图2所示的基本运动中，“向前伸展右手”和“向前伸展左手”被包括作为部分行为的示例。以基本动作“向前方伸展右手”为例，根据是否右肘的弯曲角度超过150度并且右腕的相对位置为“前方”来识别“向前伸展右手”的状态。另外，根据右肘的弯曲角度为150度或更小的状态或者右腕的相对位置不为“前方”的状态是否变化为右肘的弯曲角度超过150度的状态或者右腕的相对位置为“前方”的状态来识别“向前伸展右手”的姿势变化。

此外，在图2所示的基本运动中，“移动身体的上半部分”、“摆动腿部”、“环顾”和“徘徊”被包括作为部分行为的示例。例如，根据对身体的上半部分的姿势的变化量的阈值确定来识别基本运动“移动身体的上半部分”。另外，根据对身体的下半部分的姿势的变化量的阈值确定来识别基本运动“摆动腿部”。另外，根据对头的方向的变化量的阈值确定来识别基本运动“环顾”。另外，根据对移动方向的变化量的阈值确定来识别基本运动“徘徊”。

较高级别行为识别功能5是识别较高级别行为的功能。仅作为示例，较高级别行为识别功能5将基本运动的识别结果与规则7进行对照，并且在满足规则7时识别目标较高级别行为。

仅作为示例，规则7可以以IF-THEN格式(如果-则格式)定义与要识别的较高级别行为相对应的基本运动的组合。当以IF-THEN格式定义基本运动的组合时，可以采用诸如AND、OR等逻辑运算。例如，在描述“如果基本运动A&基本运动B则较高级别行为X”的情况下，当同时识别基本运动A和B时，基本运动A和B被识别为较高级别行为X。另外，可以采用链(chain)(也就是说，行为序列)作为基本运动的组合模式。例如，在描述“如果基本运动A→基本运动B则较高级别行为Y”的情况下，当在识别基本运动A之后识别基本运动B时，将这些系列行为识别为较高级别行为Y。

这里，在上述行为识别服务1中，规则7不仅可以通过系统定义来设置，而且可以通过用户定义来设置。例如，用户U可以通过用户U(例如提供行为识别服务1的商业侧的系统工程师或行为识别服务1的客户)对规则7进行编辑来定制规则7。

(行为识别服务的应用示例)

接下来，将描述根据该实施方式的行为识别服务1的应用示例。仅作为示例，将描述根据该实施方式的行为识别服务1被应用于对四种类型的工作(也就是说，在食品工厂的场所处执行的“分类工作”、“收集工作”、“空盘安装”和“盘运输”)的分析以及例如生产率和工作时间分解的呈现的情况。

图3是示出图像的示例的图。仅作为示例，图3示出了工人W1执行“分类工作”的情况的图像20。此外，在图3中，在执行“分类工作”的A工作台中设置的ROI和在执行“收集工作”和“空盘安装”的A盘中设置的ROI用粗线表示。如图3所示，在“分类工作”中，在将在载置有切好的洋葱的A工作台上诸如混入洋葱的皮(shell)等的垃圾移除之后洋葱被分类。接着，在“收集工作”中，将分类后的洋葱收集到空盘上的塑料袋中，直到重量测量仪器M1的测量值达到预定值。然后，在“空盘安装”中，将收集了洋葱的盘沿纵向方向堆叠，并且重新安装具有展开了塑料袋的空盘。然后，在“盘运输”中，将堆叠至预定级数的盘运输至预定的收集位置。

(问题的一个方面)

如背景技术部分中所述，作为识别对象的行为中可能存在大量变化。因此，可能难以在创建规则时不遗漏对目标行为的识别的情况下创建规则。

从描述以上问题的方面，将描述当“盘运输”被识别为目标较高级别行为时的识别遗漏的示例。图4是示出图像的示例的图。仅作为示例，图4示出了工人W1执行“盘运输”的情况的图像21。此外，在图4中，工人W1被识别为对象的区域例如边界框用粗线指示。例如，下面(R1)中示出的IF-THEN规则可以被描述为用于从图4中示出的图像21识别较高级别行为“盘运输”的规则的示例。

较高级别行为“盘运输”：如果基本动作“向前伸展双手”&基本运动“走”则行为＝“盘运输”……(R1)

然而，根据以上IF-THEN规则，当以诸如“肘部弯曲”、“用一只手”或“后退”的运动模式来运输盘时，可能不能将其识别为较高级别行为“盘运输”，并且发生识别遗漏。这是因为图3的图像21所示的运动模式也是“盘运输”的一个方面，而不是“盘运输”的全部，并且“盘运输”的运动模式可能存在许多变化。也就是说，“盘运输”的运动模式可能存在变化，例如“不伸展肘部”、“不使用双手”和“不向前移动”。由于难以在创建规则时涵盖所有这样的变型，因此可能难以在不遗漏识别的情况下创建规则。

(问题解决方法的一个方面)

因此，在根据该实施方式的行为识别服务1中，采用了其中(a)在操作期间检测较高级别行为的识别遗漏以及(b)更新用于将识别遗漏的运动模式识别为较高级别行为的规则的方法。

这里，作为规则的示例给出的IF-THEN规则具有高可读性的一个方面，因为它是通过基本运动的组合来描述的，但是它具有不适合(a)识别遗漏的检测和(b)规则更新的自动化的方面。

也就是说，作为将基本运动的识别结果与规则进行对照的结果，当由于小的差额(narrow margin)未被识别为较高级别行为的情况可以被认为是识别遗漏时，(a)可以实现识别遗漏的检测，但是利用IF-THEN规则可能难以评估这样的情况。例如，以较高级别行为“盘运输”的识别遗漏为例，可能难以定量地量化“伸展双手”和“仅伸展一只手”之间的差异，并且该差异取决于要识别的较高级别行为而不同。因此，在IF-THEN规则下实现(a)识别遗漏的检测可能是不现实的。

另外，由于用于将一个运动模式识别为较高级别行为的规则更新方法的数量不限于一个，而是可以存在许多规则更新方法，所以可能难以适当地确定(b)规则更新方法。例如，以较高级别行为“盘运输”的识别遗漏作为示例，可以存在通过更新取“伸展双手”或“伸展一只手”的逻辑和的规则来抑制识别遗漏的方法。另外，也可以存在通过更新将在识别基本运动中用于“伸展双手”的确定条件的阈值从150度放松的规则来抑制识别遗漏的方法。规则更新或两个规则更新中的哪一个是适当的可能不能仅由图3中所示的图像21来确定。

考虑到这一点，在根据该实施方式的行为识别服务1中，(a)识别遗漏的检测和(b)规则更新在特征量空间下实现。

上面的特征量空间可以如下创建。仅作为示例，针对要识别的每个较高级别行为，从与较高级别行为相对应的基本运动的组合中提取用于识别每个基本运动的运动特征量。例如，以四种类型的较高级别行为中的“盘运输”作为示例，如以上(R1)所示，从图2所示的确定条件数据4A中搜索用于识别基本运动“向前伸展双手”和基本运动“走”的运动特征量。作为结果，提取了“左肘和右肘的弯曲角度的最小值”和“移动速度”这两种类型的运动特征量。此时，可以通过“向前伸展双手”→“右肘弯曲角度”&“左肘弯曲角度”→“右肘弯曲角度”和“左肘弯曲角度”的最小值的逻辑运算来自动提取运动特征量“左肘和右肘的弯曲角度的最小值”。

以这种方式针对要识别的每个较高级别行为提取的运动特征量可以用于创建能够用矢量表示它们全部的特征量空间，但也可以不是全部的运动特征量都必须用于创建特征量空间。例如，也可以根据由决策树或线性判别分析表示的特征量选择算法来减少区分较高级别行为彼此的运动特征量。

在下面的说明中，仅作为示例，将描述其中“移动速度”和“身体的上半部分的姿势变化量”被选择为将四种类型的较高级别行为“分类工作”、“收集工作”、“空盘安装”、“盘运输”彼此进行区别的运动特征量的示例。此外，在下文中，在用于识别各种基本运动的运动特征量之中，被选择作为用于定义特征量空间的运动特征量的运动特征量可以被称为“所选特征量”。

在以这种方式创建的特征量空间中，针对四种类型的较高级别行为中的每一种，映射可以在预定特征量空间上观察到较高级别行为的范围，所述四种类型的较高级别行为为：“分类工作”、“收集工作”、“空盘安装”和“盘运输”。

这里，仅作为示例，可以通过使用在其中观察到较高级别行为的图像例如创建规则时参考的参考图像来使较高级别行为的观察范围的映射自动化。在这种情况下，提取在参考图像中观察到较高级别行为的部分(section)中计算的每个所选特征量的最大值和最小值。例如，当每10秒使用最后10秒的基本运动的识别结果来执行对较高级别行为的识别时，提取从识别较高级别行为时起的最后10秒中计算出的每个所选特征量的最大值和最小值。针对每个较高级别行为，将以这种方式提取的每个所选特征量的最大值和最小值作为边界的较高级别行为的观察范围映射到特征量空间上。

这样，通过将较高级别行为的观察范围映射到特征量空间上，可以将用于识别较高级别行为的规则从IF-THEN格式的描述转换为特征量空间上的运动特征量的描述。在下文中，定义IF-THEN格式的与要识别的较高级别行为相对应的基本运动的组合的规则不同于在特征量空间上定义较高级别行为的观察范围的映射区域的规则。从这个方面来看，前者可以被称为“第一规则”，而后者可以被称为“第二规则”。

在创建了这样的特征量空间的情况下，开始根据该实施方式的行为识别服务1的操作。根据该实施方式的行为识别服务1在特征量空间上绘制在识别操作期间的基本运动时计算的运动特征量中的所选特征量。然后，当操作期间的所选特征量的绘制位置未被包括在较高级别行为的观察范围的任何映射区域中时，根据该实施方式的行为识别服务1针对每个映射区域计算映射区域与绘制位置之间的距离。

这里，根据本实施方式的行为识别服务1确定最小距离与针对每个映射区域计算的距离中的其他距离的偏离程度是否满足预定标准。此时，当最小距离与其他距离的偏离程度满足预定标准时，清楚的是，操作期间的所选特征量的绘制位置足够接近较高级别行为的观察范围的映射区域中的仅一个映射区域并且足够远离其他映射区域。因此，由于操作期间的所选特征量的绘制位置很可能是由于小的差额未被识别为较高级别行为的识别遗漏的情况，因此可以实现对识别遗漏的检测。在这种情况下，根据该实施方式的行为识别服务1基于绘制位置来执行扩展与绘制位置的距离为最小距离的映射区域的更新。

图5是示出特征量空间的示例的图。仅作为示例，图5示出了二维特征量空间，该二维特征量空间包括所选特征量“移动速度”和所选特征量“身体的上半部分的姿势变化量”。此外，图5示出了“分类工作”、“收集工作”、“空盘安装”以及“盘运输”这四种类型的较高级别行为的观察范围被映射至的映射区域W1至W4以及在其上绘制操作期间的所选特征量的绘制位置P1。

如图5所示，当操作期间的所选特征量的绘制位置P1未被包括在较高级别行为的观察范围的映射区域W1至W4中的任一个中时，计算绘制位置P1与映射区域W1至W4中的每个映射区域之间的距离。在以这种方式计算四个距离之后，作为确定最小距离与其他距离的偏离程度是否满足预定标准的示例，可以根据下式(1)确定最小距离与距离和的比率是否小于预定阈值。

最小距离/Σ距离＜Th1……(1)

这里，仅作为距离的示例，将描述使用曼哈顿距离的示例。此外，仅作为示例，将采用绘制位置P1与映射区域W1至W4中的每个映射区域之间的距离具有以下值的情况作为示例。也就是说，假设绘制位置P1与映射区域W1之间的距离是“5.2”，并且绘制位置P1与映射区域W2之间的距离是“5.4”。此外，假设绘制位置P1与映射区域W3之间的距离是“0.1”，并且绘制位置P1与映射区域W4之间的距离是“7.3”。

P1与W1之间的距离＝5.2

P1与W2之间的距离＝5.4

P1与W3之间的距离＝0.1

P1与W4之间的距离＝7.3

在以上示例中，绘制位置P1与映射区域W3之间的距离“0.1”是最小距离。因此，在将每个距离代入上式(1)时，作为“0.1/(5.2+5.4+0.1+7.3)”的计算结果，计算出最小距离与距离和的比率为“0.0056”。然后，确定最小距离与距离和的比率“0.0056”是否小于预定阈值Th1。例如，当阈值Th1为“0.01”时，最小距离与距离和的比率“0.0056”小于阈值Th1“0.01”

基于这样的确定结果，结果是，操作期间的所选特征量的绘制位置P1足够接近较高级别行为“空盘安装”的观察范围的仅映射区域W3，并且足够远离其他映射区域W1、W2和W4。因此，可以识别出，操作期间的所选特征量的绘制位置P1可能是由于小的差额未被识别为较高级别行为“空盘安装”的识别遗漏的情况。在这种情况下，根据该实施方式的行为识别服务1基于绘制位置P1更新扩展距绘制位置P1为最小距离的映射区域W3的第二规则。

图6是示出更新第二规则的方法的示例的示意图。在图6中，从映射到特征量空间上的四个映射区域中提取较高级别行为“空盘安装”的观察范围的映射区域W3。此外，在图6中，操作期间的所选特征量的绘制位置P1由x标记指示。在这种情况下，除了较高级别行为“空盘安装”的观察范围的映射区域W3之外，较高级别行为“空盘安装”的映射区域被扩展成图6所示的填充区域。也就是说，扩展了距操作期间的所选特征量的绘制位置P1曼哈顿距离“0.1”内的对应三角形区域。通过这样的扩展，实现了上面的(b)规则更新。

如上所述，当在操作期间运动特征量的绘制位置接近其中较高级别行为的观察范围被映射到特征量空间的区域中的任一个时，根据该实施方式的行为识别服务1基于绘制位置来扩展邻近区域。因此，根据本实施方式的行为识别服务1可以根据操作来更新规则。

(行为识别装置的功能配置)

图7是示出根据第一实施方式的行为识别装置10的功能配置的示例的框图。图7中所示的行为识别装置10对应于提供上述行为识别服务1的计算机(信息处理装置)的示例。

通过在任意计算机上安装实现上述行为识别服务1的行为识别程序，行为识别装置10可以被实现为软件包或在线软件。例如，行为识别装置10可以被实现为SaaS(软件即服务)类型的应用以将行为识别服务1提供作为云服务。不限于此，行为识别装置10可以被实现为提供与本地的行为识别服务1相对应的功能的服务器。

此外，如图7所示，与成像装置的示例相对应的摄像机2可以连接至行为识别装置10。行为识别装置10和摄像机2可以经由任意网络可通信地彼此连接。例如，网络可以是任何种类的通信网络，例如因特网或LAN(局域网)，而不管其是有线还是无线的。另外，在图1和图7中，为了便于描述，将一个摄像机2连接至一个行为识别装置10，但是可以将多个摄像机2连接至一个行为识别装置10。

如图7所示，行为识别装置10包括图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15、第一规则存储单元16A、参考图像存储单元16B、第二规则存储单元17和较高级别行为识别单元18。除了图7所示的功能单元之外，行为识别装置10还可以包括已知计算机的各种功能单元，例如与输入/输出接口、通信接口等相对应的功能。

图7中所示的诸如图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15和较高级别行为识别单元18的功能单元实际上由诸如CPU(中央处理单元)、MPU(微处理单元)等的硬件处理器来实现。也就是说，处理器从诸如HDD(硬盘驱动器)、光盘、SSD(固态驱动器)等的存储装置(未示出)读出除了OS(操作系统)之外的程序等例如封装了上述行为识别服务1的这样的行为识别程序。然后，处理器执行行为识别程序以在诸如RAM(随机存取存储器)等的存储器上部署与上述功能单元相对应的处理。作为以这种方式执行上述行为识别程序的结果，上述功能单元实际上被实现为处理。这里，CPU和MPU被示为处理器的示例，但是上述功能单元可以由任意处理器实现，而不管通用类型或专用类型。另外，上述功能单元中的全部或一些可以由诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)等的硬连线逻辑来实现。

诸如第一规则存储单元16A、参考图像存储单元16B和第二规则存储单元17的存储单元可以被实现为诸如HDD、光盘或SSD的辅助存储装置，或者可以通过分配辅助存储装置的存储区域的一部分来实现。

图像获取单元11是获取图像的处理单元。作为实施方式，图像获取单元11可以以帧为单位获取从摄像机2传送的图像。这里，图像获取单元11从其获取图像的信息源不限于摄像机2，而可以是任何信息源。例如，图像获取单元11可以从诸如硬盘、光盘等用于存储图像的辅助存储装置或者诸如存储卡、USB(通用串行总线)存储器等用于存储图像的可移动介质获取图像。另外，图像获取单元11还可以经由网络NW从除了摄像机2之外的外部装置获取图像。

对象识别单元13是从图像识别对象的处理单元。对象识别单元13可以对应于提取单元的示例。对象识别单元13可以对应于图1中所示的对象识别功能3。作为实施方式，对象识别单元13针对由图像获取单元11获取的图像的每一帧识别对象。这样的对象识别可以通过根据诸如深度学习的机器学习算法学习了对象的模型来实现。然后，对象识别功能3通过对对象执行被称为骨架检测或姿势检测(姿势估计)的处理来提取包括每个关节的位置的骨架信息(例如二维或三维坐标)。

基本动作识别单元14是从每帧的骨架信息识别基本运动的处理单元。这里，基本运动识别单元14可以对应于图1中所示的基本运动识别功能4，但是可以不提供所有的基本运动识别功能4。也就是说，在根据该实施方式的行为识别服务1中，可以基于在第二规则中定义的特征量空间上的映射区域来识别较高级别行为，而不基于在第一规则中定义的IF-THEN格式的规则来识别较高级别行为。根据该方面，基本运动识别单元14可以针对由图像获取单元11获取的图像的每一帧计算运动特征量。基本运动识别单元14可以对应于计算单元的示例。

作为实施方式，基本运动识别单元14可以根据图像获取单元11获取图像的最近的帧中的每个关节的位置来计算姿势特征量作为以上运动特征量之一。此外，基本动作识别单元14根据从最近的帧起追溯预定帧数或预定时段而得到的姿势特征量的时间序列数据来计算时间变化信息。此时，仅作为示例，基本运动识别单元14可以计算与图2的确定条件数据2A中示出的所有基本运动相关的运动特征量，但是不必计算与所有基本运动相关的运动特征量。例如，基本运动识别单元14可以通过减少与用于识别第一规则中定义的较高级别行为的基本运动相关的运动特征量或者第二规则中定义特征量空间时使用的所选特征量来计算特征运动量。

规则转换单元15是将第一规则转换为第二规则的处理单元。仅作为示例，可以在根据该实施方式的行为识别服务1的操作开始之前执行规则转换单元15的规则转换，但是也可以在操作开始之后执行。如图7所示，规则转换单元15具有选择单元15A和映射单元15B。

选择单元15A是选择用于定义特征量空间的运动特征量(也就是说，上面提到的所选特征量)的处理单元。作为实施方式，选择单元15A参考存储在第一规则存储单元16A中的第一规则。第一规则存储单元16A存储定义了IF-THEN格式的与要识别的较高级别行为相对应的基本运动的组合的第一规则，例如图1中所示的规则7。通过参考这样的第一规则存储单元16A，选择单元15A针对要识别的每个较高级别行为从与较高级别行为相对应的基本运动的组合中提取用于识别每个基本运动的运动特征量。例如，以四种类型的较高级别行为中的“盘运输”作为示例，如以上(R1)所示，从图2所示的确定条件数据4A中搜索用于识别基本运动“向前伸展双手”和基本运动“走”的运动特征量。由此，提取了“左肘和右肘的弯曲角度的最小值”和“移动速度”这两种运动特征量。此时，通过“向前伸展双手”→“右肘弯曲角度”&“左肘弯曲角度”→“右肘弯曲角度”和“左肘弯曲角度”的最小值的逻辑运算来自动地提取运动特征量“左肘和左肘的弯曲角度的最小值”。

以这种方式针对要识别的每个较高级别行为提取的所有运动特征量可以用于定义特征量空间，但不一定使用所有类型的运动特征量来创建特征量空间，而是可以将所有类型的运动特征量缩减到一部分。

仅作为示例，选择单元15A从针对要识别的每个较高级别行为提取的运动特征量中根据由决策树分析或线性判别分析表示的特征量选择算法来选择可以将较高级别行为彼此进行区别的运动特征量。例如，在决策树分析的情况下，使用存储在参考图像存储单元16B中的参考图像。在参考图像存储单元16B中存储针对要识别的每个较高级别行为在其中观察到较高级别行为的参考图像。通过将以这种方式针对要识别的每个较高级别行为准备的参考图像作为根节点，并且重复选择划分节点的运动特征量的特性和阈值，生成将参考图像分类为较高级别行为的标记的决策树。通过划分决策树的分支中的节点而选择的特征的运动特征量可以用作所选特征量。

映射单元15B是将针对要识别的每个较高级别行为可以在其中观察到较高级行别为的范围映射到由选择单元15A选择的所选特征量定义的特征量空间上的处理单元。

这里，仅作为示例，可以通过使用存储在参考图像存储单元16B中的参考图像来使较高级别行为的观察范围的映射自动化。在这样的参考图像中，提取在观察到较高级别行为的部分中计算的每个所选特征量的最大值和最小值。例如，当每10秒使用最后10秒的基本运动的识别结果执行对较高级别行为的识别时，提取从识别较高级别行为时起的最后10秒中计算出的每个所选特征量的最大值和最小值。针对每个较高级别行为，将以这种方式提取的每个所选特征量的最大值和最小值作为边界的较高级别行为的观察范围映射到特征量空间上。

作为结果，可以将定义了IF-THEN格式的与要识别的较高级别行为相对应的基本运动的组合的第一规则转换成定义了较高级别行为的观察范围到特征量空间上的映射区域的第二规则。以这种方式，将针对每个较高级别行为将较高级别行为的观察范围映射到特征量空间的映射区域作为第二规则存储在第二规则存储单元17中。例如，第二规则可以由针对每个映射区域形成映射区域的边界线的顶点的坐标来定义。

图8是示出第二规则的示例的图。图8示出了其中定义在包括所选特征“移动速度”和“身体的上半部分的姿势变化”的二维特征量空间上对应于四种类型的较高级别行为的观察范围的映射区域W1至W4作为第二规则的示例，所述四种类型的较高级别行为为：“分类工作”、“收集工作”、“空盘安装”和“盘运输”。此外，图8示出了通过从左下顶点开始逆时针枚举与四种类型的较高级别行为的观察范围相对应的映射区域W1至W4中的顶点的坐标来定义第二规则的示例。

如图8所示，较高级别行为“分类工作”的映射区域W1由左下顶点(0.2，0)、右下顶点(1，0)、右上顶点(1，0.05)和左上顶点(0.2，0.05)限定。较高级别行为“收集工作”的映射区域W2由左下顶点(2，7)、右下顶点(2.8，7)、右上顶点(2.8，8.2)和左上顶点(2，8.2)限定。较高级别行为“空盘安装”的映射区域W3由左下顶点(1.1，4.2)、右下顶点(1.8，4.2)、右上顶点(1.8，5.2)和左上顶点(1.1，5.2)限定。较高级别行为“盘运输”的映射区域W4由左下顶点(0.01，0.81)、右下顶点(0.3，0.81)、右上顶点(0.3，1.1)和左上顶点(0.01，1.1)限定。

图8示出了特征量空间是二维的示例，仅作为示例，但并不限于此，特征量空间的维数可以是任意的。例如，当特征量空间是三维或更多时，映射区域的边界面可以由多边形来限定。这使得可以将n维特征量空间中的任意子区域表示为多边形。

此外，这里，已经描述了使用参考图像执行较高级别行为的观察范围的映射的示例，但是不限于此，可以通过用户设置执行较高级别行为的观察范围的映射。在这种情况下，作为用户设置的指导，还可以从图2的确定条件数据4A中搜索并显示与在针对要识别的每个较高级别行为与较高级别行为相对应的规则中定义的用于识别基本运动的运动特征量中所选特征量有关的确定条件例如阈值。

较高级别行为识别单元18是识别较高级别行为的处理单元。如图7所示，较高级别行为识别单元18还包括规则对照单元18A、规则更新单元18B和识别结果输出单元18C。

规则对照单元18A是将由基本运动识别单元14计算的所选特征量与存储在第二规则存储单元17中的第二规则进行对照的处理单元。作为实施方式，规则对照单元18A确定由基本运动识别单元14计算的所选特征量的绘制位置是否被包括在作为第二规则存储在第二规则存储单元17中的任何映射区域中。在下文中，从与可以在操作开始之前定义的第二规则进行比较的方面，由基本运动识别单元14计算的所选特征量可以被称为“操作期间的所选特征量”。此时，当操作期间的所选特征量的绘制位置被包括在任何映射区域中时，发现没有识别遗漏。同时，当操作期间的所选特征量的绘制位置未被包括在任何映射区域中时，存在用于识别遗漏的空间。

规则更新单元18B是更新存储在第二规则存储单元17中的第二规则的处理单元。作为实施方式，当操作期间的所选特征量的绘制位置未被包括在任何映射区域中时，规则更新单元18B针对每个映射区域计算映射区域与绘制位置之间的距离。在以这种方式计算四个距离之后，作为确定最小距离与其他距离的偏离程度是否满足预定标准的示例，可以根据上式(1)确定最小距离与距离和的比率是否小于预定阈值。

这里，当最小距离与其他距离的偏离程度满足预定标准时，清楚的是，操作期间的所选特征量的绘制位置足够接近较高级别行为的观察范围的映射区域中的仅一个，并且足够远离其他映射区域。在这种情况下，由于操作期间的所选特征量的绘制位置很可能是由于小的差额未被识别为较高级别行为的识别遗漏的情况，因此将其识别为识别遗漏。同时，当最小距离与其他距离的偏离程度不满足预定标准时，清楚的是，在操作期间所选特征的绘制位置不足够接近较高级别行为的观察范围的映射区域中的仅一个。在这种情况下，可以识别出运动模式不对应于任何较高级别行为并且不是识别遗漏。

这里，当最小距离和绘制位置与每个映射区域之间的距离和的比率小于阈值时，规则更新单元18B基于绘制位置执行扩展距绘制位置的距离为最小距离的映射区域的更新。

图9是示出第二规则的另一示例的图。图9示出了其中针对图8所示的第二规则中定义的映射区域W1至W4中的较高级别行为“空盘安装”的观察范围的映射区域W3执行图6所示的扩展的示例。如图6所示，当扩展了在距操作期间的所选特征量的绘制位置P1曼哈顿距离“0.1”内的对应三角形区域时，图8所示的第二规则被更新为图9所示的第二规则。更具体地，将与图6所示的三角形区域相对应的每个顶点的坐标添加到较高级别行为“空盘安装”的映射区域W3。也就是说，如图9中的阴影所指示的，将三角形顶点的坐标(1.5，4.2)、(1.6，4.1)和(1.7，4.2)添加到定义较高级别行为“空盘安装”的映射区域W3的顶点中。

作为结果，可以实现不仅包括与操作期间的所选特征量的绘制位置P1(1.6，4.1)相对应的运动模式的扩展，而且包括在新的映射区域中比绘制位置P1更靠近映射区域W3的运动模式的变化的扩展。此外，当曼哈顿距离用于规则更新时，由于可以由多边形定义不仅在二维特征量空间中而且在三维或更多维特征量空间中扩展映射区域的区域的边界面，因此可以增强第二规则的描述的可扩展性。

识别结果输出单元18C是输出较高级别行为的识别结果的处理单元。作为一方面，当操作期间的所选特征量的绘制位置被包括在任何映射区域中时，识别结果输出单元18C输出与包括绘制位置的映射区域相对应的较高级别行为的标记作为识别结果。作为另一方面，当最小距离和绘制位置与每个映射区域之间的距离和的比率等于或大于上述阈值时，识别结果输出单元18C不输出任何较高级别行为的标记。作为另一方面，当最小距离和绘制位置与每个映射区域之间的距离和的比率小于上述阈值时，识别结果输出单元18C输出与距绘制位置的距离为最小距离的映射区域相对应的较高级别行为的标记作为识别结果。

可以将以上较高级别行为的识别结果输出到任何输出目的地。这里所指的“输出目的地”可以是任何硬件或软件。例如，可以根据较高级别行为的识别结果将较高级别行为的识别结果输出到执行任何后端处理(例如，工作效率的分析处理)的服务或功能。另外，也可以将较高级别行为的识别结果通知给行为识别服务1的用户U设置的显示装置、声音输出装置、信息处理装置、移动终端装置等。通知形式可以是诸如Web、电子邮件等任意形式。

(利用较高级别行为的识别结果的示例)

将参照图10和图11描述利用较高级别行为的识别结果的示例。图10和图11是示出分析结果的示例的图。图10和图11表示针对六个工人“ID0001”至“ID0006”中的每一个在食品工厂的场所处执行的“分类工作”、“收集工作”、“空盘安装”和“盘运输”这四种类型的较高级别行为的识别结果的分析结果。图10表示作为使用这四种类型的较高级别行为的识别结果的分析的示例的、对生产率例如每单位时间处理的盘的数量进行分析的结果。此外，图11表示作为使用这四种类型的较高级别行为的识别结果的分析的示例的、对与每种较高级别行为相对应的工作时间的分解进行分析的结果。

图10和图11中表示的分析结果可以输出到由行为识别服务1的用户U设置的任何终端装置。例如，可以呈现负责工作台B的工人ID0003和ID0004的生产率高的发现，这是由于盘运输工作和收集工作的比例低而引起的。同时，可以呈现空盘安装的比例也高的发现，这是大量分类工作的结果。此外，负责工作台C的工人ID0005与ID0006之间的生产率差异是由于收集工作的效率，并且工人ID0005在收集工作中比其他工人花费更长的时间，这可能暗示在该工作期间可能存在一些浪费。基于图10和图11中表示的分析结果，可以向行为识别服务1的用户U和其他相关方呈现有助于提高生产率的发现。

(处理流程)

接下来，将描述根据该实施方式的行为识别装置10的处理流程。这里，将描述(1)由行为识别装置10执行的规则转换处理，然后将描述(2)规则更新处理。

(1)规则转换处理

图12是示出根据第一实施方式的规则转换处理的过程的流程图。仅作为示例，该处理可以在根据该实施方式的行为识别服务1的操作开始之前的任何时刻执行，例如，在保存第一规则和参考图像之后执行，但是也可以在操作开始之后执行。

如图12所示，选择单元15A参考存储在第一规则存储单元16A中的第一规则以针对要识别的每个较高级别行为从与较高级别行为相对应的基本运动的组合中提取用于识别每个基本运动的运动特征量(步骤S101)。

随后，选择单元15A根据由决策树分析或线性判别分析表示的特征量选择算法在步骤S101中针对要识别的每个较高级别行为提取的运动特征量中选择能够将较高级别行为彼此区分开的运动特征量(步骤S102)。

然后，映射单元15B针对每个较高级别行为提取在参考图像存储单元16B中存储的参考图像的识别出较高级别行为的部分中观察到的每个所选特征量的最大值和最小值(步骤S103)。

然后，映射单元15B针对每个较高级别行为将以在步骤S103中提取的每个所选特征量的最大值和最小值作为边界的较高级别行为的观察范围映射到由在步骤S102中获得的所选特征量所定义的特征量空间上(步骤S104)。

然后，映射单元15B将针对每个较高级别行为将较高级别行为的观察范围映射到特征量空间的映射区域保存在第二规则存储单元17中作为第二规则(步骤S105)，并结束处理。

(2)规则更新处理

图13是示出根据第一实施方式的规则更新处理的过程的流程图。可以在操作期间以预定周期(例如每10秒)重复执行该处理。如图13所示，图像获取单元11从摄像机2等获取图像帧(步骤S301)。然后，对象识别单元13通过检测从在步骤S301中获取的图像中识别的对象的骨架来提取包括每个关节的位置的骨架信息(步骤S302)。

随后，基本动作识别单元14通过根据在步骤S301中获取的最近的帧中的每个关节的位置计算姿势特征量并且同时根据通过从最近的帧追溯预定时段(例如，10秒)而获得的姿势特征量的时间序列数据计算时间变化信息来计算所选特征量(步骤S303)。

然后，规则对照单元18A确定在步骤S303中计算出的所选特征量的绘制位置是否包括在作为第二规则存储在第二规则存储单元17中的任何映射区域中(步骤S304)。

这里，当确定操作期间的所选特征量的绘制位置未被包括在任何映射区域中时(步骤S304中为否)，规则更新单元18B执行以下处理。也就是说，规则更新单元18B确定最小距离和绘制位置与每个映射区域之间的距离和的比率是否小于预定阈值(步骤S305)。

此时，当确定最小距离和绘制位置与每个映射区域之间的距离和的比率小于阈值时(步骤S305中为是)，规则更新单元18B基于绘制位置执行扩展距绘制位置的距离为最小距离的映射区域的更新(步骤S306)。在这种情况下，识别结果输出单元18C输出与距绘制位置的距离为最小距离的映射区域相对应的较高级别行为的标记作为识别结果(步骤S307)，并且结束处理。

同时，当确定最小距离和绘制位置与每个映射区域之间的距离和的比率不小于阈值时(步骤S305中为否)，不输出任何较高级别行为的标记，并且处理结束。

此外，当确定操作期间的所选特征量的绘制位置被包括在任何映射区域中时(步骤S304中为是)，识别结果输出单元18C输出与包括绘制位置的映射区域相对应的较高级别行为的标记作为结果识别(步骤S307)，并且处理结束。

(效果方面)

如上所述，当在操作期间运动特征量的绘制位置接近较高级别行为的观察范围被映射到特征量空间上的区域中的任一个时，根据该实施方式的行为识别装置10基于绘制位置来扩展附近区域。因此，根据该实施方式的行动识别装置10，可以实现根据操作来更新规则。

(第二实施方式)

虽然已经描述了根据本公开内容的装置的实施方式，但是本公开内容可以以除了上述实施方式之外的各种不同形式来实现。因此，下面将描述本公开内容中包括的另一实施方式。

(稳定器处理)

较高级别行为的识别结果可以包括不与任何较高级别行为相对应的标记“无输出”。例如，行为识别装置10还可以具有校正单元，校正单元根据下面的规则校正上面的标记“无输出”。例如，校正单元比较在标记“无输出”之前和之后的定时输出的标记。作为结果，当之前和之后的定时的标记相同时，很可能在与标记“无输出”相对应的相同定时执行了与之前和之后的定时的标记相同的较高级别行为。在这种情况下，校正单元将标记“无输出”校正为与之前和之后的定时输出的标记相同的标记。此外，在之前和之后的定时的标记不同的情况下，很有可能是切换工作的时刻。在这种情况下，校正单元将标记“无输出”校正为包含在之前和之后的定时输出的标记的预定比例的特殊标记。

图14是示出较高级别行为的识别结果的校正示例的图。图14示出了从任意开始时间到获得较高级别行为的识别结果的时间所经过的每个时间的较高级别行为的识别结果。此外，图14示出了当每10秒基于从最近10秒的图像计算的所选特征量识别较高级别行为时的识别结果的示例。此外，图14示出了其中指示较高级别行为的标记的字符串的第一字符被描述为较高级别行为的识别结果的示例。例如，“分类”指分类工作，“收集”指收集工作，“空盘”指空盘安装，以及“运输”指运输工作。

如图14所示，较高级别行为的识别结果包括在60秒、170秒和250秒处的三个标记“无输出”。例如，当校正60秒标记时，将50秒标记“Sort”与70秒标记“Sort”进行比较。在这种情况下，由于两个标记相同，因此将60秒标记从“无输出”校正为“Sort”。当校正170秒标记时，将160秒标记“Sort”与180秒标记“Col”进行比较。在这种情况下，两个标记不同。因此，将170秒标记从“无输出”校正为均匀地包括160秒标记“Sort”和180秒标记“Col”的特殊标记“Sort/Col”。此外，当校正250秒标记时，将240秒标记“Tran”与260秒标记“Tran”进行比较。在这种情况下，由于两个标记相同，因此将250秒标记从“无输出”校正为“Tran”。通过这样的校正，可以抑制各种分析过程的精度降低，例如图10所示的生产率分析和图11所示的工作分解分析。

除了能够均匀地设置在之前和之后的定时输出的标记的比例之外，还可以基于在输出标记“不输出”的定时计算的所选特征量的绘制位置和到与之前和之后的定时的标记相对应的映射区域的距离来确定该比例。在这种情况下，随着距离变小，比例被设置得越高，而随着距离变大，比例被设置得越低。例如，将描述以到与在标记“无输出”之前的定时输出的第一标记相对应的映射区域的第一距离和到与在标记“无输出”之后的定时输出的第二标记相对应的映射区域的第二距离之间的比率为4:1作为示例的情况。在这种情况下，通过交换第一距离与第二距离之间的比率，第一标记的比例可以被设置成“0.2”，并且第二标记的比例可以被设置成“0.8”。

(分布和集成)

此外，图中所示的每个装置的每个部件不一定需要如所示的那样被物理地配置。也就是说，各个部件的分布或集成的具体形式不限于所示出的那些，并且部件中的全部或一些可以被配置成根据例如各种负载或使用条件在功能上或物理上分布或集成在任意单元中。例如，图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15或较高级别行为识别单元18可以作为行为识别装置10的外部装置经由网络连接。此外，其他单独的装置可以分别包括图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15和较高级别行为识别单元18，它们联网以彼此协作来实现以上行为识别装置10的功能。此外，其他单独的装置可以分别包括存储在第一规则存储单元16A、参考图像存储单元16B和第二规则存储单元17中的第一规则、参考图像和第二规则中的全部或一些，它们联网以彼此协作来实现以上行为识别装置10的功能。

(行为识别程序)

此外，可以通过在诸如个人计算机或工作站的计算机上执行准备好的程序来实现以上实施方式中描述的各种处理。因此，下面将参照图15描述执行具有与第一实施方式和第二实施方式的功能相同的功能的行为识别程序的计算机的示例。

图15是示出计算机硬件配置的示例的图。如图15所示，计算机(信息处理装置)100包括操作单元110a、扬声器110b、摄像机110c、显示器120和通信单元130。此外，计算机100具有CPU 150、ROM 160、HDD 170和RAM 180。这些部件110至180经由总线140互连。

如图15所示，HDD 170存储行为识别程序170a以呈现与第一实施方式中所示的图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15和较高级别行为识别单元18相同的功能。行为识别程序170a可以与图7所示的图像获取单元11、对象识别单元13、基本运动识别单元14、规则转换单元15和较高级别行为识别单元18的组成元件类似地被集成或分离。也就是说，不是第一实施方式中所示的所有数据都可以存储在HDD 170中，并且用于处理的数据可以存储在HDD 170中。

在这样的环境下，CPU 150从HDD 170读取行为识别程序170a，并将行为识别程序170a部署在RAM 180上。作为结果，行为识别程序170a用作如图15所示的行为识别处理180a。行为识别处理180a将从HDD 170读取的各种数据部署在RAM 180的存储区域中的分配给行为识别处理180a的区域中，并使用所部署的各种数据执行各种处理。例如，作为由行为识别处理180a执行的处理的示例，包括图12和图13中所示的处理。另外，在CPU 150中，不是第一实施方式中所示的所有处理单元都需要操作，并且实际上可以实现与要执行的处理相对应的处理单元。

此外，行为识别程序170a可以不必从一开始就存储在HDD 170或ROM 160中。例如，行为识别程序170a存储在插入计算机100中的“便携式物理介质”例如软盘(FD)、CD-ROM、DVD盘、磁光盘、IC卡等中。然后，计算机100可以从这些便携式物理介质获取并执行行为识别程序170a。此外，行为识别程序170a可以存储在经由公共线路、因特网、LAN、WAN等连接至计算机100的另一计算机或服务器装置中，并且计算机100可以从其获取并执行行为识别程序170a。