动作分析装置、动作分析方法及动作分析程序

摘要

本发明提供一种动作分析装置等，可将表示特定类型的动作者的动作的数据用作学习数据，识别其他类型的动作者的动作状态。动作分析装置10包括：学习部14，以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；计算部15，算出将第二动作数据输入至学习模型时从学习模型输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作；以及输出部16，输出基于差异而确定的信息。

说明书

技术领域

本发明涉及一种动作分析装置、动作分析方法及动作分析程序。

背景技术

以往，有时利用摄像机来拍摄在制品的制造线等中进行作业的作业者的动作，利用运动捕捉器来测定动作或分析作业者的动作。

例如，下述专利文献1中记载了一种技能学会支持系统，将传感器佩戴于示范者及利用者的身体，将和示范者的动作有关的图表与和利用者的动作有关的图表进行比较，由此检测利用者的动作相对于示范者的动作的差异。

而且，下述专利文献2中记载了一种技能提升支持装置，将记录了成为示教例的理想动作的记号串、与成为支持对象的动作的记号串进行比较并检测差异，输出与差异对应的支持信息。

进而，下述非专利文献1中记载了下述结果：使用平衡板(balance board)来推定关节的弯曲角度，研究初学者与熟练者在提起重量物时的关节的弯曲角度如何不同。

而且，下述非专利文献2中记载了下述研究的结果：对表示初学者的动作的时间序列数据、及表示熟练者的动作的时间序列数据进行扩展奇异谱转换，求出动作变化点列，检测初学者与熟练者的动作的差异。

现有技术文献

专利文献

专利文献1：日本专利第5757482号

专利文献2：日本专利第3747800号

非专利文献

非专利文献1：渡边总一朗(Soichiro Watanabe)等9人，《初学者与熟练者在举起重物时的人体姿势的不同(A difference of human posture between beginner andexpert during lifting a heavy load)》，2014第七届生物医学技术国际学术会议(The7th 2014Biomedical Engineering International Conference)

非专利文献2；中西弘明等3人，《以动作示教为目的的使用奇异值分解的动作解析法》，第28次模糊系统研讨会(28th Fuzzy System Symposium)(名古屋(Nagoya)，September 12-14，2012)

发明内容

发明所要解决的问题

所述的现有技术文献所记载的技术中，将表示初学者的动作的数据及表示熟练者的动作的数据比对，识别其差异。因此，为了进行现有技术文献所记载的分析，而生成识别器，此识别器预先收集表示初学者的动作的数据及表示熟练者的动作的数据两者，识别其差异。

但是，表示多个类型的动作者的动作的数据未必可收集充分量，有时即便可收集充分量的、表示特定类型的动作者的动作的数据，也无法收集充分量的、表示其他类型的动作者的动作的数据。

因此，本发明提供一种动作分析装置、动作分析方法及动作分析程序，可将表示特定类型的动作者的动作的数据用作学习数据，识别其他类型的动作者的动作状态。

解决问题的技术手段

本公开的一实施例的动作分析装置包括：学习部，以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；计算部，算出将第二动作数据输入至学习模型时从学习模型输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作；以及输出部，输出基于差异而确定的信息。

根据所述实施例，将表示由第一类型的动作者所执行的规定动作的第一动作数据用作学习数据，以输出再现第一动作数据的预测数据的方式使学习模型进行学习，由此即便表示由第二类型的动作者所执行的规定动作的第二动作数据相对较少，也可通过学习模型来识别特定类型的动作者的动作状态。

所述实施例中，输出部也可输出差异持续规定的期间以上大于阈值的、第二动作数据的区间。

根据所述实施例，输出将第二动作数据输入至学习模型时从学习模型输出的预测数据持续偏离第二动作数据的区间，由此可降低噪声的影响，识别第二类型的动作者特有的动作状态。

所述实施例中，输出部也可输出差异持续规定的期间以上小于阈值的、第二动作数据的区间。

根据所述实施例，输出将第二动作数据输入至学习模型时从学习模型输出的预测数据持续不偏离第二动作数据的区间，由此可降低噪声的影响，识别第一类型的动作者及第二类型动作者共同的动作状态。

所述实施例中，输出部也可输出第二动作数据中与区间对应的部分。

根据所述实施例，可容易地确认与所输出的区间对应的动作者的动作，可更顺畅地进行动作的解析。

所述实施例中，计算部可通过和第一动作数据有关的预测数据、与第一动作数据之差的平方来算出差异数据，基于差异数据的平均及标准偏差而算出阈值。

根据所述实施例，基于差异数据的平均及标准偏差而算出阈值，由此可设定适当的阈值，可更高精度地进行区间的提取。

所述实施例中，学习模型也可包含将神经网络用于编码器及解码器的自动编码器。

根据所述实施例，可生成自动编码器，此自动编码器通过神经网络将第一动作数据所含的多个图案编码，并将所得的特征量解码而再现第一动作数据。

所述实施例中，第二类型的动作者也可为与第一类型的动作者不同的人物，第二类型的动作者与第一类型的动作者相比较，规定动作的熟练度、年龄、身体特征及性别的至少任一个不同。

根据所述实施例，可针对规定动作的熟练度、年龄、身体特征及性别的至少任一个与第一类型的动作者不同的第二类型的动作者，识别第二类型的动作者特有的动作状态。

所述实施例中，第二类型的动作者也可为与第一类型的动作者相同的人物，且第二动作数据是在与第一动作数据不同时间测定。

根据所述实施例，可将表示由某个动作者所执行的规定动作的第一动作数据累积而生成学习模型，识别此动作者的动作随着时间经过如何变化。

本公开的另一实施例的动作分析方法包括：以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；算出将第二动作数据输入至学习模型时从学习模型输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作；以及输出基于差异而确定的信息。

本公开的另一实施例的动作分析程序使一个或多个计算机执行：以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；算出将第二动作数据输入至学习模型时从学习模型输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作；以及输出基于差异所确定的信息。

发明的效果

根据本发明，可提供一种动作分析装置、动作分析方法及动作分析程序，可将表示特定类型的动作者的动作的数据用作学习数据，识别其他类型的动作者的动作状态。

附图说明

[图1]为表示本发明的实施方式的动作分析系统的概要的图。

[图2]为表示本实施方式的动作分析系统的功能块的图。

[图3]为表示本实施方式的动作分析装置的物理结构的图。

[图4]为将由本实施方式的动作分析装置进行分析的初学者及熟练者的动作的种类汇总的表。

[图5]为表示本实施方式的动作分析装置的学习模型的一例的图。

[图6]为表示用于本实施方式的动作分析装置的学习模型的学习的、第一动作数据及第一预测数据的一例的图。

[图7]为表示用于本实施方式的动作分析装置的学习模型的学习的、第一差异数据的一例的图。

[图8]为表示由本实施方式的动作分析装置进行分析的第二动作数据及第二预测数据的一例的图。

[图9]为表示由本实施方式的动作分析装置进行分析的第二差异数据的一例的图。

[图10]为将由本实施方式的动作分析装置进行分析的第二差异数据中的一部分放大表示的图。

[图11]为由本实施方式的动作分析系统执行的动作分析处理的流程图。

具体实施方式

以下，基于附图对本发明的一侧面的实施方式(以下表述为“本实施方式”)进行说明。另外，各图中标注相同符号的部分具有相同或同样的结构。

§1适用例

首先，使用图1对适用本发明的场景的一例进行说明。本实施方式的动作分析系统100包括：第一摄影部20a、第二摄影部20b及第三摄影部20c，拍摄表示在某个作业区域R中执行的作业者的动作的视频。本示例的作业区域R为包含整个制造线的区域，但作业区域R可为任意区域，例如可为进行规定工序的区域，或为进行规定的要素动作的区域。此处，所谓要素动作，为由作业者执行的一单位的动作，例如包含零件的抓取(picking)、零件的配置、零件的固定、制品的捆包等动作。本实施方式中，在作业区域R中进行三个工序，第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄执行规定工序的作业者的手头的视频。

本示例中，对第一作业者A1及第二作业者A2在作业区域R中进行预定动作的情况进行说明。第一作业者A1例如可执行第一零件的抓取、配置、固定等动作，第二作业者A2例如可执行第二零件的抓取、配置、固定等动作。以下，将第一作业者A1及第二作业者A2统称而记载为作业者A。

动作分析系统100包含动作分析装置10。动作分析装置10以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作。此处，动作数据为表示由动作者所执行的规定动作的任意数据。例如，在动作者为作业者A的情况下，动作数据可为表示作业者A的动作的视频，或为对视频进行解析而得的坐标值。此外，动作数据也可为通过运动捕捉器所测定的、表示动作者的动作的坐标值，或为通过使动作者佩戴加速度传感器或陀螺传感器从而测定的、表示动作者的动作的数据。

动作分析装置10算出将第二动作数据输入至学习模型时从学习模型输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作。此处，学习模型以再现第一动作数据的方式进行了学习，因而可认为，在第一动作数据所不含的特征包含于第二动作数据的情况下，从学习模型输出的预测数据无法高精度地再现此部分的第二动作数据，而在预测数据与第二动作数据之间产生差异。

显示部10f显示基于预测数据与第二动作数据的差异而确定的信息。显示部10f例如可显示进行第二类型的动作者特有的动作的区间，或显示进行第一类型的动作者与第二类型的动作者共同的动作的区间。

如此，根据本实施方式的动作分析装置10，将表示由第一类型的动作者所执行的规定动作的第一动作数据用作学习数据，以输出再现第一动作数据的预测数据的方式使学习模型进行学习，由此即便表示由第二类型的动作者所执行的规定动作的第二动作数据相对较少，也可通过学习模型来识别特定类型的动作者的动作状态。

§2结构例

[功能结构]

接下来，使用图2对本实施方式的动作分析系统100的功能结构的一例进行说明。动作分析系统100包括第一摄影部20a、第二摄影部20b、第三摄影部20c及动作分析装置10。并且，动作分析装置10包括获取部11、解析部12、存储部13、学习部14、计算部15、输出部16及显示部10f。

＜摄影部＞

第一摄影部20a、第二摄影部20b及第三摄影部20c分别可包含通用的摄像机，可拍摄包含第一作业者A1及第二作业者A2在作业区域R中执行动作的场景的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c可分别拍摄作业区域R的一部分，可拍摄较作业区域R更窄的区域的视频。具体而言，可拍摄将由第一作业者A1及第二作业者A2执行的动作放大(close up)的视频。第一摄影部20a、第二摄影部20b及第三摄影部20c例如可拍摄将第一作业者A1及第二作业者A2的手头放大的视频。

而且，第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄分别对作业区域R的多个部分进行拍摄的多个视频。例如，可为第一摄影部20a主要拍摄第一作业者A1执行动作的视频，第三摄影部20c主要拍摄第二作业者A2执行动作的视频，第二摄影部20b拍摄第一作业者A1执行动作的视频及第二作业者A2执行动作的视频两者。而且，第一摄影部20a、第二摄影部20b及第三摄影部20c可拍摄在作业区域R的多个位置执行各不相同的工序的视频。

＜获取部＞

获取部11获取表示由作业者A所执行的规定动作的动作数据。此处，动作数据为表示由动作者所执行的规定动作的任意数据。例如，在动作者为作业者A的情况下，动作数据可为表示作业者A的动作的视频，或为对视频进行解析而得的坐标值。此外，动作数据也可为通过运动捕捉器所测定的、表示动作者的动作的坐标值，或为通过使动作者佩戴加速度传感器或陀螺传感器从而测定的、表示动作者的动作的数据。由获取部11获取的视频传输至存储部13，作为视频历程13a而存储。

获取部11也可获取作业者A进行规定动作时所记录的、表示作业者A的多个部位的动作的多个动作数据。作业者A的多个部位例如可为头、双眼、双肩、双肘、双手腕、双手的各指关节、腰、双膝及双脚腕等。而且，获取部11可获取作业者A进行规定动作时所记录的、表示作业者A的左右的部位的动作的多个动作数据。作业者A的左右的部位可为双眼、双肩、双肘、双手腕、双手的各指关节、双膝及双脚腕等。

本实施方式中，对获取表示作业者A按照规定所执行的规定动作的动作数据的情况进行说明，但获取部11也可获取表示由进行运动的动作者所执行的规定动作的动作数据，或获取表示由展示技艺的动作者所执行的规定动作的动作数据，或获取表示由进行日常动作的动作者所执行的规定动作的动作数据。

＜解析部＞

解析部12对表示由作业者A所执行的规定动作的视频进行解析，算出包含表示作业者A的动作的坐标值的、动作数据。动作数据可为表示作业者A的身体的代表性位置的位移的数据。作业者的身体的代表性位置也可为身体的一个位置，但典型而言可有多个。动作数据可为通过骨架模型来表示作业者A的关节的位置的数据。解析部12例如可使用曹哲(Zhe Cao)等三人通过《基于部分亲和字段的实时多人2D姿势估计(Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields)》(arXiv:1611.08050,2016)所公开的技术，根据视频来算出包含表示作业者A的动作的坐标值的、动作数据。另外，在使作业者A佩戴加速度传感器或陀螺传感器而测定表示作业者A的动作的动作数据的情况下，无需下述处理，即：由解析部12根据视频来算出包含表示作业者A的动作的坐标值的、动作数据。

＜存储部＞

存储部13存储视频历程13a、第一动作数据历程13b及学习模型13c。视频历程13a包含由第一摄影部20a、第二摄影部20b及第三摄影部20c所拍摄的视频的历程。第一动作数据历程13b包含由解析部12所算出的动作数据的历程，包含第一动作数据的历程，所述第一动作数据表示由第一类型的动作者所执行的规定动作。此处，第一动作数据历程13b也可针对动作者的每个类型而存储。所谓动作者的类型，为表示动作者的特征的分类，例如可为有关作业的熟练者与初学者，或为惯用右手与惯用左手，或为男性与女性，或有关体格而为大个子与小个子，或为年轻与中年，或为测定动作数据的时期的差异。学习模型13c受理动作数据作为输入，输出再现所输入的动作数据的预测数据。学习模型13c的结构的一例将使用图5来进行说明。

＜学习部＞

学习部14以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型13c进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作。此处，输入至学习模型13c的第一动作数据可从第一动作数据历程13b选择。

＜计算部＞

计算部15算出将第二动作数据输入至学习模型13c时从学习模型13c输出的预测数据、与第二动作数据的差异，所述第二动作数据表示由与第一类型不同的第二类型的动作者所执行的规定动作。学习模型13c为以再现第一动作数据的方式进行了学习的模型，因而可认为，在第二动作数据包含与第一动作数据不同的特征的情况下，关于此部分而预测数据偏离第二动作数据。

＜输出部＞

输出部16输出基于由计算部15所算出的预测数据与第二动作数据的差异而确定的信息。输出部16例如可输出预测数据与第二动作数据的差异持续规定的期间以上大于阈值的、第二动作数据的区间。通过输出将第二动作数据输入至学习模型13c时从学习模型13c输出的预测数据持续偏离第二动作数据的区间，从而可降低噪声的影响，识别第二类型的动作者特有的动作状态。

而且，输出部16也可输出预测数据与第二动作数据的差异持续规定的期间以上小于阈值的、第二动作数据的区间。通过输出将第二动作数据输入至学习模型时从学习模型输出的预测数据持续不偏离第二动作数据的区间，从而可降低噪声的影响，识别第一类型的动作者及第二类型的动作者共同的动作状态。

输出部16可输出预测数据与第二动作数据的差异持续规定的期间以上小于阈值的区间，或输出和预测数据与第二动作数据的差异持续规定的期间以上小于阈值的区间对应的、第二动作数据的部分。尤其，输出部16可输出视频历程13a中与所述区间对应的视频。由此，可容易地确认与所输出的区间对应的动作者的动作，可更顺畅地进行动作的解析。

第二类型的动作者可为与第一类型的动作者不同的人物，第二类型的动作者与第一类型的动作者相比较，规定动作的熟练度、年龄、身体特征及性别的至少任一个可不同。例如，可使第二类型的动作者为规定动作的熟练者，且第一类型的动作者为规定动作的初学者，或者与此相反。而且，例如第二类型的动作者可为身高、体重、手臂的长度、是纤瘦型还是肥胖体型等身体特征与第一类型的动作者不同的人。可通过本实施方式的动作分析装置10，针对规定动作的熟练度、年龄、身体特征及性别的至少任一个与第一类型的动作者不同的第二类型的动作者，识别第二类型的动作者特有的动作状态。

而且，第二类型的动作者也可为与第一类型的动作者相同的人物，第二动作数据可在与第一动作数据不同时间测定。例如，可使第二动作数据为某个动作者进行规定动作时最近测定的动作数据，第一动作数据为同一动作者进行规定动作时以往测定的动作数据。由此，可将表示由某个动作者执行的规定动作的第一动作数据累积而生成学习模型13c，识别所述动作者的动作随着时间经过如何变化。例如，可针对同一动作者测定进行规定动作的状况的偏差。

[硬件结构]

接下来，使用图3对本实施方式的动作分析装置10的硬件结构的一例进行说明。动作分析装置10具有相当于运算装置的中央处理器(Central Processing Unit，CPU)10a、相当于存储部13的随机存取存储器(Random Access Memory，RAM)10b、相当于存储部13的只读存储器(Read only Memory，ROM)10c、通信部10d、输入部10e及显示部10f。这些各结构经由总线而可相互收发数据地连接。另外，本示例中对动作分析装置10包含一台计算机的情况进行说明，但动作分析装置10也可使用多个计算机来实现。

CPU10a为进行与存储于RAM10b或ROM10c的程序的执行有关的控制或数据的运算、加工的控制部。CPU10a为执行下述程序(动作分析程序)的运算装置，所述程序针对表示由第一类型的动作者所执行的规定动作的第一动作数据，提取表示由第二类型的动作者所执行的规定动作的第二动作数据特有的部分。另外，在由多个计算机构成动作分析装置10的情况下，例如也可由云上的计算机执行学习模型的学习，且使本地计算机执行算出第二动作数据与预测数据的差异，并输出基于差异而确定的信息。CPU10a从输入部10e或通信部10d接收各种输入数据，将输入数据的运算结果显示于显示部10f，或者保持于RAM10b或ROM10c。

RAM10b在存储部13中可改写数据，例如可包含半导体存储元件。RAM10b存储CPU10a执行的动作分析程序或视频历程13a、第一动作数据历程13b及学习模型13c等数据。

ROM10c在存储部13中可读出数据，例如可包含半导体存储元件。ROM10c例如存储动作分析程序、或不进行改写的数据。

通信部10d为将动作分析装置10连接于外部设备的接口。通信部10d例如可通过局域网(Local Area Network，LAN)而与第一摄影部20a、第二摄影部20b及第三摄影部20c连接，从第一摄影部20a、第二摄影部20b及第三摄影部20c接收视频。而且，通信部10d也可连接于国际互联网，经由国际互联网接收视频或接收动作数据。

输入部10e从用户受理数据的输入，例如可包含键盘、鼠标及触控面板。

显示部10f以视觉方式显示CPU10a的运算结果，例如可包含液晶显示器(LiquidCrystal Display，LCD)。

动作分析程序可存储于RAM10b或ROM10c等可由计算机读取的存储介质而提供，也可经由通过通信部10d连接的通信网络而提供。动作分析装置10中，通过CPU10a执行动作分析程序，从而实现使用图2所说明的获取部11、解析部12、学习部14、计算部15及输出部16的动作。另外，这些物理结构为例示，且也可未必为独立的结构。例如，动作分析装置10也可包括CPU10a与RAM10b或ROM10c一体化的大规模集成电路(Large-Scale Integration，LSI)。

§3动作例

图4为将由本实施方式的动作分析装置10进行分析的初学者及熟练者的动作的种类汇总的表。此图中，示出初学者及熟练者的动作包含“初学者特有的动作”、“基本动作”及“熟练者特有的动作”的哪一个。

本发明的发明人等认为，初学者的动作包含“初学者特有的动作”及“基本动作”，熟练者的动作包含“基本动作”及“熟练者特有的动作”。关于初学者及熟练者的动作，“基本动作”共同，但设想初学者由于进行“初学者特有的动作”，因而效率不高或不稳定。另一方面，设想熟练者在进行“基本动作”的方面与初学者相同，但不进行(或几乎不进行)“初学者特有的动作”，而进行“熟练者特有的动作”，因此实现有效率且稳定的动作。

本实施方式的动作分析装置10通过将第一类型的动作者设为初学者，从而以再现“初学者特有的动作”及“基本动作”的方式生成学习模型13c。并且，可通过第二类型的动作者设为熟练者，将第二动作数据输入至学习模型13c，确定在预测数据与第二动作数据之间产生差异的区间，从而确定执行“熟练者特有的动作”的区间。而且，可通过将第二类型的动作者设为熟练者，将第二动作数据输入至学习模型13c，确定在预测数据与第二动作数据之间未产生差异的区间，从而确定执行“基本动作”的区间。

而且，本实施方式的动作分析装置10也可通过将第一类型的动作者设为熟练者，从而以再现“基本动作”及“熟练者特有的动作”的方式生成学习模型13c。并且，可通过将第二类型的动作者设为初学者，将第二动作数据输入至学习模型13c，确定在预测数据与第二动作数据之间产生差异的区间，从而确定执行“初学者特有的动作”的区间。而且，可通过将第二类型的动作者设为初学者，将第二动作数据输入至学习模型13c，确定在预测数据与第二动作数据之间未产生差异的区间，从而确定执行“基本动作”的区间。

图5为表示本实施方式的动作分析装置10的学习模型的一例的图。本示例的学习模型包含将卷积神经网络用于编码器EN及解码器DE的自动编码器。另外，以下说明的具体数值为例示，可适当变更。

学习模型受理动作数据D作为输入。动作数据D例如可为以100Hz采样的40秒钟(4000样本)的右手及左手的X坐标值、Y坐标值及Z坐标值(六个)数据。本示例的情况下，动作数据D的因次为4000×6。

编码器EN可包含一维卷积神经网络(Convolutional Neural Network，CNN)。编码器EN含有包含256个过滤器的第一卷积层(Conv1D 4000*6*256)、第一池化层(pooling2000*6*256)、包含128个过滤器的第二卷积层(Conv1D 2000*6*128)、第二池化层(pooling1000*6*128)、包含64个过滤器的第三卷积层(Conv1D 1000*6*64)以及第三池化层(pooling 500*6*64)。通过编码器EN，4000×6因次的动作数据D转换为500×6×64因次的特征量F。

解码器DE可包含一维CNN。解码器DE含有包含64个过滤器的第一(反)卷积层(Conv1D 500*6*64)、第一上采样层(Upsampling 1000*6*64)、包含128个过滤器的第二(反)卷积层(Conv1D 1000*6*128)、第二上采样层(Upsampling 2000*6*128)、包含256个过滤器的第三(反)卷积层(Conv1D 2000*6*256)、第三上采样层(Upsampling 4000*6*256)以及包含1个过滤器的第四(反)卷积层(Conv1D 4000*6*1)。通过解码器DE，500×6×64因次的特征量F转换为4000×6因次的预测数据P。

学习部14可基于预测数据P与动作数据D的差异，通过误差反向传播法来更新解码器DE及编码器EN的权重系数，以预测数据P与动作数据D的差异成为零的方式生成学习模型。

如此，可生成自动编码器，此自动编码器通过卷积神经网络将第一动作数据所含的多个图案编码，并将所得的特征量解码而再现第一动作数据。

另外，学习模型也可为CNN以外的模型。学习模型例如可包含长短时记忆(LongShort Term Memory，LSTM)等递归型神经网络或其他结构的神经网络。而且，学习模型也可为自动编码器以外的模型。学习模型例如也可包含自回归模型。

图6为表示用于本实施方式的动作分析装置10的学习模型的学习的、第一动作数据D1及第一预测数据P1的一例的图。此图中，横轴表示时间，纵轴表示动作数据或预测数据的值，以实线表示第一动作数据D1，以虚线表示第一预测数据P1。另外，第一预测数据P1与第一动作数据D1大致一致，被第一动作数据D1遮挡而几乎看不见。

图7为表示用于本实施方式的动作分析装置10的学习模型的学习的、第一差异数据Diff1的一例的图。第一差异数据Diff1是通过第一动作数据D1与第一预测数据P1之差的平方而算出。此图中，横轴表示时间，纵轴表示差异数据的值。

计算部15可通过第一动作数据D1与第一预测数据P1之差的平方而算出第一差异数据Diff1，基于第一差异数据Diff1的平均及标准偏差而算出阈值Th。计算部15例如可对第一差异数据Diff1的平均加上标准偏差的N倍(N为任意自然数)，作为阈值Th。学习模型是以第一差异数据Diff1接近零的方式生成，如本示例所示，不存在第一差异数据Diff1持续规定的期间以上大于阈值Th的区间。另外，由于噪声的影响，而存在第一差异数据Diff1突发地大于阈值Th的瞬间。

图8为表示由本实施方式的动作分析装置10进行分析的第二动作数据D2及第二预测数据P2的一例的图。此图中，横轴表示时间，纵轴表示动作数据或预测数据的值，以实线表示第二动作数据D2，以虚线表示第二预测数据P2。另外，第二预测数据P2与第二动作数据D2大致一致，被第二动作数据D2遮挡而几乎看不到，但尤其区间T中偏离第二动作数据D2。

图9为表示由本实施方式的动作分析装置10进行分析的第二差异数据Diff2的一例的图。第二差异数据Diff2是通过第二动作数据D2与第二预测数据P2之差的平方而算出。此图中，横轴表示时间，纵轴表示差异数据的值。阈值Th为基于第一差异数据Diff1的平均及标准偏差而算出的值。

学习模型是以第一差异数据Diff1接近零的方式生成，因此如本示例所示，有时第二预测数据P2偏离第二动作数据D2，产生第二差异数据Diff2持续规定的期间以上大于阈值Th的区间T。

图10为将由本实施方式的动作分析装置10进行分析的第二差异数据Diff2中的一部分放大表示的图。此图中，横轴表示包含区间T的时间，纵轴表示差异数据的值。

输出部16可输出第二差异数据Diff2持续规定的期间以上大于阈值Th的、第二动作数据D2的区间T。如此，第二差异数据Diff2突发地大于阈值Th的瞬间从提取对象中排除，而提取第二差异数据Diff2持续大于阈值Th的区间T，由此可降低噪声的影响，识别第二类型的动作者特有的动作状态。

而且，本实施方式的动作分析装置10基于第一差异数据Diff1的平均及标准偏差而算出阈值，由此可设定适当的阈值Th，可更高精度地进行区间的提取。

图11为表示由本实施方式的动作分析系统100执行的动作分析处理的流程图。首先，动作分析系统100测定第一动作数据并累积，所述第一动作数据表示由第一类型的动作者执行的规定动作(S10)。

累积规定量以上的第一动作数据后，动作分析系统100以输入第一动作数据且输出再现第一动作数据的预测数据的方式使学习模型进行学习(S11)。

随后，动作分析系统100将第一动作数据输入至学习模型，算出预测数据(S12)，通过预测数据与第一动作数据之差的平方而算出差异数据(S13)。而且，动作分析系统100基于差异数据的平均及标准偏差而算出阈值(S14)。

接下来，动作分析系统100测定第二动作数据，此第二动作数据表示由第二类型的动作者所执行的规定动作(S15)。接着，动作分析系统100将第二动作数据输入至学习模型，算出预测数据(S16)。而且，动作分析系统100通过预测数据与第二动作数据之差的平方而算出差异数据(S17)。

随后，在提取第二类型的动作者特有的动作的情况下(S18：是(YES))，动作分析系统100输出预测数据与第二动作数据的差异持续规定的期间以上大于阈值的区间(S19)。另一方面，在不提取第二类型的动作者特有的动作的情况下(S18：否(NO))，即提取第一类型的动作者与第二类型的动作者共同的动作的情况下，动作分析系统100输出预测数据与第二动作数据的差异持续规定的期间以上小于阈值的区间(S20)。

最后，动作分析系统100输出拍摄第二类型的动作者的视频中与所输出的区间对应的部分(S21)。通过以上步骤，动作分析处理结束。

本发明的实施方式也可如以下的附注那样记载。但是，本发明的实施方式不限定于以下的附注所记载的实施例。而且，本发明的实施方式可为将附注间的记载替换或组合的实施例。

[附注1]

一种动作分析装置(10)，包括：

学习部(14)，以输入第一动作数据且输出再现所述第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；

计算部(15)，算出将第二动作数据输入至所述学习模型时从所述学习模型输出的所述预测数据、与所述第二动作数据的差异，所述第二动作数据表示由与所述第一类型不同的第二类型的动作者所执行的所述规定动作；以及

输出部(16)，输出基于所述差异所确定的信息。

[附注2]

根据附注1所记载的动作分析装置(10)，其中，

所述输出部(16)输出所述差异持续规定的期间以上大于阈值的、所述第二动作数据的区间。

[附注3]

根据附注1所记载的动作分析装置(10)，其中，

所述输出部(16)输出所述差异持续规定的期间以上小于阈值的、所述第二动作数据的区间。

[附注4]

根据附注2或3所记载的动作分析装置(10)，其中，

所述输出部(16)输出所述第二动作数据中与所述区间对应的部分。

[附注5]

根据附注2至4中任一项所记载的动作分析装置(10)，其中，

所述计算部(15)通过和所述第一动作数据有关的所述预测数据、与所述第一动作数据之差的平方来算出差异数据，并基于所述差异数据的平均及标准偏差而算出所述阈值。

[附注6]

根据附注1至5中任一项所记载的动作分析装置(10)，其中，

所述学习模型包含将神经网络用于编码器及解码器的自动编码器。

[附注7]

根据附注1至6中任一项所记载的动作分析装置(10)，其中，

所述第二类型的动作者为与所述第一类型的动作者不同的人物，

所述第二类型的动作者与所述第一类型的动作者相比较，所述规定动作的熟练度、年龄、身体特征及性别的至少任一个不同。

[附注8]

根据附注1至6中任一项所记载的动作分析装置(10)，其中，

所述第二类型的动作者为与所述第一类型的动作者相同的人物，

所述第二动作数据是在与所述第一动作数据不同时间测定。

[附注9]

一种动作分析方法，包括：

以输入第一动作数据且输出再现所述第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；

算出将第二动作数据输入至所述学习模型时从所述学习模型输出的所述预测数据、与所述第二动作数据的差异，所述第二动作数据表示由与所述第一类型不同的第二类型的动作者所执行的所述规定动作；以及

输出基于所述差异所确定的信息。

[附注10]

一种动作分析程序，使一个或多个计算机执行：

以输入第一动作数据且输出再现所述第一动作数据的预测数据的方式使学习模型进行学习，所述第一动作数据表示由第一类型的动作者所执行的规定动作；

算出将第二动作数据输入至所述学习模型时从所述学习模型输出的所述预测数据、与所述第二动作数据的差异，所述第二动作数据表示由与所述第一类型不同的第二类型的动作者所执行的所述规定动作；以及

输出基于所述差异所确定的信息。