一种基于深度学习的花样滑冰选手骨骼点动作识别方法

摘要

本发明涉及的一种基于深度学习的花样滑冰选手骨骼点动作识别方法，包括将待分类的动作视频集随机分为训练视频集和测试视频集，将训练视频集和测试视频集分别用于计算动作的训练轨迹和测试轨迹，将训练轨迹输入动作识别模型中进行动作识别，然后通过测试轨迹对动作识别模型进行优化，获取用于动作快速提取的深度动作识别模型；通过深度动作识别模型获取待测试的动作视频集，并对待测试的动作视频集中对象的肢体动作和轨迹进行识别，获得测试集的识别结果。能够实现对动作的快速识别，改善现有技术中通过纯人工评价带来的标准不统一，评价的效率低的缺陷，改善评价效率和评价的结果统一性。

说明书

技术领域

本发明涉及了运动辅助技术领域，具体的是一种基于深度学习的花样滑冰选手骨骼点动作识别方法。

背景技术

人体动作识别是计算机视觉、模式识别、图像处理以及人工智能等多学科交叉的一个重要研究方向，它在人机交互、智能监控和医疗领域均有着巨大的应用价值和理论意义。它主要针对包含人的运动图像序列进行分析处理、特征提取、运动目标分类，实现识别和理解人的个体动作、人与人之间的以及人与外界环境之间的交互行为。

近年来，很多基于人体骨骼的动作识别方法被提出来，这些方法的基本原理是利用骨骼的关键姿态特征，组合成动作序列，通过比较动作中不同姿态出现的概率或者姿态的差异性来区分不同的动作。相对之前基于剪影或轮廓的动作识别方法，这种骨骼静态建模方法对提高识别率有一定的作用，但是骨骼静态建模方法没有充分利用骨骼的时间和空间特征，很难识别相似的动作，如挥手和画对号，在现实环境下的应用存在局限性。

有人提出了骨骼动态建模的方法，将一个动作序列看作是时间和空间的动态问题，提取骨骼节点的运动特征，然后通过特征分析、分类，得到识别结果。

这种方法明显提高了动作识别的正确率，但由于骨骼的时空特征复杂，很难提出鲁棒性的运动特征，所以目前更多的研究者致力于建立有效模型提取特征。另一方面，若骨骼数据因遮挡或视角变化而不准确，对识别的结果也有很大影响。

花样滑冰赛事作为一项高竞技性、高观赏性的赛事，在国际体育赛事中的一直占据重要地位，但是当下花样滑冰的动作指导、改进，比赛中对动作精确度的判分标准高度仰赖从业人员的经验，从而容易导致判分主观、效率低下、评分矛盾等负面结果。

发明内容

为了克服现有技术中的至少部分缺陷，本发明提供的一种基于深度学习的花样滑冰选手骨骼点动作识别方法，能够改善对运动员的动作识别效果，并且能够依据识别出的动作中存在的缺陷，对动作进行评分。

本发明涉及的一种基于深度学习的花样滑冰选手骨骼点动作识别方法，包括以下步骤：

S1、通过客户端获取待分类的动作视频集，并将其上传并存储到服务器端的缓存区；

S2、将缓存区中的待分类的动作视频集随机分为训练视频集和测试视频集，将训练视频集和测试视频集分别用于计算动作的训练轨迹和测试轨迹，将训练轨迹输入动作识别模型中进行动作识别，然后通过测试轨迹对动作识别模型进行优化，获取用于动作快速提取的深度动作识别模型；

S3、通过深度动作识别模型获取待测试的动作视频集，并对待测试的动作视频集中对象的肢体动作和轨迹进行识别，获得测试集的识别结果；

S4、通过评分系统对将测试集识别结果与标准的花式滑冰动作模型进行分解对比，根据轨迹的匹配度进行评分，同时输出评分结果，所述测试集为单个待测动作或多个待测动作的集合。

进一步地，还包括通过教练系统获取运动员日常的训练视频，并将获取的日常训练视频上传至布置在云服务器上的深度动作识别模型进行骨骼点动作分析，然后根据深度动作识别模型给出的运动员动作的分数以及动作的缺陷来获取改进的意见，日常训练视频存储在教练系统中，用户可通过人机交互接口来实现对教练系统的访问，进而能够通过访问日常视频进行动作复盘和/或体态查看。

进一步地，还包括通过设置在客户端的第一滤波模块对待测视频集中的背景和无效动作进行滤除，并进行特征提取，包括以下步骤：

A1、提取训练视频集或测试视频集中相对活跃的16个骨骼关节点的三维坐标，所述16个骨骼关节点分别是头、中肩、脊柱、中髋、左肩、左肘、左腕、右肩、右肘、右腕、左髋、左膝、左踝、右髋、右膝和右踝；

A2、计算16个骨骼关节点的平移矩阵和四元数旋转：所述平移矩阵代表骨骼关节点当前帧和前一帧的位置变化；所述四元数旋转代表骨骼关节点当前帧和前一帧的角度变化，骨骼关节点当前帧和前一帧的位置变化和角度变化形成骨骼关节点的运动特征；

A2、形成基于人体部位的运动特征：将人体分为9个部位，分别融合与所述9个部位相关的骨骼关节点的运动特征，形成基于人体部位的运动特征；人体所述9个部位分别为躯干、左上臂、左下臂、右上臂、右下臂、左上腿、左下腿、右上腿和右下腿。

进一步地，所述深度动作识别模型包括ST-GCN骨骼点分类模型和降噪编码器，所述ST-GCN骨骼点分类模型的构建方法包括：

B1：将获取的训练轨迹中的数据通过进行降噪编码器预处理，去除训练轨迹中不平滑的端点和残缺轨迹，并将不同的动作组进行相互分离，获取多段平滑的训练轨迹；

B2：建立ST-GCN网络和动作轨迹拟合单元，把动作轨迹拟合单元嵌入到ST-GCN网络卷积层后面进行总体网络的搭建；

B3：用训练集训练网络，优化参数，得到基于动作轨迹的骨骼行为识别网络；

B4：把测试集输入到步骤B3得到的网络进行预测，给出对应的动作类别。

进一步地，客户端连接有三维摄像机，所述三维摄像机的数量至少设置三个，三个所述三维摄像机环绕待测目标安装，且三维摄像机的位置能够跟随待测目标进行跟踪，拍摄的视频首先在三维摄像机中缓存，然后根据时间段对拍摄的视频进行时间标记，并根据时间标记对视频进行拆分，然后将拆分后的视频进行乱序处理，并将其上传至服务器端的缓存区中。

进一步地，还包括标准的花式滑冰动作模型的构建，包括以下步骤：

C1、获取动作标准的花样滑冰选手的标准动作视频集；

C2、将标准动作视频集作为训练集计算动作的训练轨迹，将训练轨迹输入动作识别模型中进行动作识别，获得标准的花式滑冰动作模型，获得的标准的花式滑冰动作模型作为评分系统的评分参照。

进一步地，所述评分系统包括若干个评分模块，若干个评分模块用于对动作的不同评价维度的表现进行评分，所述评价维度包括单个动作的完成度，整体动作的完成度、动作衔接的流畅度、单个动作的难度以及整体动作的难度。

进一步地，还包括通过所述降噪编码器对训练动作视频集或测试动作视频集进行流形映射，具体包括以下步骤：将训练视频集或测试视频集中的每一个动作均表示为基于所述9个部位的运动特征的集合，将训练动作视频集或测试动作视频集的每个动作中9个部位的运动特征通过局部线性嵌入算法映射到低维流形上，每个动作形成与上述9个部位对应的9条部位轨迹，其中，与动作相关的部位轨迹为一条曲线，与动作不相关的部位轨迹是一个点，从而获得训练轨迹和测试轨迹。

进一步地，所述ST-GCN网络用于对轨迹进行预测，所述动作轨迹拟合单元用于将经所述ST-GCN网络预测获得的轨迹与经降噪编码器获取的待测测试集的轨迹进行拟合获得拟合轨迹，然后将预测轨迹与拟合轨迹进行差异化处理，获得差异数据，然后将获得的差异数据传送至所述评分系统，由评分系统根据不同的维度对动作进行评分。

进一步地，ST-GCN骨骼点分类模型的构建方法，包括以下步骤：

D1、输入骨架序列，对输入矩阵进行归一化，构建拓扑图结构；

D2、通过ST-GCN单元，交替的使用GCN和TCN，对时间和空间维度进行变换；

D3、使用平均池化、全连接层对特征进行分类，然后通过改进的Softmax输出动作分类结果。

本发明的有益之处在于：通过引入深度学习算法来对花样滑冰的动作进行快速有效的识别，能够改善对运动员的动作识别效果，并且能够依据识别出的动作中存在的缺陷，对动作进行评分；同时，能够通过对运动员的动作的识别结果对运动员进行针对性的指导，不仅能够强化运动员的训练效果，而且能够降低因动作长期不标准带来的运动伤害。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是基于深度学习的花样滑冰选手骨骼点动作识别方法的步骤示意图。

图2是ST-GCN骨骼点分类模型的构建方法示意图。

图3是图2中ST-GCN单元的结构及流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明一较佳实施例中的一种基于深度学习的花样滑冰选手骨骼点动作识别方法，包括以下步骤：

S1、通过客户端获取待分类的动作视频集，并将其上传并存储到服务器端的缓存区；

S2、将缓存区中的待分类的动作视频集随机分为训练视频集和测试视频集，将训练视频集和测试视频集分别用于计算动作的训练轨迹和测试轨迹，将训练轨迹输入动作识别模型中进行动作识别，然后通过测试轨迹对动作识别模型进行优化，获取用于动作快速提取的深度动作识别模型；

S3、通过深度动作识别模型获取待测试的动作视频集，并对待测试的动作视频集中对象的肢体动作和轨迹进行识别，获得测试集的识别结果；

S4、通过评分系统对将测试集识别结果与标准的花式滑冰动作模型进行分解对比，根据轨迹的匹配度进行评分，同时输出评分结果，测试集为单个待测动作或多个动作的集合。

在上述实施例中，还包括通过教练系统获取运动员日常的训练视频，并将获取的日常训练视频上传至布置在云服务器上的深度动作识别模型进行骨骼点动作分析，然后根据深度动作识别模型给出的运动员动作的分数以及动作的缺陷来获取改进的意见，日常训练视频存储在教练系统中，用户可通过人机交互接口来实现对教练系统的访问，进而能够通过访问日常视频进行动作复盘和/或体态查看。在实际实施过程中，教练系统既可以搭载在服务器端也可以搭载在使用人员的终端设备上。通过教练系统内预置的的语音和\或文字指导信息，能够在通过深度动作识别模型识别出运动员的动作与实际动作的差异后，对运动员提供语音或文字指导，从而对运动员的动作进行及时的纠正，进而提高运动员的训练效果。

在上述实施例中，还包括通过设置在客户端的第一滤波模块对待测视频集中的背景和无效动作进行滤除，并进行特征提取，包括以下步骤：

A1、提取训练视频集或测试视频集中相对活跃的16个骨骼关节点 的三维坐标，所述16个骨骼关节点分别是头、中肩、脊柱、中髋、左肩、左肘、左腕、右肩、右肘、右腕、左髋、左膝、左踝、右髋、右膝和右踝；

A2、计算16个骨骼关节点的平移矩阵和四元数旋转：所述平移矩阵代表骨骼关节点当前帧和前一帧的位置变化；所述四元数旋转代表骨骼关节点当前帧和前一帧的角度变化，骨骼关节点当前帧和前一帧的位置变化和角度变化形成骨骼关节点的运动特征；

A2、形成基于人体部位的运动特征：将人体分为9个部位，分别融合与所述9个部位相关的骨骼关节点的运动特征，形成基于人体部位的运动特征；人体所述9个部位分别为躯干、左上臂、左下臂、右上臂、右下臂、左上腿、左下腿、右上腿和右下腿。

在上述实施例中，深度动作识别模型包括ST-GCN骨骼点分类模型和降噪编码器，ST-GCN骨骼点分类模型的构建方法包括：

B1：将获取的训练轨迹中的数据通过进行降噪编码器预处理，去除训练轨迹中不平滑的端点和残缺轨迹，并将不同的动作组进行相互分离，获取多段平滑的训练轨迹；

B2：建立ST-GCN网络和动作轨迹拟合单元，把动作轨迹拟合单元嵌入到ST-GCN网络卷积层后面进行总体网络的搭建；

B3：用训练集训练网络，优化参数，得到基于动作轨迹的骨骼行为识别网络；

B4：把测试集输入到步骤S3得到的网络进行预测，给出对应的动作类别。

在上述实施例中，客户端连接有三维摄像机，三维摄像机的数量至少设置三个，三个三维摄像机环绕待测目标安装，且三维摄像机的位置能够跟随待测目标进行跟踪，拍摄的视频首先在三维摄像机中缓存，然后根据时间段对拍摄的视频进行时间标记，并根据时间标记对视频进行拆分，然后将拆分后的视频进行乱序处理，并将其上传至服务器端的缓存区中。在实际实施过程中，三维摄像机的数量至少设置有4个，其中一个三维摄像机作为基准，对另外3个或3个以上的摄像机的位置进行标定，被标定的摄像机跟随运动员的实际运动轨迹进行跟踪拍摄，从而获取到更完善的运动员的肢体动作数据。

在上述实施例中，还包括标准的花式滑冰动作模型的构建，包括以下步骤：

C1、获取动作标准的花样滑冰选手的标准动作视频集；

C2、将标准动作视频集作为训练集计算动作的训练轨迹，将训练轨迹输入动作识别模型中进行动作识别，获得标准的花式滑冰动作模型，获得的标准的花式滑冰动作模型作为评分系统的评分参照。在实际实施过程中，还包括通过同一标准动作视频集的不同组合方式对花式滑冰动作模型进行优化，并根据每个动作的长度将其拆分为不同的子模块，在对通过评价系统对运动员的动作进行评价时，能够对不同的动作进行单独评价，降低评价过程中的响应时间。

在上述实施例中，评分系统包括若干个评分模块，若干个评分模块用于对动作的不同评价维度的表现进行评分，评价维度包括单个动作的完成度，整体动作的完成度、动作衔接的流畅度、单个动作的难度以及整体动作的难度。在实际实施过程中，既可以针对单个动作的完成度，整体动作的完成度、动作衔接的流畅度、单个动作的难度以及整体动作的难度进行加和运算来计算总评分，也可以根据不同评分维度的评价系数进行乘法计算。

在上述实施例中，还包括通过降噪编码器对训练动作视频集或测试动作视频集进行流形映射，具体包括以下步骤：将训练视频集或测试视频集中的每一个动作均表示为基于9个部位的运动特征的集合，将训练动作视频集或测试动作视频集的每个动作中9个部位的运动特征通过局部线性嵌入算法映射到低维流形上，每个动作形成与上述9个部位对应的9条部位轨迹，其中，与动作相关的部位轨迹为一条曲线，与动作不相关的部位轨迹是一个点，从而获得训练轨迹和测试轨迹。

在上述实施例中，ST-GCN网络用于对轨迹进行预测，动作轨迹拟合单元用于将经ST-GCN网络预测获得的轨迹与经降噪编码器获取的待测测试集的轨迹进行拟合获得拟合轨迹，然后将预测轨迹与拟合轨迹进行差异化处理，获得差异数据，然后将获得的差异数据传送至评分系统，由评分系统根据不同的维度对动作进行评分。

参照图2，在实际实施过程中，ST-GCN骨骼点分类模型的构建方法包括：输入骨架序列，对输入矩阵进行归一化，构建拓扑图结构；通过ST-GCN单元，交替的使用GCN和TCN，对时间和空间维度进行变换；使用平均池化、全连接层对特征进行分类，然后通过改进的Softmax输出动作分类结果；在实际使用过程中ST-GCN单元数量设置为9个，将ST-GCN单元的编号设定为1-9，其中第4个和第7个时域卷积层的stides＝2；每个ST-GCN单元的输入输出如图2所示。

在ST-GCN骨骼点分类模型构建的过程中采用改进型Dropout，选择Huber loss损失函数，以top1、top5衡量准确率，附加动量的随机梯度下降为优化函数；权重初始化，加载数据、模型、优化器进行端到端的训练。在实际实施过程中，为避免离群值对结果影响较大，提高模型的鲁棒性，使用Huber loss损失函数，修正后的公式如下所示：

v

模型在使用MSE作为损失函数的时候，往往会因为需要降低损失函数值而强行拟合奇异点数据，从而对预测结果造成影响；Huber Loss 是一个用于回归问题的带参的分段损失函数， 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。给定一个δ，当预测偏差小于δ时，它采用平方误差,当预测偏差大于δ时，将Loss减小，使用线性函数。这种方法能降低奇异数据点对于Loss计算的权重，避免模型过拟合相比于最小二乘的线性回归，HuberLoss降低了对离群点的惩罚程度。

在ST-GCN中所有的通道共享一个邻接矩阵，这就意味着所有的通道将会共享相同的聚合内核，这种情况称之为耦合聚集。但是在卷积神经网络中每个通道的卷积核参数不一样，保证了提取特征的多样性，因此使用不同的邻接矩阵处理不同的通道数据，并且使得该邻接矩阵和卷积核类似可以进行训练改变参数，从而大大增加了邻接矩阵的多样性，将每个图像通道中的信息分为n组，即n表示图像通道中的第n组信息，每组信道共享一个可训练的邻接矩阵。当n=C时，每一个信道本身能生成大量冗余参数的spatial aggregationkernel；当n=1时，就会退化成聚合图卷积，更正后的图卷积公式为：

其中，

同时因为图神经网络适应于非欧氏空间结构，这就导致了图卷积过程中，节点和邻居节点的特征混合，无法通过只删除其中一个节点避免过拟合，所以说可以更改Dropout机制来增强正则化结果：

在删除某一节点时，同时删除周围的部分节点。因此需要引入两个参数，分别为：节点丢弃概率

对特征进行分类时，采用平均池化，在平均池化之后对权重L2进行正则化，并且设置偏置为0，并且引入角度间隔系数m和余弦间隔距离，当

其中，s是尺度因子，进行缩放余弦值，s需要设置比较大，我们这里使用的是25以加速和稳定优化，

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。