一种基于级联卷积神经网络的骑行姿态分析方法

摘要

本发明公开了一种基于级联卷积神经网络的骑行姿态分析方法，包括：1建立级联卷积神经网络关键点定位模型，以提取人体骨骼关键点；2对人体骨骼关键点序列的离群点进行校正；3对校正过的人体骨骼关键点序列进行滤波处理；4根据滤波后的人体骨骼关键点序列，计算骑行时踝关节角度、膝关节弯曲角度所组成的骑行姿态。本发明能快速对人体骑行姿态进行检测分析，帮助使用者量化骑行数据，分析骑行质量，以调整最佳骑行姿态。

说明书

技术领域

本发明涉及计算机视觉领域，更具体地涉及一种基于级联卷积神经网络的骑行姿态分析方法。

背景技术

传统的骑行姿态分析方法往往需要双目摄像头、结构光技术、ToF摄像头作为辅助设备，并需要借助人工标记来对目标关键点进行手动标注。这种方法不仅要求有专业图像设备，还要求操作人员能准确定位目标关键点，因此造成了设备成本高昂、人为主观误差和测试效率低下等问题。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于级联卷积神经网络的骑行姿态分析方法，以期能快速对人体骑行姿态进行无接触地检测分析，帮助使用者量化骑行数据，分析骑行质量，以调整最佳骑行姿态，从而在降低设备成本的同时提高分析效率和测试效果准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于级联卷积神经网络的骑行姿态识别方法的特点在于，包括以下步骤：

步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P

步骤2，对所述人体骨骼关键点序列P的离群点进行校正，得到校正过的人体骨骼关键点序列P’＝{P

步骤3，对校正过的人体骨骼关键点序列P’进行滤波处理，得到滤波后的人体骨骼关键点序列P”＝{P

步骤4，根据滤波后的人体骨骼关键点序列P”，计算骑行时踝关节角度、膝关节弯曲角度所组成的骑行姿态。

本发明所述的基于级联卷积神经网络的骑行姿态识别方法的特点也在于，步骤1包括：

步骤1.1，建立级联卷积神经网络模型并初始化模型参数，所述级联卷积神经网络模型包括主干网络以及K个级联分支网络，所述主干网络是由n个块依次连接而成，每个块是一个卷积层、一个激活层和一个池化层构成，且在第n+1个卷积层后连接有第一损失函数L1；每个级联分支网络是由m个卷积层和m个池化层交错连接而成，且在第m个池化层后连接有一个全连接层；在每个级联分支网络后连接有第二损失函数L2；

步骤1.2，获取已知的人体骨骼关键点数据集并分批次输入到初始化后的级联卷积神经网络模型中，并经过主干网络的第一次粗粒度定位，得到所有关键点粗定位结果(X

步骤1.3、根据所述第一损失函数L1，使用sigmoid方法对分批次输入的人体骨骼关键点数据集与所有关键点粗定位结果(X

步骤1.4、对分批次输入的人体骨骼关键点数据集进行裁剪，得到裁剪后的人体骨骼关键点数据集，并作为所述级联分支网络的输入；

步骤1.5、所述裁剪后的人体骨骼关键点数据集分别经过K个级联分支网络的细粒度定位处理，得到K个关键点细粒度定位结果；

步骤1.6，K个级联分支网络分别根据自身的第二损失函数L2，使用sigmoid方法对裁剪后的人体骨骼关键点数据集与自身关键点粗定位结果进行损失计算，直到K个第二损失函数L2均收敛为止，从而得到级联卷积神经网络关键点定位模型。

步骤2包括：

步骤2.1，对所述人体骨骼关键点序列P进行基于Z分数的异常值检测：

计算所述所述人体骨骼关键点序列P中每个人体骨骼关键点的Z分数，当Z分数大于所设定的阈值，则表明相应关键点定位异常，并将相应关键点修正为[(Xi-1+Xi+1)/2,(Yi-1+Yi+1)/2]；从而得到修正后的人体骨骼关键点序列；

步骤2.2、对修正后的人体骨骼关键点序列进行滤波平滑处理：

遍历修正后的人体骨骼关键点序列中每个人体骨骼关键点，对当前人体骨骼关键点所在的前后共F帧关键帧进行观测采样，并使用均值滤波算法对所采样的关键帧进行修正平滑处理，从而得到校正过的人体骨骼关键点。

与现有技术相比，本发明的有益效果在于：

1、本发明提出了一种骑行姿态分析方法，提升了检测效率，降低了设备成本，减少使用难度为骑行测试人员提供快速、精确、便捷的骑行姿态分析服务。

2、本发明提出了两阶段的级联神经网络骨骼关键点定位技术，主干网络对全部关键点进行定位识别，分支网络对不同部位关键点进行二次细粒度检测，检测速度更快，检测精度更高。

3、本发明提出的关键点平滑方法，对关键点序列中的异常值进行检测并对其进行平滑滤波操作，提高了数据的合理性和稳定性。

附图说明

图1为本发明实施例的骑行姿态分析方法流程图；

图2为本发明实施例的级联卷积神经网络关键点定位模型结构图。

具体实施方式

本实施例中，一种基于级联卷积神经网络的骑行姿态识别方法，分析流程如图1所示，用户提交骑行骑行视频作为本方法输入，依次通过关键点定位、异常值检测、关键点滤波平湖，骑行指标计算后返回给用户。该过程包括人体骨骼关键点定位模型的建立，该模型通过级联卷积神经网络对图像中人体骨骼关键点进行定位识别，输出人体骨骼关键点序列；还包括人体骨骼关键点的校正，该校正方法对得到的人体骨骼关键点序列进行校正平滑，将人体骨骼关键点序列中离群点和异常值进行重新识别和平滑；还包括骑行姿态的分析，该分析方法使用处理后的人体骨骼关键点序列，计算膝关节屈伸角度等27个骑行指标。具体的说是，包括以下步骤：

步骤1，建立级联卷积神经网络关键点定位模型，并用于对目标骑行视频的每一帧进行人体骨骼关键点提取，从而得到人体骨骼关键点序列P＝{P

步骤1.1，建立级联卷积神经网络模型并初始化模型参数，基于级联卷积神经网络的人体骨骼关键点定位模型结构如图2所示。使用开源COCO数据集训练该级联卷积神经网络人体骨骼关键点定位模型。该模型结构分为两层结构，分别为人体骨骼关键点粗粒度定位层和关键点细粒度二次定位层。级联卷积神经网络模型包括主干网络以及K个级联分支网络，主干网络是由n个块依次连接而成，每个块是一个卷积层、一个激活层和一个池化层构成，且在第n+1个卷积层后连接有第一损失函数L1，具体包括5个卷积单元，每个卷积单元包括卷积层、激活层和池化层，负责对人体全部19个关键点坐标进行定位识别；每个级联分支网络是由m个卷积层和m个池化层交错连接而成，且在第m个池化层后连接有一个全连接层；在每个级联分支网络后连接有第二损失函数L2，具体包括5个级联分支网络，每个分支网络包括1个卷积层、1个激活层、1个池化层和2个全连接层。分别负责对头部、左上肢、右上肢、左下肢、右下肢5个部位进行细粒度定位识别。主干网络和分支网络分别使用6个欧几里得损失函数计算损失，当某一批次总损失收敛至预设阈值，说明人体骨骼关键点定位模型训练完成。得到级联卷积神经网络人体骨骼关键点定位模型。

步骤1.2，获取已知的人体骨骼关键点数据集并分批次输入到初始化后的级联卷积神经网络模型中，并经过主干网络的第一次粗粒度定位，得到所有关键点粗定位结果(X

步骤1.3、根据第一损失函数L1，使用sigmoid方法对分批次输入的人体骨骼关键点数据集与所有关键点粗定位结果(X

步骤1.4、对分批次输入的人体骨骼关键点数据集进行裁剪，得到裁剪后的人体骨骼关键点数据集，并作为级联分支网络的输入；其中，剪裁是以子区域输出坐标中左上角关键点坐标和右下角关键点坐标为基准，向四周扩展margin个像素并进行裁剪；分为头部、左上肢、右上肢、左下肢、右下肢5个部分对原图像进行裁剪，裁剪尺寸为子区域内关键点坐标最小值-原图像宽度/50和最大值-原图像宽度/50的，如果裁剪尺寸超出原图像范围，则对空白区域进行补0操作。将子区域图像归一至尺寸32的三通道图像，并将原关键点坐标根据子区域图像归一至[0，1]区间。子区域图像经过关键点细粒度二次定位模块，分别输出19个关键点细粒度定位位置，与子区域关键点坐标共同计算欧几里得损失函数，并根据计算结果对细粒度定位模块参数进行反馈更新。

步骤1.5、裁剪后的人体骨骼关键点数据集分别经过K个级联分支网络的细粒度定位处理，得到K个关键点细粒度定位结果；

步骤1.6，K个级联分支网络分别根据自身的第二损失函数L2，使用sigmoid方法对裁剪后的人体骨骼关键点数据集与自身关键点粗定位结果进行损失计算，直到K个第二损失函数L2均收敛为止，从而得到级联卷积神经网络关键点定位模型。

当某一批次输入使损失函数收敛到预设阈值，说明关键点定位网络训练完成，将子区域关键点输出信息还原为关键点真实坐标，即可得到关键点定位模型。

步骤2，对人体骨骼关键点序列P的离群点进行校正，得到校正过的人体骨骼关键点序列P’＝{P

步骤2.1，对人体骨骼关键点序列P进行基于Z分数的异常值检测：

计算人体骨骼关键点序列P中每个人体骨骼关键点的Z分数，Z＝(x-μ)/σ，其中μ是该组数据的均值，σ是该组数据的标准差，Z是标准分数，若Z分数序列中Zi>所设定的阈值＝2.2，则表明相应关键点定位异常，并将相应关键点修正为[(Xi-1+Xi+1)/2,(Yi-1+Yi+1)/2]；从而得到修正后的人体骨骼关键点序列；

步骤2.2、对修正后的人体骨骼关键点序列进行滤波平滑处理，遍历修正后的人体骨骼关键点序列中每个人体骨骼关键点，从关键点序列第0帧开始，直至最后一帧，对当前人体骨骼关键点所在的目标帧的前后共F＝5个观测帧进行观测采样，并使用均值滤波

步骤3，对校正过的人体骨骼关键点序列P’进行滤波处理，得到滤波后的人体骨骼关键点序列P”＝{P

步骤4，根据滤波后的人体骨骼关键点序列P”，对待测视频中的目标人体计算膝关节屈伸角度、踝关节角度、髋角度、肩屈角度等27个骑行指标，如表1所示：

表1示出本发明实施例的骑行指标计算方法。

最后根据表1所示骑行指标计算方法计算不同位置骑行指标，返回给用户。