一种基于OpenPose和PyQt的太极拳姿态检测系统

摘要

本发明公开了一种基于OpenPose和PyQt的太极拳姿态检测系统包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化具有深远的意义。

说明书

技术领域

本发明属于人机交互技术领域，尤其涉及一种基于OpenPose和PyQt的太极拳姿态检测系统。

背景技术

在人机交互领域，可以利用姿态识别使机器人执行相同的操作，现在已经做到小型的机器人重复使用者的动作来进行一些复杂的操作，该技术可以应用在一些危险的需要人操作的工作上，如抗震救灾，灭火等。

在运动分析领域，当前的一个应用是在足球/棒球赛场上来分析球员的动作是否违规，可以做到深入的理解某项运动，甚至可以通过姿态数据让计算机解说比赛。

但是当前在传统运动上，姿态识别算法与其结合的应用还较少，因此无论是现在还是未来，姿态识别算法与传统运动的结合是有着极大的现实意义以及广阔的应用空间的。一个应用就是可以对太极拳学习者的姿态进行评估，矫正学习者的姿势，或者也可以应用到现在的太极拳考试评分中，使考核更加客观化，标准化。

发明内容

针对现有技术不足，本发明的目的在于提供了一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化具有深远的意义。

本发明提供如下技术方案：

一种基于OpenPose和PyQt的太极拳姿态检测系统，包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块。

优选的，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法包括以下步骤：

S1，首先上传图片，系统会先判断当前上传的图片路径是否为空，防止用上传文件直接关闭文件选择窗口而造成系统卡死的情况；

S2，计算图片的大小，当图片过大时，系统难以处理，用户需要重新上传；

S3，图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

S4，将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

优选的，步骤S3中，得出图片中每个关键点的置信度，和关键点之间的关联程度，之后对图片进行分割，使得每部分都具有不同种类的关键点。

优选的，步骤S4中，角度误差计算中，肢体两端的坐标构成二维向量，二维向量满足：a＝{x1，y1}和b＝{x2，y2}，则这两个向量的夹角的余弦值为：

输入图片中第k人的第i个肢体的向量为v

第k个人的姿势应该误差最小的招式，w

优选的，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法的检测程序，包括：图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

另外，特征提取模块采用卷积神经网络提取图像特征时，卷积神经网络总共包含7层。第一层为输入层，以单通道灰色图像为例，输入图像的尺寸为46*46。第二层为卷积层1，设置6个尺寸为3*3的卷积核，分别与输入图像卷积，最终形成6个44*44像素大小的特征图，卷积步长设为1，并且下层的所有步长都设置为1。第三层为池化层1，采用均匀池化的方式池化上一层所有特征图，此时所有的特征图的像素大小为22*22。第四层为卷积层2，设置12个尺寸为3*3的卷积核，按照卷积层1相同的处理方式，可得12个像素大小为20*20的特征图。第五层为池化层2，图像处理方式和池化层1相同，特征图的像素大小变为10*10。第六层为全连接层，全连接层的任务是将所有的特征图展开形成一维向量。第七层是Softmax层，其主要作用是训练特征，生成Softmax分类器，然后用训练好的Softmax分类器分类。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

姿态检测的过程中，对于关键点的置信度检测，方法如下：若获取的图片中有K个人，对于每一个关键点1≤j≤J，则

令

最终

对于图片中的人在打太极时，对于图片中人体骨骼关键检测点计算方法：

若x

其中:v＝(x

0≤v·(p-x

及

|v⊥·(p-x

则p在肢体c上。其中σ

最终得到每个肢体的关键点值：

其中n

得到所有的关键点之后，对于两个关键点

其中p

在图片多人解析的过程中，此前得到了所有的关键点的数据，以及任意两个关键点直接的关联程度，直接在任意两个不同种类的点直接连接一条边，边的权值为两点之间的关联程度。得到人体不同种类的关键点j

与现有技术相比，本发明具有以下有益效果：

(1)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化。

(2)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

(3)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，通过设置的角度误差计算方法，将图片中的每个人的每一式进行计算，选取角度误差较小姿势作为最终的预判姿势，大大降低误差率。

(4)本发明一种基于OpenPose和PyQt的太极拳姿态检测系统，在图片多人解析的过程中，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的系统框图。

图2是本发明检测方法流程图。

图3是本发明人体关键节点示意图。

图4是本发明的人体关键节点生成树示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述。显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例一：

如图1所示，一种基于OpenPose和PyQt的太极拳姿态检测系统，包括：摄像机、PC端，摄像机将拍摄的图片上传至PC端，所述PC端包括图像预处理模块、特征提取模块、姿态检测模块、多人解析模块；预处理模块对获取的图片大小进行统一处理，所述特征提取模块采用卷积神经网络提取图像特征；所述姿态检测模块包括人体关键点检测，所述多人解析模块包括图片分割处理模块。

实施例二：

如图2所示，在实施例一的基础上，一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法包括以下步骤：

S1，首先上传图片，系统会先判断当前上传的图片路径是否为空，防止用上传文件直接关闭文件选择窗口而造成系统卡死的情况；

S2，计算图片的大小，当图片过大时，系统难以处理，用户需要重新上传；

S3，图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

S4，将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

步骤S3中，得出图片中每个关键点的置信度，和关键点之间的关联程度，之后对图片进行分割，使得每部分都具有不同种类的关键点。

步骤S4中，角度误差计算中，肢体两端的坐标构成二维向量，二维向量满足：a＝{x1，y1}和b＝{x2，y2}，则这两个向量的夹角的余弦值为：

输入图片中第k人的第i个肢体的向量为v

第k个人的姿势应该误差最小的招式，w

实施例三：

如图3-4所示，在实施例一的基础上，姿态检测的过程中，对于关键点的置信度检测，方法如下：若获取的图片中有K个人，对于每一个关键点1≤j≤J，则

令

最终

对于图片中的人在打太极时，对于图片中人体骨骼关键检测点计算方法：

若x

其中:v＝(x

0≤v·(p-x

及

|v⊥·(p-x

则p在肢体c上。其中σ

最终得到每个肢体的关键点值：

其中n

得到所有的关键点之后，对于两个关键点

其中p

在图片多人解析的过程中，此前得到了所有的关键点的数据，以及任意两个关键点直接的关联程度，直接在任意两个不同种类的点直接连接一条边，边的权值为两点之间的关联程度。得到人体不同种类的关键点j

实施例四

一种基于OpenPose和PyQt的太极拳姿态检测系统的检测方法的检测程序，包括：图片上传成功之后，通过OpenPose提取图片中的姿态数据，选取太极拳每一式的关键动作并获取到这些动作的姿态向量，对于每个姿态，姿态向量有17个，即肢体两端的坐标构成的向量；

将获取的姿态数据进行分类，对于图片中每个人的每一个动作，计算角度误差，选取角度误差较小姿势作为最终的预判姿势。

另外，特征提取模块采用卷积神经网络提取图像特征时，卷积神经网络总共包含7层。第一层为输入层，以单通道灰色图像为例，输入图像的尺寸为46*46。第二层为卷积层1，设置6个尺寸为3*3的卷积核，分别与输入图像卷积，最终形成6个44*44像素大小的特征图，卷积步长设为1，并且下层的所有步长都设置为1。第三层为池化层1，采用均匀池化的方式池化上一层所有特征图，此时所有的特征图的像素大小为22*22。第四层为卷积层2，设置12个尺寸为3*3的卷积核，按照卷积层1相同的处理方式，可得12个像素大小为20*20的特征图。第五层为池化层2，图像处理方式和池化层1相同，特征图的像素大小变为10*10。第六层为全连接层，全连接层的任务是将所有的特征图展开形成一维向量。第七层是Softmax层，其主要作用是训练特征，生成Softmax分类器，然后用训练好的Softmax分类器分类。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。

通过上述技术方案得到的装置是一种基于OpenPose和PyQt的太极拳姿态检测系统，通过现有的高性能的姿态识别算法来应用到太极拳招式识别中，提升检测的精确度，为太极拳的训练以及考核提供一个更加量化客观的评分体系，使前沿科技服务于传统文化。通过卷积神经网络对图像进行特征提取和分类，增加提取图片中的姿态数据的精确性，增加后期姿势预判的精确性。通过设置的角度误差计算方法，将图片中的每个人的每一式进行计算，选取角度误差较小姿势作为最终的预判姿势，大大降低误差率。在图片多人解析的过程中，将每一种关键点的集合看作为一个大的节点，可以排除掉很多错误的连接方式。接下来需要对生成树的每两层之间的图使用二分图最大权匹配算法就可以得到最优的匹配。进一步提升姿势预测的准确性。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。