人体连续动作相似性评价方法及评价装置

摘要

本申请提供了一种人体连续动作相似性评价方法及评价装置，评价方法包括：获取第一人体运动时的彩色图像序列和深度图像序列；获取第一人体关键点相对相机坐标系的三维坐标；截取第一人体关键点的坐标序列并构成模板动作库；获取第二人体运动时的一帧彩色图像和深度图像；获取第二人体关键点相对相机坐标系的三维坐标；获取从模板动作库中选取的待对比的模板动作序列的时间长度；将截取的与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列作为输入动作序列；对输入动作和模板动作的相似性进行评价。本申请能够对用户输入的连续性动作与模板动作之间的相似性进行实时、动态评价。

说明书

技术领域

本申请属于人体运动分析技术领域，具体涉及一种人体连续动作相似性评价方法及评价装置。

背景技术

随着科学技术的进步和人类生活水平的提高，人们对各类体育运动的需求日益增长。在运动过程中，人们不只是满足于单纯的运动量，而是更在意自身动作与模板动作的相似性。然而，由于时间、场地和人数的限制，人们往往难以随时获得教练的动作指导。另外，即使是通过观看教学视频进行学习，也会因为理解能力的差异和针对性教学的欠缺，导致人们练习时的动作与模板动作存在较大差异。现有技术中存在输入动作与模板动作的差异性的静态对比，还不能对输入动作与模板动作的差异性进行动态对比。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种人体连续动作相似性评价方法及评价装置。

根据本申请实施例的第一方面，本申请提供了一种人体连续动作相似性评价方法，其包括以下步骤：

搭建模板动作库，其具体过程为：

获取第一人体运动时的彩色图像序列和深度图像序列；

获取第一人体关键点相对相机坐标系的三维坐标；

截取第一人体关键点的坐标序列并将其作为待对比的模板动作序列，模板动作序列构成模板动作库；

获取输入动作序列，其具体过程为：

获取第二人体运动时的一帧彩色图像和深度图像；

获取第二人体关键点相对相机坐标系的三维坐标；

从模板动作库中选取待对比的模板动作序列，并获取该模板动作序列的时间长度；

截取与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列，并将其作为输入动作序列；

对输入动作和模板动作的相似性进行实时评价，其具体过程：

分别提取模板动作序列的特征和输入动作序列的特征；

分别对模板动作序列的特征和输入动作序列的特征进行标准化处理；

计算输入动作序列与模板动作序列中各对应特征的距离值；

根据各对应特征的距离值计算得到综合相似性评价值；

根据综合相似性评价值得到最终的相似性评价结果。

上述人体连续动作相似性评价方法中，所述第一人体关键点和第二人体关键点均包括两肩中心、头、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝和左踝。

上述人体连续动作相似性评价方法中，所述获取第一人体关键点相对相机坐标系的三维坐标的过程为：

采用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标；

利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标；

所述获取第二人体关键点相对相机坐标系的三维坐标的过程为：

采用深度学习方法获得第二人体关键点在获取的一帧彩色图像上的像素坐标；

利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。

上述人体连续动作相似性评价方法中，所述模板动作序列的特征和输入动作序列的特征均包括人体中心特征、杆件方向特征和人体末端位置特征。

进一步地，所述人体中心特征包括两肩中心的三维坐标；所述杆件方向特征包括两肩中心与头之间的、两肩中心与右肩之间的、右肩与右肘之间的、右肘与右腕之间的、两肩中心与左肩之间的、左肩与左肘之间的、左肘与左腕之间的、两肩中心与右髋之间的、右髋与右膝之间的、右膝与右踝之间的、两肩中心与左髋之间的、左髋与左膝之间的以及左膝与左踝之间的杆件方向向量；所述人体末端位置特征包括头、右腕、左腕、右踝和左踝的三维坐标。

更进一步地，所述分别对模板动作序列的特征和输入动作序列的特征进行标准化处理包括：对人体中心特征的三维坐标进行Zscore数据标准化处理、对杆件方向特征进行标准化处理以及对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理。

更进一步地，所述对人体中心特征的三维坐标进行Zscore数据标准化处理的过程为：

数据标准化后第i帧动作序列中两肩中心的三维坐标为：

式中，x

更进一步地，所述对杆件方向特征进行标准化处理的过程为：

式中，

更进一步地，所述对头、右腕、左腕、右踝和左踝的三维坐标进行Zscore数据标准化处理的过程为：

数据标准化后的第i帧动作序列中头、右腕、左腕、右踝和左踝的三维坐标为：

式中，x

更进一步地，所述根据各对应特征的距离值计算得到综合相似性评价值的过程为：

将人体中心特征P

R

式中，k

将杆件方向特征

式中，k

将人体末端位置特征

式中，k

根据人体中心特征、杆件方向特征和人体末端位置特征的单项相似性评价值可以得到综合相似性评价值：

R

式中，ω

更进一步地，所述根据综合相似性评价值得到最终的相似性评价结果的过程为：

逐帧计算输入动作序列对应的综合相似性评价值；

确定综合相似性评价值的历史值的局部最小值；

将综合相似性评价值的历史值的局部最小值作为最终的相似性评价结果。

根据本申请实施例的第二方面，本申请还提供了一种人体连续动作相似性评价装置，其包括存储器和处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行上述任一项所述的人体连续动作相似性评价方法中的步骤。

根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请提供的人体连续动作相似性评价方法通过搭建模板动作库，并根据从模板动作库中选取的待对比的模板动作序列获取输入动作序列，通过输入动作序列与模板动作序列中各对应特征的距离值计算得到综合相似性评价值，进而根据综合相似性评价值得到最终的相似性评价结果，本申请提供的人体连续动作相似性评价方法能够对用户输入的连续性动作与模板动作之间的相似性进行实时、动态评价，从而使用户能够清楚的了解自身的动作与模板动作之间的差异。

本申请提供的人体连续动作相似性评价方法中通过三种人体特征的选取与处理能够更好地解决人体的身高和体格带来的尺度差异问题，其中人体中心特征的选取能够更好地表征整个人体位置的移动规律，解决一些人体关节运动不显著，却有人体位移运动(例如跳跃)问题；人体末端位置特征的选取能够完成复杂动作的相似性评价，例如空翻和倒立等。

本申请提供的人体连续动作相似性评价方法中，根据综合相似性评价值的历史值的局部最小值，可以将该局部最小值对应的输入动作序列段与模板动作序列段作为最佳对齐的序列段，进而确定最佳对齐的序列段中的起始帧和结束帧，避免人为主观地确定起始帧和结束帧；另外，最佳对齐的序列段中的起始帧和结束帧的确定能够方便用户了解其输入动作中哪些动作与模板动作相似度较高。

本申请提供的人体连续动作相似性评价装置通过连续采集人体运动时的图像，对图像中三种人体特征的选取与处理，进而对输入动作和模板动作进行动态对比分析，能够为用户提供其自身动作与模板动作之间的相似性评价报告，进而为用户提供针对性的动作指导意见。由于本申请不需要依托专业测量设备，在不同场景下配置RGBD深度相机即可使用，具有广泛的应用价值。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。

附图说明

下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。

图1为本申请实施例提供的一种人体连续动作相似性评价方法的流程图。

图2为本申请实施例提供的一种人体连续动作相似性评价方法中人体关键点的排布示意图。

图3为本申请实施例提供的一种人体连续动作相似性评价方法中对输入动作和模板动作的相似性进行实时评价的流程图。

附图标记说明：

1、两肩中心；2、头；3、右肩；4、右肘；5、右腕；6、左肩；7、左肘；8、左腕；9、右髋；10、右膝；11、右踝；12、左髋；13、左膝；14、左踝。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。

本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本申请实施例提供的一种人体连续动作相似性评价方法的流程图。

如图1所示，本申请提供的人体连续动作相似性评价方法包括以下步骤：

S1、搭建模板动作库，其具体过程为：

S11、获取第一人体运动时的彩色图像序列和深度图像序列。

具体地，可以采用RGBD深度相机获取第一人体在运动时的彩色图像序列和深度图像序列。

S12、采用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标。

图2为本申请实施例提供的一种人体连续动作相似性评价方法中人体关键点的排布示意图。

如图2所示，人体关键点包括两肩中心1、头2、右肩3、右肘4、右腕5、左肩6、左肘7、左腕8、右髋9、右膝10、右踝11、左髋12、左膝13和左踝14。

S13、截取第一人体关键点的坐标序列并将其作为待对比的模板动作序列，模板动作序列构成模板动作库。

S2、获取输入动作序列，其具体过程为：

S21、获取第二人体运动时的一帧彩色图像和深度图像；

S22、采用深度学习方法获得第二人体关键点在获取的一帧彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。

S23、从模板动作库中选取待对比的模板动作序列，并获取该模板动作序列的时间长度。

S24、判断输入的第二人体关键点坐标序列的时间长度是否大于或等于模板动作序列的时间长度，如果是，则截取与模板动作序列的时间长度相同且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列，并将该截取的第二人体关键点坐标序列作为输入动作序列；否则，返回步骤S21重新采集第二人体运动时的彩色图像和深度图像。

例如，假设模板动作序列的时间点依次为：0、0.004、0.008、……、1.0，时间单位为秒，则模板动作序列的时间长度为1.0秒。

假设输入的第二人体关键点坐标序列的时间点依次为：0、0.004、0.008、……、1.0，由于输入的第二人体关键点坐标序列的时间会随着相机开启的时间一直增加，当输入的第二人体关键点坐标序列的最新时间大于1.0秒之后，例如1.2秒，则选取0.2秒到1.2秒的第二人体关键点坐标序列作为输入动作序列。再例如，当前输入的第二人体关键点坐标序列的最新时间为2.6秒，则选取1.6秒到2.6秒的第二人体关键点坐标序列作为输入动作序列。该过程可以理解为随着数据输入时间的增加，滑窗选取最新的第二人体关键点坐标序列并将其作为输入动作序列。

图3为本申请实施例提供的一种人体连续动作相似性评价方法中对输入动作和模板动作的相似性进行实时评价的流程图。

S3、如图3所示，对输入动作和模板动作的相似性进行实时评价，其具体过程为：

S31、分别提取模板动作序列的特征和输入动作序列的特征，其中，模板动作序列的特征和输入动作序列特征均包括人体中心特征、杆件方向特征和人体末端位置特征。

如图2所示，选取两肩中心1的三维坐标并将其作为人体中心特征。

选取人体杆件[1,2]、[1,3]、[3,4]、[4,5]、[1,6]、[6,7]、[7,8]、[1,9]、[9,10]、[10,11]、[1,12]、[12,13]、[13,14]共13个方向向量作为杆件方向特征。

选取头2、右腕5、左腕8、右踝11和左踝14的三维坐标作为人体末端位置特征。

S32、对人体中心特征的三维坐标、杆件方向特征的三维坐标和人体末端位置特征的三维坐标分别进行标准化处理，得到标准化后的人体中心特征、杆件方向特征和人体末端位置特征，其具体包括：

由于人体关键点的三维坐标是相对相机坐标系的，因此坐标值受相机的位置和姿态的影响，同时所选取的模板动作序列的特征和输入动作序列的特征需要适应不同身高和体格的人，因此需要对人体中心特征的三维坐标进行Zscore数据标准化处理，其具体处理过程为：

数据标准化后第i帧动作序列中两肩中心的三维坐标，也就是数据标准化后的人体中心特征P

式中，x

为了避免不同身高和体格的人带来的尺度不统一的问题，对杆件方向特征进行标准化处理，其具体过程为：

式中，

对头2、右腕5、左腕8、右踝11和左踝14的三维坐标进行Zscore数据标准化处理，得到数据标准化后的人体末端位置特征

其中，数据标准化后的第i帧动作序列中头2、右腕5、左腕8、右踝11和左踝14的三维坐标，也就是数据标准化后的人体末端位置特征

式中，x

S33、利用DTW(Dynamic Time Warping，动态时间归整)算法计算输入动作序列与模板动作序列中各对应特征的距离值。

其中，DTW算法常用于两个时间序列的相似性计算，是一种通过动态规划算法寻找基于优化目标的最小累计距离路径。

本申请中模板动作序列与输入动作序列的人体中心特征P

本申请中模板动作序列与输入动作序列的杆件方向特征

本申请中模板动作序列与输入动作序列的人体末端位置特征

S34、根据人体中心特征P

将人体中心特征P

R

式中，k

将杆件方向特征

式中，k

将人体末端位置特征

式中，k

根据人体中心特征、杆件方向特征和人体末端位置特征的单项相似性评价值可以得到综合相似性评价值：

R

式中，ω

S35、根据综合相似性评价值得到最终的相似性评价结果，其具体过程为：

逐帧计算输入动作序列对应的综合相似性评价值R

确定综合相似性评价值的历史值的局部最小值。

将综合相似性评价值的历史值的局部最小值作为最终的相似性评价结果。

另外，根据综合相似性评价值的历史值的局部最小值，可以将该局部最小值对应的输入动作序列段与模板动作序列段作为最佳对齐的序列段。

分别确定最佳对齐的序列段中输入动作序列段的起始帧和结束帧以及模板动作序列段的起始帧和结束帧。通过确定最佳对齐的序列段中的起始帧和结束帧，方便用户了解其输入动作中哪些动作与模板动作相似度较高。

在示例性实施例中，本申请实施例还提供了一种人体连续动作相似性评价系统，其包括模板动作库搭建模块、输入动作序列获取模块和相似性评价模块。

其中，模板动作库搭建模块用于根据第一人体关键点的坐标序列搭建模板动作库。

输入动作序列获取模块用于获取与从模板动作库中选取的待对比的模板动作序列时间长度相同的最新的第二人体关键点的坐标序列，并将其作为输入动作序列。

相似性评价模块用于根据待对比的模板动作序列和输入动作序列中人体中心特征的距离值、杆件方向特征的距离值和人体末端位置特征的距离值，综合计算得到相似性评价结果。

具体地，模板动作库搭建模块包括第一图像采集模块、第一三维重建模块和搭建模块。

其中，第一图像采集模块用于采集第一人体运动时的彩色图像序列和深度图像序列。

第一三维重建模块用于利用深度学习方法获得第一人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第一人体关键点的三维重建，得到第一人体关键点相对相机坐标系的三维坐标。

搭建模块用于利用截取的第一人体关键点的坐标序列搭建模板动作库。

具体地，输入动作序列获取模块包括第二图像采集模块、第二三维重建模块、模板动作序列选取模块和输入动作序列截取模块。

其中，第二图像采集模块用于采集第二人体运动时的彩色图像序列和深度图像序列。

第二三维重建模块用于利用深度学习方法获得第二人体关键点在各彩色图像上的像素坐标，并利用彩色图像与深度图像的映射关系完成第二人体关键点的三维重建，得到第二人体关键点相对相机坐标系的三维坐标。

模板动作序列选取模块用于从模板动作库中选取待对比的模板动作序列，并获取模板动作序列的时间长度。

输入动作序列截取模块用于截取与模板动作序列的时间长度相同的且截止时间为当前输入的第二人体关键点坐标序列最新时间的第二人体关键点坐标序列并将其作为输入动作序列。

具体地，相似性评价模块包括特征提取模块、标准化处理模块、第一计算模块、第二计算模块和相似性评价结果输出模块。

其中，特征提取模块用于分别提取模板动作序列的特征和输入动作序列的特征，其中，模板动作序列的特征和输入动作序列特征均包括人体中心特征、杆件方向特征和人体末端位置特征。

标准化处理模块用于分别对模板动作序列和输入动作序列中的人体中心特征的三维坐标、杆件方向特征的三维坐标和人体末端位置特征的三维坐标分别进行标准化处理，得到标准化后的人体中心特征、杆件方向特征和人体末端位置特征。

第一计算模块用于采用DTW算法分别计算输入动作序列与模板动作序列中对应的人体中心特征、杆件方向特征和人体末端位置特征的距离值。

第二计算模块用于根据人体中心特征的距离值、杆件方向特征的距离值和人体末端位置特征的距离值，计算得到综合相似性评价值。

相似性评价结果输出模块用于根据综合相似性评价值输出最终的相似性评价结果。

需要说明的是：上述实施例提供的微电网中能量管理算法的开发与测试系统仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将人体连续动作相似性评价系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的人体连续动作相似性评价系统与人体连续动作相似性评价方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，本申请实施例还提供了一种人体连续动作相似性评价装置，其包括存储器和处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的人体连续动作相似性评价方法。

其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。

在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的人体连续动作相似性评价方法。

上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。

以上所述仅表示本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。