基于风格迁移和AR穿戴设施的运动技能学习方法及装置

摘要

本申请涉及一种基于风格迁移和AR穿戴设施的运动技能学习方法及装置。所述方法包括：对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中该指定时刻的视频帧进行迁移，得到动作转移切片；根据视频叠加流和动作转移切片进行运动技能学习。采用本方法能够提高运动技能学习准确率。

说明书

技术领域

本申请涉及在线教育、运动训练学和增强现实领域技术领域，特别是涉及一种基于风格迁移和AR穿戴设施的运动技能学习方法、装置、计算机设备和存储介质。

背景技术

由于MOOC教学模式的线上特性的限制，运动培训、工程实践、军事训练等与物理世界紧密耦合的实操类课程，目前均难以在MOOC平台上取得良好的教学效果。

然而，目前面向MOOC教育方案，已能构建学习环境的数字孪生，使得学习者可以身临其境地体验到课程的虚拟环境设定(如虚拟运动场、虚拟机床、虚拟实验室等)，但仍然缺乏对课程教学内容本身的赋能，无法使学习者有效地练习领会课程中示范讲解的动作要领，更难以针对性地纠正自身的错误动作。以运动训练MOOC课程为例，存在的核心难题主要在于以下三大方面：1)“学-练”时空脱节——在运动状态下，学习者难以同时兼顾线上的授课示范动作和自身实时完成的动作。近年来新兴的“智能全身镜”等固定显示装置能在显示器中显示MOOC授课视频、并通过镜面反射原理使得用户观看到自身动作完成情况，但无法解决学习者因动作需要而导致视线离开显示装置、造成视野盲区问题；此类方法也无法支持更大的运动幅度和活动区域范围。此外，MOOC授课人示范动作、学习者自身实时动作这两类动作序列的完成时间点必须匹配一致，如此才能实现准确的动作比对、使学习者高效地发现和纠正自身在动作、节奏、速度等方面的错误。2)“教-学”双方个体特征差异大——学习者(观察或者拍摄到的)自身动作与MOOC视频(拍摄的)授课人的示范动作，除了可能存在因动作要领完成度不同造成的关节角度差异，还存在多方面的与关节角度无关的差异，使得学习者难以直观有效地通过视频比对来实现迅速的动作纠正。这些关节角度无关的差异包括如年龄、性别、体型体貌、服饰、运动器材、摄像拍摄角度、焦距远近，等等。3)动捕分析系统设备笨重且昂贵——现有动作捕捉与分析系统，存在严重的环境、装备和配套软件依赖，全身反光球、红外动捕相机、绿幕等配套条件的价格昂贵、条件苛刻、便携性差，往往还需要专业技术人员来提供高度的人工干涉和介入。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高运动技能学习准确率的基于风格迁移和AR穿戴设施的运动技能学习方法、装置、计算机设备和存储介质。

一种基于风格迁移和AR穿戴设施的运动技能学习方法，所述方法包括：

获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；

对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；

根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；

利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；

根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；

根据视频叠加流和动作转移切片进行运动技能学习。

在其中一个实施例中，获取教学动作影像视频的过程包括：从MOOC平台获取授课人示范动作视频，通过智能终端现场实时拍摄穿戴了AR穿戴设施的学习者动作视频，基于WIFI Direct协议，在智能终端与AR穿戴设施间实现进行低延时的数据传输。

在其中一个实施例中，根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流，包括：

从授课人示范动作视频流中获取授课人示范动作的目标视频帧，利用人体网格恢复工具套件对源视频帧和目标视频帧进行计算，得到源视频帧和目标视频帧对应的关联映射；关联映射包括弱透视投影、体型参数和3D人体网格；

根据元素级地匹配源视频帧和目标视频帧对应的关联映射，得到变换流；变换流指的是从源视频帧的关联映射到目标视频帧的关联映射的变换矩阵；

将源视频帧进行分解，得到背景投影分量和前景投影分量；

利用变换流对源视频帧的关联映射进行矩阵变换运算，得到目标视频帧到源视频帧的变换投影分量；

利用背景投影分量、前景投影分量和变换投影分量对预先构建的自编码神经网络模型进行训练，得到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型；

将源视频帧和授课人示范动作的目标视频帧输入到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型后得到的三张输出图片进行逐像素整合，得到矫正后的学习者动作视频流。

在其中一个实施例中，利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流，包括：

对矫正后的学习者动作视频流和学习者动作视频流进行背景透明化处理，得到矫正后的学习者动作形象和矫正前的实际形象；

利用重心中轴线将矫正后的学习者动作形象与矫正前的实际形象对准重合，矫正前的实际形象以半透明方式在矫正后的学习者动作形象上层叠加，得到堆叠后的视频流；

根据WIFI Direct协议将堆叠后的视频流低延时地传输到AR穿戴设施，通过AR穿戴设施视觉成像模块折射到学习者视网膜进行在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流。

在其中一个实施例中，根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片，包括：

基于3D骨架提取工具K3M，从学习者动作视频流中学习者指定时刻的单帧图片中提取3D骨架图，根据发力链原理对3D骨架图沿着“腿-髋-四肢”的核心发力链先后顺序，逐级移动关节位置，在每一次移动时得到动作转移切片中的一帧，直至完全调整到该指定时刻的矫正后的学习者动作视频帧的动作姿态，得到完整的动作转移切片。

在其中一个实施例中，根据视频叠加流和动作转移切片进行运动技能学习，包括：

将视频叠加流和动作转移切片通过AR穿戴设施显示给用户，辅助指导学习者进行动作纠正。

一种基于风格迁移和AR穿戴设施的运动技能学习装置，所述装置包括：

视频流采样模块，用于获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；

风格迁移算法模块，用于根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；

堆叠比对模块，用于利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；

运动技能学习模块，用于根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；根据视频叠加流和动作转移切片进行运动技能学习。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；

对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；

根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；

利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；

根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；

根据视频叠加流和动作转移切片进行运动技能学习。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；

对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；

根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；

利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；

根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；

根据视频叠加流和动作转移切片进行运动技能学习。

上述基于风格迁移和AR穿戴设施的运动技能学习方法、装置、计算机设备和存储介质，首先根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流，基于风格迁移算法，将学习者本人的与关节角度无关的个性化特征，迁移到MOOC视频授课人上，从而使得生成的视频既保留了授课人的标准动作，又符合学习者本人的体型体貌等个性特点，利用AR穿戴设施对矫正后的学习者动作视频流和矫正前的学习者动作视频流进行实时堆叠和在线比对，学习者通过对两种动作的在线比对，学习者可以直接实时比对自身动作与个性化示范动作(即矫正后的学习者动作)的差异，快速有效地对技术动作进行矫正,实现动作的自主、实时矫正，并且AR穿戴设施相较于动捕分析系统设备价格低，普适性更高，根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片，动作转移切片为沿着“腿-髋-四肢”的核心发力链先后顺序、逐级移动关节位置直到与矫正后的学习者动作关键帧重合的有序移动序列，根据动作切片来辅助指导学习者进行动作纠正可以具体指导学习者矫正自身动作，提高于运动技能学习的准确性。

附图说明

图1为一个实施例中一种基于风格迁移和AR穿戴设施的运动技能学习方法的应用场景图；

图2为一个实施例中运动技能学习方法应用场景示意图；

图3为一个实施例中授课人示范动作的个性化风格迁移模型示意图；

图4为另一个实施例中关节逐级迁移算法示意图；

图5为一个实施例中一种基于风格迁移和AR穿戴设施的运动技能学习装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种基于风格迁移和AR穿戴设施的运动技能学习方法，包括以下步骤：

步骤102，获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；对学习者动作视频流进行采样，得到学习者本人动作的源视频帧。

步骤104，根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流。

将源视频帧迁移到授课人示范动作视频流中，将学习者体型、拍摄角等与关节角度无关的特征迁移到示范动作视频中的标准肢体姿态，使得生成的视频既保留了授课人的标准动作，又符合学习者本人的体型体貌等个性特点，解决了现有技术中由于授课人和学习者由于个体差异较大，不能准确学习授课人动作的问题。

步骤106，利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流。

利用AR穿戴设施对矫正后的学习者动作视频流和矫正前的学习者动作视频流进行实时堆叠和在线比对，学习者可以直接实时比对自身动作与个性化示范动作(即矫正后的学习者动作)的差异，快速有效地对技术动作进行矫正，并且AR穿戴设施相较于动捕分析系统设备价格低，普适性更高。学习者通过对两种动作的在线比对，实现动作的自主、实时矫正.

步骤108，根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；根据视频叠加流和动作转移切片进行运动技能学习。

利用关节逐级迁移算法，对学习者动作视频流中学习者指定时刻的单帧图片(即关键动作帧)，向该时刻矫正后的学习者动作视频帧进行迁移，得到动作转移切片，动作转移切片为沿着“腿-髋-四肢”的核心发力链先后顺序、逐级移动关节位置直到与矫正后的学习者动作关键帧重合的有序移动序列，根据动作切片来辅助指导学习者进行动作纠正可以具体指导学习者矫正自身动作，向学习者提供具体动作矫正指导，提高于运动技能学习的准确性。

上述基于风格迁移和AR穿戴设施的运动技能学习方法中，首先根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流，基于风格迁移算法，将学习者本人的与关节角度无关的个性化特征，迁移到MOOC视频授课人上，从而使得生成的视频既保留了授课人的标准动作，又符合学习者本人的体型体貌等个性特点，利用AR穿戴设施对矫正后的学习者动作视频流和矫正前的学习者动作视频流进行实时堆叠和在线比对，学习者可以直接实时比对自身动作与个性化示范动作(即矫正后的学习者动作)的差异，快速有效地对技术动作进行矫正，并且AR穿戴设施相较于动捕分析系统设备价格低，普适性更高，根据关节逐级迁移算法，将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片，动作转移切片为沿着“腿-髋-四肢”的核心发力链先后顺序、逐级移动关节位置直到与矫正后的学习者动作关键帧重合的有序移动序列，根据动作切片来辅助指导学习者进行动作纠正可以具体指导学习者矫正自身动作，提高于运动技能学习的准确性。

在其中一个实施例中，获取教学动作影像视频的过程包括：从MOOC平台获取授课人示范动作视频，通过智能终端现场实时拍摄穿戴了AR穿戴设施的学习者动作视频，基于WIFI Direct协议，在智能终端与AR穿戴设施间实现进行低延时的数据传输。

如图2所示，基于WIFI Direct协议，在智能终端与AR穿戴设施间实现进行低延时的数据传输。该协议无需额外通过互联网或局域网AP进行连网数据传输，非常适合户外运动条件的无网环境。此外WIFI Direct协议为无线协议，智能终端不必与用户佩戴的AR穿戴设施进行有线连接，用户无需随身携带智能终端，从而便于灵活完成大幅度、高强度的肢体动作。

在其中一个实施例中，根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流，包括：

从授课人示范动作视频流中获取授课人示范动作的目标视频帧，利用人体网格恢复工具套件对源视频帧和目标视频帧进行计算，得到源视频帧和目标视频帧对应的关联映射；关联映射包括弱透视投影、体型参数和3D人体网格；

根据元素级地匹配源视频帧和目标视频帧对应的关联映射，得到变换流；变换流指的是从源视频帧的关联映射到目标视频帧的关联映射的变换矩阵；

将源视频帧进行分解，得到背景投影分量和前景投影分量；

利用变换流对源视频帧的关联映射进行矩阵变换运算，得到目标视频帧到源视频帧的变换投影分量；

利用背景投影分量、前景投影分量和变换投影分量对预先构建的自编码神经网络模型进行训练，得到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型；

将源视频帧和授课人示范动作的目标视频帧输入到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型后得到的三张输出图片进行逐像素整合，得到矫正后的学习者动作视频流。

在具体实施例中，从授课人示范动作视频流中获取授课人示范动作的目标视频帧，基于目前成熟的人体网格恢复工具套件(如ResNet-50模型3D姿态评估器HMR)对源视频帧和目标视频帧进行计算，分别得到源视频帧和目标视频帧对应的关联映射Map

利用Map

利用变换流对源视频帧的关联映射Map

利用背景投影分量、前景投影分量和变换投影分量这三类数据源，对预先构建的自编码神经网络模型分别进行训练，分别得到背景投影分量的自编码神经网络模型M

将源视频帧和授课人示范动作的目标视频帧输入到所述背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型后得到的三张输出图片进行逐像素整合，得到矫正后的学习者动作视频流。

其中，预先构建的自编码神经网络模型优选为Autoencoder。如图3所示，基于迁移学习，将学习者体型、拍摄角等与关节角度无关的特征迁移到示范动作视频(VT)中的标准肢体姿态，从而获得既符合学习者个人实际情况又符合标准动作规范的模板视频(VT’)。具体地，对VT中的每一帧图片Pt，采用基于自编码神经网络模型的风格迁移算法。

在其中一个实施例中，利用AR穿戴设施对矫正后的学习者动作视频流和矫正前的学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流，包括：

对矫正后的学习者动作视频流和学习者动作视频流进行背景透明化处理，得到矫正后的学习者动作形象和矫正前的实际形象；

利用重心中轴线将矫正后的学习者动作形象与矫正前的实际形象对准重合，矫正前的实际形象以半透明方式在矫正后的学习者动作形象上层叠加，得到堆叠后的视频流；

根据WIFI Direct协议将堆叠后的视频流低延时地传输到AR穿戴设施，通过AR穿戴设施视觉成像模块折射到学习者视网膜进行在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流。

在具体实施例中，在智能终端完成上述人物视频个性特征迁移和动作生成、并对视频流中的背景作透明化处理后，得到了授课人个性化示范动作(也即矫正后的学习者动作形象)。在其上叠加学习者实际的运动动作：基于重心中轴线将矫正后的学习者形象和学习者人像对准，后者以半透明方式在上层叠加。通过这种叠加，学习者能够同时观察到个性化标准动作和自身实际动作完成情况，可以直接比较发现自身动作与标准动作的差异之处，从而能够对自身的动作姿态进行自我在线纠正。

基于WIFI Direct协议，将上述叠加后的视频流低延时地传输到AR穿戴设施，再通过AR穿戴设施的视觉成像模块折射到学习者视网膜，使学习者通过对本人真实动作与本人矫正动作的视觉对比，在线、自主完成动作矫正，如图2，从而使得学习者眼中所呈现的视频只保留视频中人物的图像(AR折射系统所呈人像本身也具有一定半透明度，不会完全遮挡视线)，而背景则仍为真实的外部环境，从而保证在学习时能够与现场场地设施进行真实、安全的互动。

在其中一个实施例中，根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片，包括：

基于目前成熟的3D骨架提取工具K3M，从学习者动作视频流中学习者指定时刻的单帧图片(即关键动作帧)中提取其中的3D骨架图，根据发力链原理对所述关键动作帧沿着“腿-髋-四肢”的核心发力链先后顺序，逐级移动关节位置，在每一次移动时得到动作转移切片中的一帧，直至完全调整到指定时刻的矫正后的学习者动作视频帧的动作姿态，得到完整的动作转移切片。

在其中一个实施例中，根据视频叠加流和动作转移切片进行运动技能学习，包括：

将动作转移切片通过AR穿戴设施显示给用户，辅助指导学习者进行动作纠正。

在具体实施例中，如图4所示，基于目前成熟的3D骨架提取工具K3M，从学习者动作视频流中学习者指定时刻的单帧图片(即关键动作帧)中，提取3D骨架姿态图。然后采取如下关节逐级迁移算法：面向关键动作帧，基于发力链原理，对学习者真实动作的关键帧(f

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种基于风格迁移和AR穿戴设施的运动技能学习装置，包括：视频流采样模块502、风格迁移算法模块504、堆叠比对模块506和运动技能学习模块508，其中：

视频流采样模块502，用于获取教学动作影像视频；教学动作影像视频包括授课人示范动作视频流和学习者动作视频流；对学习者动作视频流进行采样，得到学习者本人动作的源视频帧；

风格迁移算法模块504，用于根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流；

堆叠比对模块506，用于利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流；

运动技能学习模块508，用于根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片；根据视频叠加流和动作转移切片进行运动技能学习。

在其中一个实施例中，获取教学动作影像视频的过程包括：从MOOC平台获取授课人示范动作视频，通过智能终端现场实时拍摄穿戴了AR穿戴设施的学习者动作视频，基于WIFI Direct协议，在智能终端与AR穿戴设施间实现进行低延时的数据传输。

在其中一个实施例中，风格迁移算法模块504还用于根据风格迁移算法将源视频帧迁移到授课人示范动作视频流中，得到矫正后的学习者动作视频流，包括：

从授课人示范动作视频流中获取授课人示范动作的目标视频帧，利用人体网格恢复工具套件对源视频帧和目标视频帧进行计算，得到源视频帧和目标视频帧对应的关联映射；关联映射包括弱透视投影、体型参数和3D人体网格；

根据元素级地匹配源视频帧和目标视频帧对应的关联映射，得到变换流；变换流指的是从源视频帧的关联映射到目标视频帧的关联映射的变换矩阵；

将源视频帧进行分解，得到背景投影分量和前景投影分量；

利用变换流对源视频帧的关联映射进行矩阵变换运算，得到目标视频帧到源视频帧的变换投影分量；

利用背景投影分量、前景投影分量和变换投影分量对预先构建的自编码神经网络模型进行训练，得到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型；

将源视频帧和授课人示范动作的目标视频帧输入到背景投影分量的自编码神经网络模型、前景投影分量的自编码神经网络模型和变换投影分量的自编码神经网络模型后得到的三张输出图片进行逐像素整合，得到矫正后的学习者动作视频流。

在其中一个实施例中，堆叠比对模块506还用于利用AR穿戴设施对矫正后的学习者动作视频流和学习者动作视频流进行实时堆叠和在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流，包括：

对矫正后的学习者动作视频流和学习者动作视频流进行背景透明化处理，得到矫正后的学习者动作形象和矫正前的实际形象；

利用重心中轴线将矫正后的学习者动作形象与矫正前的实际形象对准重合，矫正前的实际形象以半透明方式在矫正后的学习者动作形象上层叠加，得到堆叠后的视频流；

根据WIFI Direct协议将堆叠后的视频流低延时地传输到AR穿戴设施，通过AR穿戴设施视觉成像模块折射到学习者视网膜，进行在线比对，得到学习者真实动作与学习者矫正动作的视频叠加流。

在其中一个实施例中，运动技能学习模块508还用于根据关节逐级迁移算法将学习者动作视频流中学习者指定时刻的单帧图片向矫正后的学习者动作视频流中指定时刻的视频帧进行迁移，得到动作转移切片，包括：

基于3D骨架提取工具K3M，从学习者动作视频流中学习者指定时刻的单帧图片中提取3D骨架图，根据发力链原理对3D骨架图沿着“腿-髋-四肢”的核心发力链先后顺序，逐级移动关节位置，在每一次移动时得到动作转移切片中的一帧，直至完全调整到指定时刻的矫正后的学习者动作视频帧的动作姿态，得到完整的动作转移切片。

在其中一个实施例中，运动技能学习模块508还用于根据视频叠加流和动作转移切片进行运动技能学习，包括：

将视频叠加流和动作转移切片通过AR穿戴设施显示给用户，辅助指导学习者进行动作纠正。

关于基于风格迁移和AR穿戴设施的运动技能学习装置的具体限定可以参见上文中对于基于风格迁移和AR穿戴设施的运动技能学习方法的限定，在此不再赘述。上述基于风格迁移和AR穿戴设施的运动技能学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于风格迁移和AR穿戴设施的运动技能学习方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。

在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。