首页> 中国专利> 评估方法、模型构建方法、教学机、教学系统及电子设备

评估方法、模型构建方法、教学机、教学系统及电子设备

摘要

本申请公开了一种评估方法、模型构建方法、教学机、教学系统及电子设备。其中,方法包括:采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果。本申请可以实现节省用户健身时间,降低健身成本的技术效果。

著录项

  • 公开/公告号CN113128283A

    专利类型发明专利

  • 公开/公告日2021-07-16

    原文格式PDF

  • 申请/专利权人 沸腾时刻智能科技(深圳)有限公司;

    申请/专利号CN201911415218.2

  • 发明设计人 刘唯劼;

    申请日2019-12-31

  • 分类号G06K9/00(20060101);G06K9/62(20060101);G06F16/783(20190101);G06F16/732(20190101);

  • 代理机构11610 北京太合九思知识产权代理有限公司;

  • 代理人柴艳波;刘戈

  • 地址 518000 广东省深圳市龙岗区吉华街道三联社区赛格新城9号楼603

  • 入库时间 2023-06-19 11:52:33

说明书

技术领域

本申请属于计算机技术领域,尤其涉及一种评估方法、模型构建方法、教学机、教学系统及电子设备。

背景技术

现有技术中,用户在健身时,独立训练或者对着视频训练的方式,对自身动作是否正确无法准确判断,一般需要健身教练指导;需要专业私教一对一现场指导,用户与私教面对面进行交流,该方法需要用户与教练提前预约,二者同时去健身房进行训练,浪费时间较长,健身成本较高。

发明内容

有鉴于此,本申请提供一种评估方法、模型构建方法、教学机、教学系统及电子设备,以解决现有技术中用户运动需要专业指导时,浪费时间较多,运动成本较高的技术问题。

在本申请的一个实施例中,提供了一种评估方法。该方法包括:采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果。

在本申请的另一个实施例中,提供了一种模型构建方法,包括:获取训练项目的视频;对所述视频进行训练动作的拆分,得到拆解动作对应的视频帧;基于所述拆解动作对应的视频帧,构建所述动作模型;其中,所述动作模型用于对采集到的含有用户影像的图像信息中,用户的至少一个部位的动作信息进行评估。

在本申请的另一个实施例中,提供了一种教学机,包括:采集装置,用于采集含有用户影像的图像信息;处理器,用于获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;将所述评估结果发送至输出装置。

在本申请的另一个实施例中,提供了一种教学系统,包括:教学机,用于采集含有用户影像的图像信息;并将所述图像信息发送至服务端;服务端,用于获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;并将评估结果发送至所述教学机;所述教学机还用于输出所述用户的至少一个部位的动作信息的评估结果。

在本申请的另一个实施例中,提供了一种电子设备,所述电子设备,包括:存储器及处理器,其中,所述存储器,用于存储程序;所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果。

在本申请的另一个实施例中,提供了一种电子设备,所述电子设备,包括:存储器及处理器,其中,所述存储器,用于存储程序;所述处理器,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:获取训练项目的视频;对所述视频进行训练动作的拆分,得到拆解动作对应的视频帧;基于所述拆解动作对应的视频帧,构建所述动作模型;其中,所述动作模型用于对采集到的含有用户影像的图像信息中,用户的至少一个部位的动作信息进行评估。

本申请实施例提供的方案能够通过采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果的方式,实现了自动基于标准的动作模型对用户的动作信息进行评估的作用,该方案的评估方法具体到了对用户身体部分的动作细节评估,可以起到使用户能详细了解具体动作细节是否准确的作用,达到了节省用户运动时间,降低运动成本的技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1为本申请一实施例提供的评估方法的流程示意图;

图2为本申请一实施例提供的模型构建方法的流程示意图;

图3为本申请一实施例提供的教学系统的结构示意图;

图4为本申请一实施例提供的评估方法的流程示意图;

图5为本申请一实施例提供的教学机的结构示意图;

图6为本申请一实施例提供的评估装置的结构示意图;

图7为本申请一实施例提供的模型构建装置的结构示意图;

图8为本申请一实施例提供的教学系统的结构示意图;

图9为本申请一实施例提供的电子设备的结构示意图;

图10为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。

应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应当理解,尽管在本申请实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于监测”。类似地,取决于语境,短语“如果确定”或“如果监测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响应于监测(陈述的条件或事件)”。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1示出了本申请一实施例提供的评估方法的流程示意图。本申请实施例提供的所述方法的执行主体可以是一装置,所述装置可以为但不限于集成于智能手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、智能电视、膝上型便携计算机、台式计算机、智能穿戴设备等任意终端设备上的装置。如图1所示,所述评估方法,包括:

S101、采集含有用户影像的图像信息;

S102、获取用户参照的训练动作对应的动作模型;

S103、利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;

S104、输出所述用户的至少一个部位的动作信息的评估结果。

上述S101中,采集的含有用户影像的图像信息可以为二维信息或三维信息,可使用摄像头拍摄用户在运动时的图像信息,用户的运动类型可以为瑜伽、太极拳、康复训练、舞蹈训练等。

可选地,在拍摄含有用户的影像的图像信息时,可在拍摄地点设置一个或多个摄像头对用户进行拍摄。

在本申请的一些可选的实施例中,用户可参照标准的训练动作对应的视频进行运动,本方案中,对用于为用户提供参照作用的训练动作对应的视频建立了动作模型,标准的训练动作对应的一个拆解动作可对应一个动作模型,该动作模型可用于对图像信息中用户的至少一个部位的动作信息进行评估,并得到评估结果。其中,评估结果可以通过得分数进行表示,得分越高,表示图像信息中用户的至少一个部位的动作信息对应的动作越标准。或者,评估结果还可以包括表征错误或正确的判定信息。

在本申请的一些可选的实施例中,用户的一个部位对应一个动作模型,或者用户的多个部位对应一个动作模型。举例来说,以瑜伽(动作眼镜蛇式为例,头部可对应一个动作模型,或者头部、手臂、腿部共同对应的一个动作模型。

上述S104中,得到的评估结果可通过以下方式进行输出:以语音形式播报评估结果,或者以文字提示的方式显示评估结果。

本申请实施例提供的方案能够通过采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果的方式,实现了自动基于标准的动作模型对用户的动作信息进行评估的作用,该方案的评估方法具体到了对用户身体部分的动作细节评估,可以起到使用户能详细了解具体动作细节是否准确的作用,达到了节省用户运动时间,降低运动成本的技术效果。

本实施例中的动作模型可以是通过训练神经网络模型得到的。相应的,上述S103中“利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果”,可通过以下步骤进行实现:

S1001、从所述图像信息中,采集所述用户的人体特征点信息;

S1002、将所述人体特征点信息作为所述动作模型的入参,执行所述动作模型,得到所述用户的至少一个部位的动作信息的评估结果。

可选地,上述人体特征点信息可以为人体身体部位的关节点的信息。具体地,从图像信息中识别人体身体部位的关节点的信息的方式,可以通过以下方式进行实现:将所述图像信息作为预设模型的入参,执行所述预设模型,则得到图像信息中人体身体部位的关节点信息,其中,所述预设模型可以为神经网络模型。

可选地,上述S1001中“从所述图像信息中,采集所述用户的人体特征点信息”可通过以下步骤进行实现:

S1011、对所述图像信息进行识别,以识别出所述用户的人体关节点;

S1012、获取所述人体关节点的位置信息;

S1013、将所述人体关节点的位置信息作为所述人体特征点信息。

在本申请的一些可选的实施例中,上述采集的含有用户影像的图像信息可以为三维信息,识别出的人体关节点的位置信息,可以为人体关节点在含有用户影像的图像信息中的三维坐标信息。

可选地,上述采集的含有用户影像的图像信息可以为二维信息,识别出的人体关节点的位置信息,可以为人体关节点在含有用户影像的图像信息中的二维坐标信息。

可选地,所述本实施例提供的所述方法还包括:

S1021、获取训练项目中一拆解动作对应的初始训练模型;

S1022、获取样本集;

S1023、利用所述样本集,对所述初始训练模型进行训练,以得到所述动作模型。

在本申请的一些可选的实施例中,不同的拆解动作对应不同的动作模型,

可选地,上述初始训练模型以及动作模型都可以为神经网络模型,如卷积神经网络模型、全连接神经网络模型等。

在另一种可实现的技术方案中,本实施例中的动作模型为用于进行信息比对的标准信息。相应的,上述S103中“利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果”,还可以通过以下步骤进行实现:

S1031、对所述图像信息进行识别,以识别出所述用户的人体关节点;

S1032、获取所述人体关节点间的相对位置关系;

S1033、根据所述人体关节点间的相对位置关系,确定所述用户的至少一个部位的动作信息;

S1034、将所述用户的至少一个部位的动作信息与所述动作模型中相应部位的标准动作信息进行比对,得到所述至少一个部位的动作信息的评估结果。

在本申请的一些可选的实施例中,通过对人体关节点间的相对位置关系进行分析,可以判断出用户做的动作类型,而动作类型与人体部位的动作信息有关,可选地,上述动作信息可以为人体关节点间的相对位置的关系。

可选地,上述动作模型中可包括不同部位对应的标准动作信息,通过将获取到的用户的至少一个部位的动作信息与动作模型中相应部位的标准动作信息进行比对,可得到至少一个部位的动作信息的评估结果。其中,评估结果可以为所述至少一个部位的动作信息与动作模型中相应部位的标准动作信息比对时,与标准动作信息的相似度;具体可以通过相似度得分来表示,得分越高,表示图像信息中用户的至少一个部位的动作信息与标准动作信息越接近。

可选地,人体关节点间的相对位置关系可以为人体关节点间的相对坐标位置关系。例如:动作模型中的标准动作信息可以为用户参照的训练动作对应的人体腰部关节点、足部关节点、头部关节点、手部关节点的相对坐标位置;获取到的用户的至少一个部位的动作信息为获取到的用户的至少一个部位的动作对应的人体腰部关节点、足部关节点、头部关节点、手部关节点的相对坐标位置。

可选地,上述S102中“获取用户参照的训练动作对应的动作模型”可通过以下步骤进行实现:

S1041、获取当前教学视频的播放位置;

S1042、根据所述播放位置,确定所述用户参照的训练动作;

S1043、从本地或网络侧,获取所述训练动作对应的动作模型。

可选地,当前教学视频为用户在运动时参照的训练动作的视频,当前教学视频的播放位置可以为用户当前参照的训练动作对应的视频帧相对于教学视频总时长对应的播放时刻,或者当前播放帧的帧数。

可选地,上述S102中“获取用户参照的训练动作对应的动作模型”,还可以通过以下方式进行实现:

S1051、根据所述用户所属的学员等级,获取与所述学员等级适配的所述训练动作对应的动作模型;或者

S1052、响应于用户触发的等级选择操作,获取与用户选中的等级适配的所述训练动作对应的动作模型。

在本申请的一些可选的实施例中,不同等级的用户还可以对应与动作模型不同的匹配精度,动作模型可以根据匹配精度分不同级别,如低级(L)、中级(M)、高级(H)。对初学者,采用低级精度的动作模型进行匹配,让参与者获得继续学习的信心和动力;对持续晋升者,逐步采用中级精度、或进一步采用高级精度的动作模型进行匹配,让参与者持续获得提升和满足感。

可选地,用户的等级可以与动作模型的等级一一对应。

例如,用户的等级可以分为初级、中级、高级,分别对应的动作模型的精度为:低精度、中精度、高精度。

在本申请的一些可选的实施例中,在利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估以获得评估结果时,在用户的等级不同,以及对应的动作模型的等级不同时,可设定相应的不同的评估阈值对用户的至少一个部位的动作信息进行评估。

可选地,将所述用户的至少一个部位的动作信息与所述动作模型中相应部位的标准动作信息进行比对,得到所述至少一个部位的动作信息的评估结果时,可设定当用户的至少一个部位的动作信息与标准动作信息的相似度取值所述的区间不同时,得到的评估结果不同。

例如:当用户的至少一个部位的动作信息与标准动作信息的相似度大于80%小于85%时,得到评估结果对应的分数为80分,当用户的至少一个部位的动作信息与标准动作信息的相似度大于85%小于90%时,得到评估结果对应的分数为85。

可选地,不同精度等级的动作模型对应的相似度区间以及对应的评估结果可以不同。

更进一步地,每个动作模型的精度等级又可以分成不同的小级,如分为L1、L2、L3、M1、M2、M3、H1、H2、H3共9个小级。该级别可由用户选定或者系统根据算法设定。

在本申请的一些可选的实施例中,可选地,用户可通过注册相关应用软件,然后选择健身课程。用户根据交费不同、使用年限、其他因素等,分不同的等级并享受不同的免费课程及其他增值服务,如一定范围内的免费课程、呼叫远程真人教练指导等。

可选地,用户可通过触控、手机或平板App、MIC语音、红外或蓝牙遥控器以及键盘及鼠标中的一种或几种进行注册以及运动课程选择,优选触控手机或平板App的方式。

在本申请的一些可选的实施例中,所述评估方法可以通过摄像头采集人体手势控制动作,并运算和识别动作含义,进而控制用于为用户提供参照视频或者用于播放用户的动作回放视频的显示屏,例如手掌自上而下挥动,可控制显示屏下翻屏。

可选地,如果用户选择了不在免费范围内的课程(需要付费的课程),可通过手机或平板App支付费用。手机或平板App支付分两种方式,扫描支付或在线支付。扫描支付使用场景为:用户通过触控在显示屏上选择某一个课程后,如果该课程需要付费才能使用,则该用户通过手机或平板App扫描该课程的二维码进行付费。在线支付使用场景为:用户通过手机或平板App选择某一课程,如果该课程需要付费才能使用,则该用户直接在手机或平板App上在线支付该课程。

可选地所述方法还包括:

S1061、响应于用户触发的呼叫指令,获取与所述用户有关的训练信息;

S1062、基于所述训练信息确定对应的教练的信息;

S1063、根据所述教练的信息,向所述教练使用的终端发送呼叫请求。

在本申请的一些可选的实施例中,上述训练信息可包括以下至少之一:用户的等级信息、用户的评估结果、用户的历史运动信息。

可选地,上述教练的信息可包括以下至少之一:教练的从业年限、教练的指导收费标准、教练的性别信息、教练的年龄信息、教练擅长领域信息、教练的联系方式。

具体地,基于所述训练信息确定对应的教练的信息的方式可以为:将训练信息与预存的多个教练标识关联的多组匹配条件信息进行对比,得到训练信息与每组匹配条件信息的相似程度;

将相似程度满足预设条件的匹配条件信息关联的教练标识对应的信息作为所述教练的信息。其中,教练标识可以为教练的用户ID,匹配条件信息可以由教练本人输入的感兴趣的用户的等级信息、感兴趣的用户的评估结果、感兴趣的用户的历史运动信息;预设条件可以为相似程度的取值大于预设值;一个教练标识可对应一组匹配条件信息。

可选地,新用户与有健身经验的用户对应的教练的信息可以不同,不同等级的用户对应的教练的信息可以不同,不同的评估结果对应的教练的信息不同。

可选地,所述方法还包括:

S1071、根据所述用户的至少一个部位的动作信息,对所述用户的至少一个部位的运动量进行估算,得到第一估算结果;

S1072、根据所述第一估算结果,在所述图像信息上突出显示相应部位。

例如:可以对用户身体部位的肌肉进行运动量估算,并显示人体热力图(运动量大肌肉红色显示,运动量越大,红色越深)。具体地,可对用户肱二头肌的运动量进行估算,并显示肱二头肌对应的热力图。

可选地,也可以对用户全身的肌肉进行运动量估算,并显示人体全身对应的热力图。

可选地,在运动过程中,可以通过用户的至少一个部位的动作信息以及对应的运动时长对用户的运动量进行估算。

可选地,所述方法还包括:

S1081、获取用户的第一特征信息,所述第一特征信息包括身高信息和/或体重信息;

S1082、利用所述第一特征信息与所述用户的运动时长对所述用户在所述运动时长内卡路里的消耗进行估算,得到第二估算结果;

S1083、输出所述第二估算结果。

可选地,用户的第一特征信息可以由用户输入,也可以自动根据拍摄的用户图像信息进行识别。具体地,可自动根据拍摄的用户图像信息中的图像的大小信息与图像信息中用户的高度信息确定用户的身高信息,根据图像的大小信息与用户处于站立状态时用户在图像中所占的面积信息确定用户的体重信息。

可选地,还可以通过在用户的运动现场设定传感器来检测用户的第一特征信息。

可选地,所述方法还包括:

S1091、若所述评估结果对应的评估分数大于第一预设阈值,则生成并输出鼓励信息,若所述评估结果对应的评估分数小于第二预设阈值,则生成并输出错误提示信息。

可选地,评估结果可以为分数信息,第一预设阈值与第二预设阈值可以由用户设定,也可以由系统根据用户的等级自动生成,还可以由教练提前设定。

在本申请的一些可选的实施例中,上述评估结果还可以为用于评估用户的至少一个部位的动作信息是否正确的信息。

在本申请的一些可选的实施例中,当同时对多个部位的动作信息进行评估时,当评估结果为动作正确对应的部位数与评估结果为动作错误的部位数的比值大于预设比值时,可生成该多个部位的动作信息对应的总评估结果为动作正确。

在本申请的一些可选的实施例中,上述评估结果、鼓励信息、以及错误提示信息可以显示与用户当前参照的训练动作对应的参照视频中,具体可以显示在参照视频中视频人物与用户的至少一个部位对应的身体部位处。

可选地,所述方法还包括:

S11、获取用户的播放指令;

S12、根据所述播放指令播放包括以下至少之一内容的预设历史时间段内的媒体文件:所述图像信息、所述评估结果、所述错误提示信息、所述鼓励信息。

在本申请的一些可选的实施例中,用户的播放指令为用户回放自身的运动视频的指令。在回放时,错误提示信息,可通过显示屏以图像、文字的形式提示,或通过喇叭以语音的形式提示。

可选地,所述方法还包括:

S13、生成练习报告,所述练习报告包括:所述用户的运动时长、所述第一估算结果、所述第二估算结果、所述评估结果、所述错误提示信息、所述鼓励信息。

可选地,所述方法还包括:

S14、获取用户的分享指令;

S15、根据所述分享指令将所述练习报告发送至预设终端。

在本申请的一些可选的实施例中,用户可将练习报告分享至社交软件,上述的预设终端可以为用户自身使用的终端,还可以为对应的教练的终端。

可选地,所述方法还包括:

S16、获取用户的手势信息;

S17、对所述手势信息进行分析,得到所述手势信息对应的控制指令;

S18、执行所述控制指令。

在本申请的一些可选的实施例中,上述的手势信息可以为用于控制播放用户参照的训练动作对应的视频的显示屏的指令,例如:

可选地,上述手势信息可以为手掌自上而下挥动,对应的控制指令可以为控制显示屏向下翻屏的指令。

可选地,所述方法还包括:

S001、获取用户的第二特征信息,所述第二特征信息包括以下至少之一:所述用户的心率信息、所述用户的呼吸频率;

S002、当所述第二特征信息对应的取值超出对应的预设取值范围时,生成报警信息;

S003、输出所述报警信息。

在本申请的一些可选的实施例中,用户可以佩戴用于测量心率信息和/或呼吸频率的传感器,本方案可以通过传感器发送的信息得知用户的心率信息以及用户的呼吸频率。当用户的心率信息以及用户的呼吸频率超出健康人体对应的心率信息和/或呼吸频率的正常范围时,将生成报警信息,具体地,输出报警信息的方式可以包括以下至少之一:语音输出、视频输出、文字输出。其中,用户佩戴的传感器可以为手表、手环、或其他装置。

本申请提供的方案,可用于如健身、舞蹈、康复、行业姿态训练教学等一切需要做动作教学的场景。以健身教学为例,本方案可以将该方案对应的设备放置于健身房,甚至是新型无人值守健身房、也可至于用户家里或办公场所等,方便用户随时、低成本的获取实时的、专业私教级的健身指导。可以实现节省用户时间、节省用户的健身成本的作用。

图2示出了本申请一实施例提供的模型构建方法的流程示意图。本申请实施例提供的所述方法的执行主体可以是一装置,所述装置可以为但不限于集成于智能手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、智能电视、膝上型便携计算机、台式计算机、智能穿戴设备等任意终端设备上的装置。如图2所示,所述模型构建方法,包括:

S201、获取训练项目的视频;

S202、对所述视频进行训练动作的拆分,得到拆解动作对应的视频帧;

S203、基于所述拆解动作对应的视频帧,构建动作模型;

其中,所述动作模型用于对采集到的含有用户影像的图像信息中,用户的至少一个部位的动作信息进行评估。

在本申请的一些可选的实施例中,该处的动作模型可以与图1对应的实施例中的S103中的动作模型相同。

可选地,所述方法还包括:

S2001、获取样本集;

S2002、利用所述样本集,对所述动作模型进行训练,以优化所述动作模型中参数。

在本申请的一些可选的实施例中,样本集可以来源于教练的教学视频。

可选地,每一个样本集可以与一个身体部位对应,即一个身体部位对应一个动作模型;每一个样本集还可以与多个身体部位对应,即多个身体部位对应一个动作模型。

在另一种可实现的技术方案中,所述动作模型为用于进行信息比对的标准信息。相应的,上述S203中“基于所述拆解动作对应的视频帧,构建所述动作模型”可通过以下步骤进行实现:

S2011、对视频帧进行人体部位识别,得到识别结果;

S2012、基于所述识别结果,构建人体多个部位信息分别对应的子模型;

S2013、基于所述人体多个部位信息分别对应的子模型,得到所述动作模型。

在本申请的一些可选的实施例中,该处的视频帧可以为与教练的动作对应的视频帧,不同的人体部位可以对应不同的子模型,多个子模型组成动作模型。

在本申请的另一些可选的实施例中,该处的子模型可以与图1对应的实施例中的S103中的动作模型相同。

可选地,所述方法还包括:将所述训练项目的视频与所述动作模型关联存储。

可选地,一个训练项目的视频对应一组动作模型,例如:当训练项目的视频为太极拳时,该太极拳视频对应一组动作模型,每个太极拳拆解动作对应的视频帧对应一个动作模型。例如:太极拳中的动作“起势”对应的视频帧对应动作模型1,太极拳中的动作“白鹤亮翅”对应的视频帧对应动作模型2。

图2相应的实施例的工作原理及过程可参考上述图1对应的实施例,在此不做赘述。

图3示出了本申请一实施例提供的教学系统的结构示意图,本教学系统的组成部分如图3所示,该教学系统包括:中央处理单元300、输入控制单元304、输出单元310、摄像头314、云网络315。

其中,输出单元310包括:显示屏311、喇叭312、LED灯313;中央处理单元300包括:运算单元301、存储单元302、网络单元303;输入控制单元304包括:触控305、手机或平板App306、MIC语音307、红外或蓝牙遥控器308、键盘及鼠标309。

表1为上述教学系统各个组成部分的组件分类以及各个组件的可选与必选情况。

表1 教学系统各个组成部分的组件分类以及可选与必选情况

其中,上述教学系统中的输入控制单元304、输出单元310、摄像头314与中央处理单元300通过电连接或无线网络连接;云网络315与中央处理单元300通过有线或无线网络连接。

图4示出了本申请一实施例提供的评估方法的流程示意图。

该方法包括以下步骤:

S401,教练录制标准动作视频;

S402,基于标准动作视频构建动作模型;

S403,将教练的标准动作视频上传教练机;

S404,学员根据教练机提供的标准动作视频进行运动;

S405,将基于标准动作视频构建的动作模型发送至教练机;

S406,教练机根据学员的现场运动信息与动作模型的信息生成评估报告,评估报告包括运动建议,以及运动类型推荐或教练推荐;

S407,教练通过教练机参照标准动作视频进行训练;

S408,根据教练通过教练机参照标准动作视频进行训练的训练信息优化动作模型。

本申请还提供了一种评估方法,该方法可通过以下方式进行实现:

针对某一个健身课程,如瑜伽,录制一套教练标准动作视频;针对健身动作要点和视频,拆解动作并在视频上标记,并对每一个拆解的动作进行建模,提炼形成瑜伽的初始动作模型;针对另外的一个健身课程,如太极拳,录制教练标准动作视频、并提炼形成太极拳的初始动作模型。

可选地,不同健身课程的教练标准动作视频、及其动作模型,分别形成教练标准动作视频库(简称视频库)和动作模型库(简称模型库)。视频库和模型库,统称数据库。对于单机版,数据库可存放在图3中的存储单元302中;对于网络版,数据库部分或全部可存放在图3中的云网络315中,或者存储单元302中。

可选地,采用人工智能和深度学习,针对初始动作模型,教练本人可多次使用、反复训练,使得动作模型库更加智能和具有更广泛的适应性。

可选地,学员(或称用户)首先注册,然后通过图3中的输入控制单元304选择健身课程。用户根据交费不同、使用年限、其他因素等,分不同的等级并享受不同的免费课程及其他增值服务,如一定范围内的免费课程、呼叫远程真人教练指导等。

可选地,用户通过图3中的输入控制单元304操控教练机,操控方法可以是图3中的触控305、手机或平板App306、MIC语音307、红外或蓝牙遥控器308以及键盘及鼠标309中的一种或几种,优选触控305、手机或平板App306的方式。

在本申请的一些可选的实施例中,也可以通过图3中的摄像头314采集人体手势控制动作,并通过图3中的中央处理单元300运算和识别动作含义,进而实现对教练机的控制,如手掌自上而下挥动,表示图3中的显示屏311向下翻屏,从而实现图3中的输入控制单元304对教练机的操控功能。

可选地,如果学员选择了不在免费范围内的课程(需要付费的课程),可通过图3中的手机或平板App306支付费用。图3中的手机或平板App306支付分两种方式,扫描支付或在线支付。扫描支付使用场景为:用户通过图3中的触控305在图3中的显示屏311上选择某一个课程后,如果该课程需要付费才能使用,则该用户通过图3中的手机或平板App306扫描该课程的二维码进行付费。在线支付使用场景为:用户通过图3中的手机或平板App306选择某一课程,如果该课程需要付费才能使用,则该用户直接在图3中的手机或平板App306上在线支付该课程。

可选地,用户在选择并开始了课程后,用户对着教练机、跟着图3中的显示屏311播放的视频练习,图3中的摄像头314采集人体动作,通过图3中的中央处理单元300运算和识别动作,并与模型库做比对。

可选地,用户动作与动作模型库动作比对时,可以根据匹配精度分不同级别,如低级(L)、中级(M)、高级(H)。对初学者,采用低级精度匹配,让参与者获得继续学习的信心和动力;对持续晋升者,逐步采用中级精度、或进一步采用高级精度匹配,让参与者持续获得提升和满足感。不同等级的精度匹配,由程序在做动作判别时采用不同的阈值决定。更进一步可选的,每个级别又可以分成不同的小级,如分为L1、L2、L3、M1、M2、M3、H1、H2、H3共9个小级。该级别可由用户选定或者系统根据算法设定。

图3中的中央处理单元300可根据用户动作与动作模型库动作比对结果,可通过图3中的显示屏311以图像、文字的形式提示,还可通过图3中的喇叭312以语音的形式提示。例如:用户做对时,给出鼓励的图像、文字、语音;做错时,在教练标准动作视频上通过图像标识错误位置、通过文字说明错误信息,并通过语音进一步提示错误。

可选地,一套课程学习完成后,用户可以进行回放回看运动过程中的错误动作信息,在回放时,动作错误信息,可通过图3中的显示屏311以图像、文字的形式提示,或通过图3中的喇叭312以语音的形式提示。

可选地,用户在练习中、播放回放时,可以通过一键呼叫真人教练进行远程实时指导。

可选地,课程的一套动作练习完成后,图3中的中央处理单元300可生成练习报告和二维码,并在图3中的显示屏311显示出来,用户可通过图3中的手机或平板App306扫描二维码进行社交分享。

可选地,在运动过程中,教练机可以通过图3中的摄像头314采集的用户人体动作信息,对用户身体部位的肌肉进行运动量估算,并在图3中的显示屏311实时显示人体热力图(运动量大肌肉红色显示,运动量越大,红色越深)。

可选地,练习报告包含摄像头采集的用户动作与标准动作库动作的匹配度、用户的运动强度、用户的运动时长、用户的卡路里消耗估算等。

可选地,用户可以在运动前输入身高、体重参数,以使教练机估算的卡路里消耗更准确。

可选地,用户可以佩戴具有心率测量功能的手表、手环、或其他装置,该装置和教练机无线连接,将测量的心率信息传递给教练机,教练机监测用户运动时的心率信息,心率过高时给出预警及建议。呼吸也可以做类似的监测。

可选地,教练或者健身培训机构(简称第三方)可以注册作为供应商,在教练机上录制课程,并给出动作要点及动作分解,作为第三方课程存放在图3中的云网络315上,用户在选择第三方课程的时候,付费可以分成给第三方。

本申请的教学机,可用于如健身、舞蹈、康复、行业姿态训练教学等一切需要做动作教学的场景。以健身应用为例,本教学机可置于健身房,甚至是新型无人值守健身房、也可至于用户家里或办公场所等,方便用户随时、低成本的获取专业私教级的指导。

本方案可实现实时高精度指导动作教学,图3中的显示屏311可以为镜面玻璃、外表面无开孔,图3中的摄像头314可以为设置于镜面玻璃的隐藏式摄像头。教学机不上电时,从正面看就是一面标准镜子,教练机上电后,就是一个带显示屏的动作教学机。

图5示出了本申请一实施例提供的教学机,包括:

采集装置51,用于采集含有用户影像的图像信息;

处理器52,用于获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;将所述评估结果发送至输出装置。

其中,采集装置51可以与图3中的摄像头314相同,处理器52可以与图3中的中央处理单元300相同。

图5对应的实施例的工作原理及过程可参考上述图1与图3对应的实施例,在此不做赘述。

图6示出了本申请一实施例提供的评估装置,如图6所示,所述装置包括:

采集单元61,用于采集含有用户影像的图像信息;

获取单元62、用于获取用户参照的训练动作对应的动作模型;

评估单元63、用于利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;

输出单元64,用于输出所述用户的至少一个部位的动作信息的评估结果。

可选地,所述评估单元63在用于利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果时,具体用于:从所述图像信息中,采集所述用户的人体特征点信息;将所述人体特征点信息作为所述动作模型的入参,执行所述动作模型,得到所述用户的至少一个部位的动作信息的评估结果。

可选地,上述评估单元63在用于从所述图像信息中,采集所述用户的人体特征点信息时,具体用于:对所述图像信息进行识别,以识别出所述用户的人体关节点;获取所述人体关节点的位置信息;将所述人体关节点的位置信息作为所述人体特征点信息。

可选地,所述装置还包括:动作模型训练单元65,用于:获取训练项目中一拆解动作对应的初始训练模型;获取样本集;利用所述样本集,对所述初始训练模型进行训练,以得到所述动作模型。

可选地,评估单元63在具体用于利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果时,还可具体用于:对所述图像信息进行识别,以识别出所述用户的人体关节点;获取所述人体关节点间的相对位置关系;根据所述人体关节点间的相对位置关系,确定所述用户的至少一个部位的动作信息;将所述用户的至少一个部位的动作信息与所述动作模型中相应部位的标准动作信息进行比对,得到所述至少一个部位的动作信息的评估结果。

可选地,获取单元62在用于获取用户参照的训练动作对应的动作模型时,具体用于:获取当前教学视频的播放位置;根据所述播放位置,确定所述用户参照的训练动作;从本地或网络侧,获取所述训练动作对应的动作模型。

可选地,获取单元62在用于获取用户参照的训练动作对应的动作模型时,具体用于:根据所述用户所属的学员等级,获取与所述学员等级适配的所述训练动作对应的动作模型;或者响应于用户触发的等级选择操作,获取与用户选中的等级适配的所述训练动作对应的动作模型。

可选地,所述装置还包括呼叫单元66,用于:响应于用户触发的呼叫指令,获取与所述用户有关的训练信息;基于所述训练信息确定对应的教练的信息;根据所述教练的信息,向所述教练使用的终端发送呼叫请求。

可选地,所述装置还包括第一估算单元67,用于:根据所述用户的至少一个部位的动作信息,对所述用户的至少一个部位的运动量进行估算,得到第一估算结果;根据所述第一估算结果,在所述图像信息上突出显示相应部位。

可选地,所述装置还包括第二估算单元68,用于:获取用户的第一特征信息,所述第一特征信息包括身高信息和/或体重信息;利用所述第一特征信息与所述用户的运动时长对所述用户在所述运动时长内卡路里的消耗进行估算,得到第二估算结果;输出所述第二估算结果。

可选地,所述装置还包括提示单元69,用于:若所述评估结果对应的评估分数大于第一预设阈值,则生成并输出鼓励信息,若所述评估结果对应的评估分数小于第二预设阈值,则生成并输出错误提示信息。

可选地,所述装置还包括:回放单元610,用于:获取用户的播放指令;根据所述播放指令播放包括以下至少之一内容的预设历史时间段内的媒体文件:所述图像信息、所述评估结果、所述错误提示信息、所述鼓励信息。

可选地,所述装置还包括生成单元611,用于:生成练习报告,所述练习报告包括:所述用户的运动时长、所述第一估算结果、所述第二估算结果、所述评估结果、所述错误提示信息、所述鼓励信息。

可选地,所述装置还包括分享单元612,用于:获取用户的分享指令;根据所述分享指令将所述练习报告发送至预设终端。

可选地,所述装置还用于:获取用户的手势信息;对所述手势信息进行分析,得到所述手势信息对应的控制指令;执行所述控制指令。

可选地,所述装置还包括报警单元613,用于:获取用户的第二特征信息,所述第二特征信息包括以下至少之一:所述用户的心率信息、所述用户的呼吸频率;当所述第二特征信息对应的取值超出对应的预设取值范围时,生成报警信息;输出所述报警信息。

本申请实施例图6提供的一种评估装置各个模块的工作原理及过程可参考上述图1实施例的一种评估方法,在此不做赘述。

图7示出了本申请一实施例提供的模型构建装置,如图7所示,所述装置包括:

获取单元71,用于获取训练项目的视频;

拆分单元72,用于对所述视频进行训练动作的拆分,得到拆解动作对应的视频帧;

构建单元73,用于基于所述拆解动作对应的视频帧,构建所述动作模型;

其中,所述动作模型用于对采集到的含有用户影像的图像信息中,用户的至少一个部位的动作信息进行评估。

可选地,所述装置还包括优化单元74,用于:获取样本集;利用所述样本集,对所述动作模型进行训练,以优化所述动作模型中参数。

可选地,所述构建单元73在用于基于所述拆解动作对应的视频帧,构建所述动作模型时,具体用于:对视频帧进行人体部位识别,得到识别结果;基于所述识别结果,构建人体多个部位信息分别对应的子模型;基于所述人体多个部位信息分别对应的子模型,得到所述动作模型。

可选地,所述装置还包括关联单元75,用于:将所述训练项目的视频与所述动作模型关联存储。

本申请图7实施例提供的一种模型构建装置各个模块的工作原理及过程可参考上述图2实施例的一种模型构建方法,在此不做赘述。

图8示出了本申请一实施例提供的教学系统,包括:

教学机82,用于采集含有用户影像的图像信息;并将所述图像信息发送至服务端;

服务端84,用于获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;并将评估结果发送至所述教学机,

所述教学机还用于输出所述用户的至少一个部位的动作信息的评估结果。

本申请图8实施例提供的一种教学系统的工作原理及过程可参考上述图1实施例的一种评估方法,在此不做赘述。

图9示出了本申请一实施例提供的电子设备的结构示意图。如图9所示,所述电子设备包括:存储器91以及处理器92;其中,

所述存储器91,用于存储程序;

所述处理器92,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:采集含有用户影像的图像信息;获取用户参照的训练动作对应的动作模型;利用所述动作模型,对所述图像信息中用户的至少一个部位的动作信息进行评估,得到评估结果;输出所述用户的至少一个部位的动作信息的评估结果。上述存储器91可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令。存储器91可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

上述处理器92在执行存储器91中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。

进一步,如图9所示,电子设备还包括:显示器93、电源组件94、通讯组件95等其它组件。图9中仅示意性给出部分组件,并不意味着该电子设备只包括图9所示组件。

图10示出了本申请一实施例提供的电子设备的结构示意图。如图10所示,所述电子设备包括:存储器10100以及处理器10110;其中,

所述存储器10100,用于存储程序;

所述处理器10110,与所述存储器耦合,用于执行所述存储器中存储的所述程序,以用于:获取训练项目的视频;对所述视频进行训练动作的拆分,得到拆解动作对应的视频帧;基于所述拆解动作对应的视频帧,构建所述动作模型;其中,所述动作模型用于对采集到的含有用户影像的图像信息中,用户的至少一个部位的动作信息进行评估。

上述存储器10100可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令。存储器10100可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

上述处理器10110在执行存储器10100中的程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面各实施例的描述。

进一步,如图10所示,电子设备还包括:显示器10120、电源组件10130、通讯组件10140等其它组件。图10中仅示意性给出部分组件,并不意味着该电子设备只包括图10所示组件。

相应的,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例提供的评估方法的步骤或功能。

相应的,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例提供的模型构建方法的步骤或功能。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号