首页> 中国专利> 一种球类运动的动作识别方法、装置和动作辅助设备

一种球类运动的动作识别方法、装置和动作辅助设备

摘要

本发明提供了一种球类运动动作识别方法、装置和动作辅助设备,其中方法包括:获取一段动作对应的各采样时刻的运动参数;利用获取的运动参数,按照预设的特征点识别策略提取特征点,其中所述特征点识别策略至少包括以下三种特征点的识别策略:助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点;判断提取出的特征点是否满足预设球类运动类型的特征点要求,如果是,则识别出该段运动属于预设的球类运动类型。通过本发明能够实现从运动参数识别出运动动作。

著录项

  • 公开/公告号CN102221369A

    专利类型发明专利

  • 公开/公告日2011-10-19

    原文格式PDF

  • 申请/专利权人 韩铮;

    申请/专利号CN201110111602.0

  • 发明设计人 韩铮;

    申请日2011-04-29

  • 分类号G01C23/00(20060101);

  • 代理机构深圳市威世博知识产权代理事务所(普通合伙);

  • 代理人何青瓦;李庆波

  • 地址 100020 北京市朝阳区北苑路170号凯旋城A座1单元603室

  • 入库时间 2023-12-18 03:30:17

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2018-09-18

    专利权的转移 IPC(主分类):G01C23/00 登记生效日:20180829 变更前: 变更后: 申请日:20110429

    专利申请权、专利权的转移

  • 2015-10-07

    专利权的转移 IPC(主分类):G01C23/00 变更前: 变更后: 登记生效日:20150914 申请日:20110429

    专利申请权、专利权的转移

  • 2013-05-15

    专利权的转移 IPC(主分类):G01C23/00 变更前: 变更后: 登记生效日:20130423 申请日:20110429

    专利申请权、专利权的转移

  • 2013-04-17

    专利权的转移 IPC(主分类):G01C23/00 变更前: 变更后: 登记生效日:20130328 申请日:20110429

    专利申请权、专利权的转移

  • 2012-10-10

    授权

    授权

  • 2012-05-02

    专利申请权的转移 IPC(主分类):G01C23/00 变更前: 变更后: 登记生效日:20120323 申请日:20110429

    专利申请权、专利权的转移

  • 2011-11-30

    实质审查的生效 IPC(主分类):G01C23/00 申请日:20110429

    实质审查的生效

  • 2011-10-19

    公开

    公开

查看全部

说明书

【技术领域】

本发明涉及运动识别技术,特别涉及一种球类运动的动作识别方法、装置和动作辅助设备。

【背景技术】

空间加速运动的轨迹和姿态识别是指检测到物体运动过程中每一个时刻的位置和转角,同时得到物体的实时速度。将空间加速运动轨迹和姿态识别技术与人体动作相结合,检测人体各部位的运动可以在体育、游戏、电影、医疗仿真或者动作技能培训等领域得到广泛应用。

在获取到运动物体的加速度、速度和位置信息等运动参数后,通常需要提取出一段完整动作,并基于该段完整动作的运动参数进行轨迹显示或专家评价等。以高尔夫挥杆为例,高尔夫是一项对动作和技术控制能力要求很高的户外运动,无论对于专业球员或者非专业球员来说,希望在做出高尔夫挥杆动作之后,能够获取到完整动作的运动参数,以便获知动作的质量并进一步获得对该动作的评价。

往往在对运动物体进行检测获得的运动参数中,除了包含运动动作的运动参数之外,还可能会包含其他非运动动作,为了方便对运动动作进行显示、分析或评价,通常需要对一段运动动作进行识别。仍以高尔夫挥杆为例,高尔夫挥杆动作对应的运动物体可以是球杆或球员的手套等,由于在对运动物体进行运动检测从而获取运动参数的过程中球员除了做出高尔夫挥杆动作之外,还可能会进行喝水、休息或接打电话等动作,这就需要根据运动参数将高尔夫挥杆动作识别出来。

【发明内容】

本发明提供了一种球类运动的动作识别方法、装置和动作辅助设备,用于从运动参数识别出运动动作。

具体技术方案如下:

一种球类运动的动作识别方法,该方法包括:

A、获取一段动作对应的各采样时刻的运动参数;

B、利用获取的所述运动参数,按照预设的特征点识别策略提取特征点,其中所述特征点识别策略至少包括以下三种特征点的识别策略:助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点;

C、判断提取出的特征点是否满足预设球类运动类型的特征点要求,如果是,则识别出所述一段动作属于预设的球类运动类型。

一种球类运动的动作识别装置,该装置包括:

参数获取单元,用于获取一段动作对应的各采样时刻的运动参数;

特征点提取单元,用于利用所述参数获取单元获取的所述运动参数,按照预设的特征点识别策略提取特征点,其中所述特征点识别策略至少包括以下三种特征点的识别策略:助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点;

动作识别单元,用于判断所述特征点提取单元提取出的特征点是否满足预设球类运动类型的特征点要求,如果是,则识别出所述一段动作属于预设的球类运动类型。

一种动作辅助设备,该动作辅助设备包括:传感装置、运动参数确定装置以及上述的动作识别装置;

所述传感装置,用于采样被识别物体各采样时刻的运动数据,该运动数据中至少包括被识别物体的加速度;

所述运动参数确定装置,用于根据所述传感装置采样到的运动数据,确定所述被识别物体各采样时刻的运动参数,并发送给所述动作识别装置。

由以上技术方案可以看出,本发明在获取一段动作对应的各采样时刻的运动参数后,按照预设的特征点识别策略提取特征点,其中特征点识别策略至少包括以下三种特征点的识别策略:助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点;根据提取出的特征点是否满足预设球类运动类型的特征点要求来识别出该段动作是否为球类运动类型。通过本发明能够实现非球类运动类型的动作和球类运动类型动作的区分识别。

【附图说明】

图1a为本发明实施例提供的识别系统结构示意图;

图1b为本发明实施例提供的动作辅助设备的示意图;

图2为本发明实施例提供的三轴磁场传感器输出的转角示意图;

图3为本发明实施例提供的处理器发送的数据包格式示意图;

图4为本发明实施例提供的运动参数确定方法的流程图;

图5为本发明实施例提供的动作识别方法的流程图;

图6a为本发明实施例提供的高尔夫挥杆和足球动作的轨迹示意图;

图6b为本发明实施例提供的羽毛球动作的轨迹示意图;

图7为本发明实施例提供的动作识别装置的结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。

本发明一实施例可以采用如图1a所示的识别系统,主要包括:微机电系统(MEMS)传感装置100、处理器110、数据传输接口120和运动参数确定装置130,还可以进一步包括:动作识别装置140、参数显示装置150和专家评价装置160。其中,MEMS传感装置100、处理器110和数据传输接口120可以封装为一个终端设备设置在被识别物体上。例如,在高尔夫挥杆过程中,手一直紧握球杆,手和球杆的相对位置关系不会改变,手的位置和姿态与球杆头的位置和姿态是一一对应的。因此,可以将MEMS传感装置100、处理器110和数据传输接口120封装为一个便携式运动检测设备设置在被识别物体上,例如高尔夫球员的手套上、球杆上等,通常不设置在手腕以上的部位,从而保证运动检测设备可以精准检测高尔夫挥杆姿态,该便携式运动检测设备的重量可以仅为几十克,几乎不会影响被识别物体的动作。

其中MEMS传感装置100用于对被识别物体的运动数据进行采样,该运动数据中至少包含各采样时刻的加速度。

处理器110按照一定的频率读取MEMS传感装置100采样到的运动数据,并按照一定的传输协议发送给运动参数确定装置130。

另外,处理器110还可以用于接收数据传输接口120发送来的配置指令,对该配置指令进行解析,并根据解析得到的配置信息对MEMS传感装置100进行配置,例如对采样精度的配置、采样频率和量程的配置等,还可以用于对接收到的运动数据进行校准。较优地,处理器110可以采用低功耗的处理器,从而有效的延长续航时间。

MEMS传感装置100可以以串行总线或AD接口与处理器110进行通信。

数据传输接口120支持有线和无线两种通信传输方式。有线接口可使用USB、串口、并口、火线等多种协议;无线接口可以采用蓝牙、红外等协议。在图1a中以包括USB接口121和/或蓝牙模块122为例。USB接口121可以实现MEMS传感装置100、处理器110和数据传输接口120被封装为一个终端设备时的充电以及与其他设备的双向通信。蓝牙模块122能够实现上述终端设备与蓝牙主设备的双向通信。

上述的运动参数确定装置130、动作识别装置140、参数显示装置150和专家评价装置160可以通过USB接口与上述终端设备中的处理器110连接(图1a中未示出),也可以作为蓝牙主设备通过蓝牙模块122与上述终端设备中的处理器110连接。

运动参数确定装置130利用接收到的运动数据确定出包含加速度信息、速度信息、位置信息、姿态信息的运动参数。

动作识别装置140能够利用动作参数确定装置130确定出的运动参数对运动的动作类型进行识别,从而提取出某种运动类型的一段动作对应的运动参数。

参数显示装置150将运动参数确定装置130确定出的运动参数以某种形式进行显示(图中未示出该情况的连接关系)或者将动作识别装置140提取的运动参数以某种形式进行显示,例如以3D轨迹的形式显示被识别物体的位置信息,以表格或者曲线的形式显示被识别物体的速度信息等。其中,该参数显示装置150可以是任意具有显示功能的终端,例如电脑、手机、PDA等。

专家评价装置160根据运动参数确定装置130确定出的运动参数(图1a中未示出该情况的连接关系),或者根据参数显示装置150的显示结果对被识别物体的动作给予评价,该评价可以来自真实的专家,也可以是装置根据预先挖掘的运动参数数据库自动给予的评价。

需要说明的是,上述的MEMS传感装置100、运动参数确定装置130以及动作识别装置140可以封装为一个动作辅助设备,如图1b所示,运动参数确定装置130可以直接获取MEMS传感装置100采样到的运动数据,并确定出被识别物体各采样时刻的运动参数,发送给动作识别装置140,有动作识别装置140进行动作识别。

在该动作辅助设备中,也可以由处理器110按照设定的频率从MEMS传感器100读取运动数据,并按照预设的传输协议传输给运动参数确定装置130。

更进一步地,可以设置数据传输接口120作为对外接口连接动作识别装置140,该数据传输接口120同样可以为USB接口121或者蓝牙接口122。数据传输接口120可以将动作识别装置140识别出的预设运动类型的运动参数发送给其他装置,例如参数显示装置或者专家评价装置。

或者,该数据传输接口120也可以按照图1a中所示的方式设置在处理器和运动参数确定装置130之间。

上述运动参数确定装置130可以采用多种方式确定出被识别物体的运动参数。其中现有的运动参数确定方式可以包括但不限于以下两种:

第一种:采用红外阵列和三轴加速度传感器构成的MEMS传感装置,参见美国专利公开号为US2008/0119269A1;标题为“GAME SYSTEM ANDSTORAGE MEDIUM STORING GAME PROGRAM”专利文献,其采用三轴加速度传感器获取各采样时刻被识别物体的加速度,另外,在被识别物体两端设置红外线发生器,根据其所产生的信号的强弱不同以及相对距离,计算在与信号接收端平面平行的二维平面的位置。

第二种:参见美国专利公开号为US2008/0049102A1;标题为“MOTIONDETECTION SYSTEM AND METHOD”专利文献,采用加速度传感器和陀螺仪构成的MEMS传感装置,或者采用固定间隔距离的两个加速度传感器,获得完整的六维运动参数(三维运动和三维转动)。

除了现有的运动参数确定方式之外,还可以采用如图1a和图1b中所示的MEMS传感装置100。

MEMS传感装置100包括:三轴加速度传感器101、三轴陀螺仪102和三轴磁场传感器103。

三轴加速度传感器101用于采样被识别物体在各采样时刻的加速度,该加速度是在三维空间上的加速度,即每个采样时刻对应的加速度数据包括X轴、Y轴和Z轴的加速度值。

三轴陀螺仪102用于采样被识别物体在各采样时刻的角速度,同样该角速度是在三维空间上的角速度,即每个采样时刻对应的角速度数据包括X轴、Y轴和Z轴的角速度值。

三轴磁场传感器103用于采样被识别物体在各采样时刻相对于三维地磁坐标系的转角,每个采样时刻对应的转角数据包括:Roll、Yaw和Pitch,其中Roll为被识别物体的X轴与三维地磁坐标系中XY平面的夹角,Yaw为被识别物体的Y轴投影到三维地磁坐标系中XY平面的向量与三维地磁坐标系中Y轴正向的夹角,Pitch为被识别物体的Y轴与三维地磁坐标系中XY平面的夹角,如图2所示,Xmag、Ymag和Zmag分别为三维地磁坐标系的X轴、Y轴和Z轴,Xsen、Ysen和Zsen分别为被识别物体的X轴、Y轴和Z轴。

此时,处理器110按照一定的频率读取MEMS传感装置100中三轴加速度传感器101、三轴陀螺仪102和三轴磁场传感器103采样到的运动数据,并按照一定的传输协议发送给运动参数确定装置130。图3为处理器发送的包含运动数据的数据包的一种格式。其中在标记字段中可以包含校验信息,用于保证数据的完整性和安全性,包头字段中可以包含传输运动数据所采用的协议包头。

运动参数确定装置130中实现的运动参数确定方法如图4所示,可以包括以下步骤:

步骤401:获取各采样时刻的运动数据,该运动数据包括:三轴加速度传感器采样到的被识别物体的加速度、三轴陀螺仪采样到的被识别物体的角速度和三轴磁场传感器采样到的被识别物体相对于三维地磁坐标系的夹角。

在获取各采样时刻的运动数据后,如果MEMS传感装置的采样频率不够高,为了提高后续计算加速度、速度和位置等运动参数的计算精度,可以对获取到的运动数据进行插补处理,例如进行线性插补或样条插补。

步骤402:对获取的运动数据进行预处理。

本步骤中的预处理是对获取的运动数据进行滤波,降低MEMS传感装置采样到的运动数据的噪音。可以采用多种滤波方式,例如可以采用16点的快速傅里叶变换(FFT)滤波,在此对具体的滤波方式并不做限制。

上述插补处理和预处理没有固定的先后顺序,可以以任意的顺序先后执行。或者,两者也可以择一执行。

步骤403:对预处理后的运动数据进行数据校准。

在本步骤主要是对三轴加速度传感器采样到的加速度进行校准,利用三轴加速度传感器的零漂将得到的各采样时刻的加速度均去除该零漂得到校准后的各采样时刻的加速度。其中,三轴加速度传感器的零漂是利用对静止物体进行加速度采样后得到的。

步骤402和步骤403为本发明实施例中的优选步骤,也可以不执行步骤402和步骤403,直接将步骤401获取到的运动数据进行缓存。

步骤404:将校准后的各采样时刻的运动数据进行缓存。

将最新获得的N个采样时刻的运动数据存入缓存区,即缓存的运动数据包括:最新的一个采样时刻至前N-1个采样时刻的运动数据,即缓存区中缓存了N个采样时刻的运动数据,当有新的采样时刻的运动数据缓存入缓存区时,最早的采样时刻的运动数据溢出。较优地N可以为3以上的整数,通常设置为2的整数次幂,例如选取N的值为16或32以保持缓存区中缓存长度为0.1s~0.2s的运动数据。缓存区的数据结构为一个队列,按照采样时刻依次排列,最新的一个采样时刻的运动数据放在队列尾部。

步骤405:利用各采样时刻的加速度进行运动静止检测,确定一段运动状态的开始时刻t0和结束时刻te

其中开始时刻t0为静止状态到运动状态的临界采样时刻,结束时刻te为该运动状态到静止状态的临界采样时刻。

按照采样时刻的顺序对每个采样时刻按照预设的运动时刻确定策略进行判断,如果t0满足运动时刻确定策略,而采样时刻t0-1不满足运动时刻确定策略,则确定t0为运动开始时刻。如果te满足运动时刻确定策略,而采样时刻te+1不满足运动时刻确定策略,则确定te为运动结束时刻。

具体地,上述运动时刻确定策略可以为:如果采样时刻tx至其之前T个采样时刻的加速度取模后的方差av大于或等于预设的加速度方差阈值,且采样时刻tx的加速度取模得到的a0大于或等于预设的运动加速度阈值,则认为采样时刻tx为运动时刻。也就是说,如果某个采样时刻满足了上述运动时刻策略,则认为该采样时刻进入了运动状态,否则仍处于静止状态。

上述运动时刻确定策略可以有效地过滤短时间的抖动,防止短时间的静止和停顿截断完整的运动。在此可以根据被识别物体的运动剧烈程度,灵活设置加速度方差阈值和运动加速度阈值。被识别物体的运动越剧烈,可以设置加速度方差阈值和运动加速度阈值越高。

依次将缓存区中开始时刻t0和结束时刻te之间的各采样时刻分别作为当前采样时刻,执行步骤406至411。

步骤406:根据缓存区中三轴磁场传感器采样的运动数据,确定该运动开始时刻t0相对地磁坐标系的初始姿态矩阵

TmbInit=[Xbt0,Ybt0,Zbt0],---(1)

其中,Xbt0=sin(Rollt0)sin(Yawt0)sin(Pitcht0)+cos(Rollt0)cos(Yawt0)sin(Rollt0)cos(Yawt0)sin(Pitcht0)-cos(Rollt0)sin(Yawt0)-sin(Rollt0)cos(Pitcht0),

Ybt0=cos(Pitcht0)sin(Yawt0)cos(Pitcht0)cos(Yawt0)sin(Pitcht0),

Zbt0=sin(Rollt0)cos(Yawt0)-cos(Rollt0)sin(Yawt0)sin(Pitcht0)-sin(Rollt0)sin(Yawt0)-cos(Rollt0)cos(Yawt0)sin(Pitcht0)cos(Rollt0)cos(Pitcht0)

和是三轴磁场传感器采样到的采样时刻t0时的角度。

步骤407:在被识别物体处于运动状态时,根据三轴陀螺仪在当前采样时刻及其前一采样时刻采样到的角速度数据,确定前一采样时刻到当前采样时刻的姿态变化矩阵

首先确定三轴陀螺仪在当前采样时刻的前一采样时刻采样到的角速度数据为wP=[ωPx,ωPy,ωPz]T,在当前采样时刻采样到的角速度数据为wC=[ωCx,ωCy,ωCz]T,相邻采样时刻之间的间隔为t,则确定前一采样时刻到当前采样时刻的姿态变化矩阵为:

其中,RZ、RY、RX分别为wP相对Z轴、Y轴和X轴转动(ωPzCz)t/2、(ωPyCy)t/2和(ωPxCx)t/2的姿态变换矩阵。

步骤408:利用前一采样时刻相对于t0的姿态变换矩阵以及确定并记录当前时刻相对于所述t0被识别物体的姿态变换矩阵

由于在以t0为运动开始时刻的一段运动中,对确定出的每一采样时刻相对于所述t0的姿态变换矩阵都会进行记录,因此,首先获取记录的前一采样时刻的姿态变换矩阵则可以为:

TbInitbCur=TbInitbPreTbPrebCur.---(2)

步骤409:确定当前采样时刻相对于三维地磁坐标系的姿态矩阵为TmbCur=TmbInitTbInitbCur.

从步骤407、步骤408和步骤409可以看出,实际上在计算当前采样时刻相对于三维地磁坐标系的姿态矩阵时,采用了一种“回溯”式的迭代算法,即其中,Cur表示当前采样时刻,Init表示运动开始时刻t0,表示从采样时刻x到采样时刻x的姿态变化矩阵。

步骤410:按照公式将当前采样时刻的加速度aCur去除重力加速度的影响,得到当前采样时刻的实际加速度

其中,可以利用处于静止状态的物体确定出三维地磁坐标系下的重力加速度

具体地,可以利用三轴加速度传感器对处于静止状态的物体连续M个采样时刻进行采样,将连续M个采样时刻的地磁坐标系下的重力加速度平均值作为当前地磁坐标系下的实际重力加速度即可以按照公式(3)确定:

g=1MΣj=ii+Mamj---(3)

M为预设的正整数,i为对处于静止状态的物体进行采样的初始采样时刻。

amj=Tmjbabj---(4)

为三轴加速度传感器在采样时刻j采样到的加速度,为采样时刻j时上述处于静止状态的物体的姿态矩阵,该根据三轴磁场传感器采样到的采样时刻j时的角度确定,具体如下:

Tmjb=[Xbj,Ybj,Zbj],---(5)

其中,Xbj=sin(Rollj)sin(Yawj)sin(Pitchj)+cos(Rollj)cos(Yawj)sin(Rollj)cos(Yawj)sin(Pitchj)-cos(Rollj)sin(Yawj)-sin(Rollj)cos(Pitchj),

Ybj=cos(Pitchj)sin(Yawj)cos(Pitchj)cos(Yawj)sin(Pitchj),

Zbj=sin(Rollj)cos(Yawj)-cos(Rollj)sin(Yawj)sin(Pitchj)-sin(Rollj)sin(Yawj)-cos(Rollj)cos(Yawj)sin(Pitchj)cos(Rollj)cos(Pitchj),

Rollj、Yawj和Pitchj是三轴磁场传感器采样到的采样时刻j时的角度。

步骤411:对t0至当前采样时刻的实际加速度进行积分,得到当前采样时刻的实时速度,对t0至当前采样时刻的实时速度进行积分,得到当前采样时刻的位置。

本步骤中通过积分方式获得实时速度和位置的方法是公知技术,在此不再具体赘述。

将开始时刻t0和结束时刻te之间的各采样时刻的加速度、实时速度和位置中的至少一种在数据库中存储为一段运动的运动参数。

在上述流程中,如果在运动静止检测时,检测到一段运动状态结束的时刻与下一段运动状态开始的时刻之间的时间间隔小于预设的时长阈值,则认为两端运动状态为一段运动状态,需要进行运动“接续”。即如果步骤405确定出的运动开始时刻t0与上一段运动状态结束的采样时刻t′之间的时间间隔小于预设的时长阈值,则将t′的姿态矩阵作为t0的初始姿态矩阵否则按照公式(1)确定t0的初始姿态矩阵

下面对在图1中所示的动作识别装置140上实现的动作识别方法进行详细描述。如图5所示,该方法可以包括以下步骤:

步骤501:获取各采样时刻的运动参数。

本步骤中获取的各采样时刻的运动参数可以包括:各采样时刻的加速度、速度、姿态和位置。各运动参数是从运动参数确定装置130处获取。

步骤502:利用各采样时刻的加速度进行运动静止检测,确定一段运动状态的开始时刻t0和结束时刻te

其中开始时刻t0为静止状态到运动状态的临界采样时刻,结束时刻te为该段运动状态到静止状态的临界采样时刻。

按照采样时刻的顺序对每个采样时刻按照预设的运动时刻确定策略进行判断,如果t0满足运动时刻确定策略,而采样时刻t0-1不满足运动时刻确定策略,则确定t0为运动开始时刻。如果te满足运动时刻确定策略,而采样时刻te+1不满足运动时刻确定策略,则确定te为运动结束时刻。

具体地,上述运动时刻确定策略可以为:如果采样时刻tx至其之前T个采样时刻的加速度取模后的方差av大于或等于预设的加速度方差阈值,且采样时刻tx的加速度取模得到的a0大于或等于预设的运动加速度阈值,则认为采样时刻tx为运动时刻,其中T为预设的正整数。也就是说,如果某个采样时刻满足了上述运动时刻策略,则认为该采样时刻进入了运动状态,否则仍处于静止状态。

上述运动时刻确定策略可以有效地过滤短时间的抖动,防止短时间的静止和停顿截断完整的运动。在此可以根据被识别物体的运动剧烈程度,灵活设置加速度方差阈值和运动加速度阈值。被识别物体的运动越剧烈,可以设置加速度方差阈值和运动加速度阈值越高。

当然,如果获取的运动参数就是一段动作的运动参数,即MEMS传感装置从一段动作的初始开始采集运动数据至该段动作结束,或者运动参数确定装置已经确定出开始时刻t0和结束时刻te,那么就无需执行步骤502,开始时刻实际上就是第一个采样时刻,结束时刻也就是最后一个采样时刻。

步骤503:利用获得的运动参数,按照预设的特征点识别策略从开始时刻t0开始提取特征点。

针对预设的运动类型可以有一套预设的特征点识别策略,能够识别出多个特征点,不同的特征点可以对应不同的特征点识别策略。

仍以高尔夫挥杆动作为例,在高尔夫挥杆动作中包括三个部分组成:上挥起杆准备、下挥击球以及击球后随挥。每个部分都会对击球的效果产生影响。细致地分,整个挥杆过程中存在七个特征点:初始时刻静止对准、起杆初期用户水平挥杆、起杆中期竖直向上挥杆、起杆到达顶点、短暂静止或直接下挥准备击球、击球、击球后随挥。上述七个特征点必须依照上述顺序依次存在,如果在开始时刻t0和结束时刻te之间按照上述顺序依次识别出上述七个特征点,则可以确定该段运动参数为一段高尔夫挥杆动作。

在识别各特征点时,需要按照各特征点对应的识别策略分别进行识别,各特征点对应的识别策略可以具体如下:

特征点1:速度为0。该特征点对应于初始时刻静止对准。

特征点2:水平方向上的维度上的速度分别相对于其他两个维度上速度的比值均超过预设的第二特征点比值,则识别出特征点2。其中,第二特征点比值可以选取经验值或实验值,较优地可以选取4以上的值。如果是右手挥杆球员,则该水平方向上的维度上的速度向右方向,如果是左手挥杆球员,则该水平方向上的维度上的速度为向左方向。该特征点2对应于高尔夫挥杆的起杆初期,此时挥杆动作几乎水平。

其中,该特征点2的识别策略中涉及的其他两个维度指的是竖直方向上的维度,以及与水平方向上的维度和竖直方向上的维度垂直的维度。

特征点3:竖直方向上的维度上第一方向的速度分别相对于其他两个维度上速度的比值均超过预设的第三特征点比值,则识别出特征点3。其中,第三特征点比值同样可以选取经验值或实验值,较优地可以选取4以上的值。该特征点3对应于起杆中期,挥杆到一半,方向几乎与地面垂直。

其中,该特征点3的识别策略中涉及的其他两个维度指的是水平方向上的维度、以及与水平方向上的维度和竖直方向上的维度垂直的维度。

特征点4:竖直方向上的维度上的速度小于预设的第四特征点速度阈值,则识别出特征点4;更优地,也可以在竖直方向上的维度上的速度小于预设的第四特征点速度阈值,且高度和加速度都满足预设的第四特征点要求,则识别出特征点4。较优地,第四特征点速度阈值可以选取0.1m/s以下的值,第四特征点要求可以为:高度可以选取0.5m以上的值,加速度为0.1m/s2以上的值,该特征点4对应起杆到达顶点,此时的竖直方向上的维度上的速度几乎为零,此时手的高度和姿态都有一定的限制。

另外,需要说明的是,在特征点4即起杆到达顶点之后可能会出现短暂的静止,这种情况可能会被判定为运动结束。为了避免这种错误判定的发生,可以在提取出特征点后,如果一段动作的结束时刻te及下一段动作的开始时刻在第一预设特征点和第二预设特征点之间,则忽略该段动作的结束时刻te及下一段动作的开始时刻,将两端动作识别为一段动作,即将开始时刻t0和下一段动作的结束时刻之间的运动参数确定为一段动作。对应于该高尔夫挥杆动作,则第一预设特征点为特征点4,第二预设特征点为特征点5。

特征点5:竖直方向上的维度上第二方向的速度分别相对于其他两个维度上速度的比值均超过预设的第五特征点比值,其中第一方向与第二方向相反且第五特征点比值大于第三特征点比值,则识别出特征点5。其中,第五特征点比值可以选取经验值或实验值,较优地可以选取8以上的值。该特征点5对应于下挥准备击球,该过程与起杆中期类似,不过运动速度更大,运动方向相反。

其中,该特征点5的识别策略中涉及的其他两个维度指的是水平方向上的维度、以及与水平方向上的维度和竖直方向上的维度垂直的维度。

特征点6:该特征点分为两种情况:第一种情况为球员仅做挥杆练习,即空挥杆而不击球。高尔夫挥杆最理想的轨迹是下挥击球的轨迹与上挥的轨迹重合但速度更快,这样可以保证击球时刻与初始时刻对准的球杆姿态相同,从而得到最好的击球方向,因此,做挥杆练习时,与初始时刻的位置姿态最接近是最好的击球点。第二种情况为球员做击球动作,击球时刻球杆与球高速碰撞,加速度会发生剧烈震荡。

第一种情况对应的特征点6的识别策略为:如果存在采样时刻t对应的min(α||Xt-Xinit||+β||Tt-Tinit||)值小于预设的第六特征点阈值,其中Xt为采样时刻t对应的位置,Xinit为初始时刻t0对应的位置,Tt为采样时刻t对应的姿态,Tinit为初始时刻t0对应的姿态,则识别出特征点6。α和β为预设的参数值,例如可以分别选取为0.5和0.5。第六特征点阈值同样可以选取经验值或实验值,例如选取为0.1以下的值。

Tinit和Tt分别为采样时刻t0和t时被识别物体的转动状况。

如果采用图1中所示的MEMS传感装置进行运动数据采集后确定运动参数,则Tinit为开始时刻t0相对地磁坐标系的初始姿态矩阵。Tt为采样时刻t相对地磁坐标系的初始姿态矩阵。

Tinit=[Xt0,Yt0,Zt0],

其中,Xt0=sin(Rollt0)sin(Yawt0)sin(Pitcht0)+cos(Rollt0)cos(Yawt0)sin(Rollt0)cos(Yawt0)sin(Pitcht0)-cos(Rollt0)sin(Yawt0)-sin(Rollt0)cos(Pitcht0),

Yt0=cos(Pitcht0)sin(Yawt0)cos(Pitcht0)cos(Yawt0)sin(Pitcht0),

Zt0=sin(Rollt0)cos(Yawt0)-cos(Rollt0)sin(Yawt0)sin(Pitcht0)-sin(Rollt0)sin(Yawt0)-cos(Rollt0)cos(Yawt0)sin(Pitcht0)cos(Rollt0)cos(Pitcht0)

和是三轴磁场传感器采样到的采样时刻t0时的角度。

Tt=[Xt,Yt,Zt],

其中,Xt=sin(Rollt)sin(Yawt)sin(Pitcht)+cos(Rollt)cos(Yawt)sin(Rollt)cos(Yawt)sin(Pitcht)-cos(Rollt)sin(Yawt)-sin(Rollt)cos(Pitcht),

Yt=cos(Pitcht)sin(Yawt)cos(Pitcht)cos(Yawt)sin(Pitcht),

Zt=sin(Rollt)cos(Yawt)-cos(Rollt)sin(Yawt)sin(Pitcht)-sin(Rollt)sin(Yawt)-cos(Rollt)cos(Yawt)sin(Pitcht)cos(Rollt)cos(Pitcht)

Rollt、Yawt和Pitcht是三轴磁场传感器采样到的采样时刻t时的角度。

第二种情况对应的特征点6的识别策略为:如果存在某个时刻加速度变化率超过预设的第六特征点加速度变化率阈值,则识别出特征点6,这种情况对应于做击球的动作。更优地,对于高尔夫挥杆动作而言,在击球时刻对应的角速度变化率也会发生急剧的变化,因此,可以在确定存在某个时刻加速度变化率超过预设的第六特征点角速度变化率阈值。较优地,第六特征点加速度变化率阈值和第六特征点角速度变化率阈值可以选取经验值或实验值,例如分别选取为10m/s2和10000°/s2以上的值。

特征点7:速度为0。

需要说明的是,除了高尔夫挥杆运动,其他球类运动也会普遍具有一些特征点,这些特征点都是依据对应动作的轨迹得到的,其共性是一段动作中存在两条几乎重合但方向相反的轨迹:其中一条是为击球做的助力轨迹,通常从动作最低点运动至动作最高点,另一条是击球轨迹,通常从动作最高点回到动作最低点并产生击球动作。例如,足球、排球、羽毛球等。

在这些球类运动的动作中,存在三个特征点是最重要的:助力轨迹的初期、动作最高点、击球时刻分别对应的特征点。

其中,助力轨迹的初期对应的特征点识别策略为:在第一指定维度上的速度分别相对于其他两个维度上速度的比值均超过预设的助力轨迹初期特征点比值。

动作最高点对应的特征点识别策略为:在第二指定维度上的速度小于预设的动作最高点速度阈值,且高度和加速度满足预设的动作最高点要求。

击球时刻对应的特征点识别策略为:如果存在采样时刻t对应的min(α||Xt-Xinit||+β||Tt-Tinit||)值小于预设的击球时刻特征点阈值,则识别出采样时刻t对应击球时刻特征点(对应模拟练习动作而非实际击球),其中Xt为采样时刻t对应的位置,Xinit为初始时刻t0对应的位置,Tt为采样时刻t对应的姿态,Tinit为初始时刻t0对应的姿态;或者,存在某个采样时刻的加速度变化率超过预设的击球时刻加速度变化率阈值,则识别出击球时刻特征点(对应实际击球动作)。

例如上述的高尔夫动作,其特征点2为助力轨迹的初期对应的特征点,特征点4为动作最高点对应的特征点,特征点6为击球时刻对应的特征点。

对于足球而言,也会存在开始起脚、起脚到顶点、下脚踢球这样的过程,开始起脚的时刻为助力轨迹的初期对应的特征点,其中第一指定维度为水平方向上的维度;起脚到顶点的时刻为动作最高点对应的特征点,其中第二指定维度为竖直方向上的维度;下脚踢球练习或者做踢球动作的时刻为击球时刻对应的特征点。足球动作与高尔夫挥杆动作类似如图6a所示,只是对应特征点的阈值选取会根据足球运动的特性进行设定。

对于羽毛球而言,会存在开始抬拍、抬拍到顶点、下拍击球这样的过程,开始抬拍的时刻为助力轨迹的初期对应的特征点,其中第一指定维度为竖直方向上的维度;抬拍到顶点的时刻为动作最高点对应的特征点,其中第二指定维度为水平方向上的维度;下拍击球的时刻为击球时刻对应的特征点。羽毛球动作的轨迹如图6b所示,同样,对应特征点的阈值选取会根据羽毛球运动的特性进行设定。排球动作与羽毛球动作类似。

当然除了上述三个特征点之外,各运动类型的动作还会存在其他特征点,即也会存在其他特征点提取策略,可以根据具体运动类型的特性确定,在此不再一一赘述。

步骤504:判断提取出的特征点是否满足预设的运动类型的特征点要求,如果满足则识别出该段动作属于预设运动类型。

在此预设的运动类型的特征点要求可以包括但不限于以下几种:

第一种:提取出的特征点符合预设的顺序和数量要求。

通常一段运动类型的动作的特征点是具有一定顺序要求的,例如上述的高尔夫挥杆动作,上述七个特征点必须按照从特征点1到特征点7的先后顺序出现。例如提取出的特征点为:特征点2、特征点3、特征点6和特征点7,则符合预设的顺序,但如果提取出的特征点为:特征点3、特征点2、特征点7和特征点6,则不符合预设的顺序。

数量要求指的是,提取出的特征点至少为多少个时认为是预设的运动类型。仍以上述的高尔夫挥杆动作为例,如果需要保证动作识别的高度准确性,可以设置数量要求为7个特征点,即必须7个特征点按顺序都提取出来才认为该段动作为高尔夫挥杆动作。由于每个高尔夫球员挥杆的习惯和准确度都不太一样,差异也比较大,因此识别一个高尔夫挥杆动作时,可以不要求必须满足上述七个特征点,经大量实验验证,满足其中4个特征点即可认为是高尔夫挥杆。即数量要求可以为N,4≤N≤7。

第二种:提取出的特征点符合预设的顺序要求,且依据提取出的特征点对应的预设权值对该段动作进行的打分达到预设的分值要求。

可以将预设运动类型的各特征点预先赋予一定权值,利用提取出的各特征点的权值得到该段动作的总分值,如果该段动作的总分值达到预设的分值要求,则识别出该段动作为预设的运动类型。

由上述步骤503中的相关描述可以看出,由于助力轨迹的初期、动作最高点、击球时刻分别对应的特征点是球类运动动作所普遍具有的特征点,因此,可以将这三个特征点赋予较高的权值,使得提取出这三个特征点就能够识别出该动作属于预设的运动动作。仍以高尔夫挥杆动作为例,假设预设的分值要求为6分,其中特征点2、4和6分别对应的权值为2,其他特征点的权值分别为1,一旦能够提取出特征点2、4和6,就能够达到预设的分值要求,但如果识别出特征点1、4、5、6,同样也能够达到预设的分值要求,识别出该动作为高尔夫挥杆动作。

下面对图5所示方法对应的动作识别装置进行详细描述,如图7所示,该装置可以包括:参数获取单元700、特征点提取单元710和动作识别单元720。

参数获取单元700,用于获取一段动作对应的各采样时刻的运动参数。

特征点提取单元710,用于利用参数获取单元700获取的运动参数,按照预设的特征点识别策略提取特征点。由于助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点通常是球类运动所共同具有的特征点,因此特征点识别策略至少包括以下三种特征点的识别策略:助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点。

动作识别单元720,用于判断特征点提取单元710提取出的特征点是否满足预设球类运动类型的特征点要求,如果是,则识别出一段动作属于预设的球类运动类型。

图7所示的动作识别装置可以连接运动参数确定装置,参数获取单元700从运动参数确定装置获取各采样时刻的运动参数。

运动参数确定装置根据MEMS传感装置采样到的各采样时刻的运动数据获得各采样时刻的运动参数,该运动参数可以包括:加速度、速度、姿态和位置。其获得各采样时刻的运动参数方法可以采用图4所示流程。

MEMS传感装置包括:三轴加速度传感器、三轴陀螺仪和三轴磁场传感器。

其中,参数获取单元700可以具体包括:参数接收子单元701、静止检测子单元702以及参数截取子单元703。

参数接收子单元701,用于获取各采样时刻的运动参数。

静止检测子单元702,用于利用各采样时刻的加速度进行运动静止检测,确定一段运动状态的开始时刻t0和结束时刻te

具体地,静止检测子单元702可以按照采样时刻的顺序对各采样时刻按照预设的运动时刻确定策略进行判断,如果采样时刻t0满足运动时刻确定策略,而采样时刻t0-1不满足运动时刻确定策略,则确定t0为运动开始时刻;如果采样时刻te满足运动时刻确定策略,而采样时刻te+1不满足运动时刻确定策略,则确定te为运动结束时刻。

运动时刻确定策略可以为:如果采样时刻tx至其之前T个采样时刻的加速度取模后的方差av大于或等于预设的加速度方差阈值,且采样时刻tx的加速度取模得到的a0大于或等于预设的运动加速度阈值,则确定采样时刻tx为运动时刻;其中T为预设的正整数。

参数截取子单元703,用于确定出从开始时刻t0至结束时刻te的运动参数。

其中,助力轨迹的初期对应的特征点的识别策略为:在第一指定维度上的速度分别相对于其他两个维度上的速度的比值均超过预设的助力轨迹初期特征点比值。

动作最高点对应的特征点的识别策略为:在第二指定维度上的速度小于预设的动作最高点速度阈值。

击球时刻对应的特征点的识别策略为:如果存在采样时刻t对应的min(α||Xt-Xinit||+β||Tt-Tinit||)值小于预设的击球时刻特征点阈值,则识别出击球时刻对应的特征点,其中α和β为预设的参数值,Xt为采样时刻t对应的位置,Xinit为一段动作的初始时刻t0对应的位置,Tt为采样时刻t对应的姿态,Tinit为一段动作的初始时刻t0对应的姿态;或者,存在某个采样时刻的加速度变化率超过预设的击球时刻加速度变化率阈值,则识别出击球时刻特征点。

其中,Tinit=[Xt0,Yt0,Zt0],

其中,Xt0=sin(Rollt0)sin(Yawt0)sin(Pitcht0)+cos(Rollt0)cos(Yawt0)sin(Rollt0)cos(Yawt0)sin(Pitcht0)-cos(Rollt0)sin(Yawt0)-sin(Rollt0)cos(Pitcht0),

Yt0=cos(Pitcht0)sin(Yawt0)cos(Pitcht0)cos(Yawt0)sin(Pitcht0),

Zt0=sin(Rollt0)cos(Yawt0)-cos(Rollt0)sin(Yawt0)sin(Pitcht0)-sin(Rollt0)sin(Yawt0)-cos(Rollt0)cos(Yawt0)sin(Pitcht0)cos(Rollt0)cos(Pitcht0)

和是三轴磁场传感器采样到的采样时刻t0时的角度。

Tt=[Xt,Yt,Zt],

其中,Xt=sin(Rollt)sin(Yawt)sin(Pitcht)+cos(Rollt)cos(Yawt)sin(Rollt)cos(Yawt)sin(Pitcht)-cos(Rollt)sin(Yawt)-sin(Rollt)cos(Pitcht),

Yt=cos(Pitcht)sin(Yawt)cos(Pitcht)cos(Yawt)sin(Pitcht),

Zt=sin(Rollt)cos(Yawt)-cos(Rollt)sin(Yawt)sin(Pitcht)-sin(Rollt)sin(Yawt)-cos(Rollt)cos(Yawt)sin(Pitcht)cos(Rollt)cos(Pitcht)

Rollt、Yawt和Pitcht是三轴磁场传感器采样到的采样时刻t时的角度。

特别地,当预设球类运动类型为高尔夫挥杆时,上述第一指定维度为水平方向上的维度,第二指定维度为竖直方向上的维度。优选地,助力轨迹初期特征点比值为4以上的值,动作最高点速度阈值为0.1m/s以下的值。α和β均为0.5时,击球时刻特征点阈值为0.1以下的值;加速度变化率为10m/s2以上的值。

当预设球类运动类型为高尔夫挥杆时,特征点识别策略还包括以下策略中的至少一种:

特征点1识别策略:速度为0。

特征点3识别策略:竖直方向的维度上第一方向的速度分别相对于其他两个维度上速度的比值超过预设的第三特征点比值。第三特征点比值可以选取4以上的值。

特征点5识别策略:竖直方向的维度上第二方向的速度分别相对于其他两个维度上速度的比值均超过预设的第五特征点比值,其中第一方向与第二方向相反,且第五特征点比值大于第三特征点比值。第五特征点比值可以选取8以上的值。

特征点7识别策略:速度为0。

另外,动作识别单元720如果判断出特征点提取单元710提取出的特征点符合预设的顺序和数量要求,或者,判断出特征点提取单元710提取出的特征点符合预设的顺序要求,且依据提取出的特征点对应的预设权值对一段动作进行的打分达到预设的分值要求,则识别出一段动作为预设的球类运动类型。

较优地,鉴于助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点的重要性,该三个特征点的预设权值的设置使得提取出助力轨迹的初期对应的特征点、动作最高点对应的特征点以及击球时刻对应的特征点时对一段动作进行的打分达到预设的分值要求。

针对高尔夫挥杆动作,上述预设的顺序为:特征点1、助力轨迹的初期对应的特征点、特征点3、动作最高点对应的特征点、特征点5、击球时刻对应的特征点以及特征点7。上述数量要求N为:4≤N≤7。

另外,在某些运动动作中可能会存在短暂的停留,为了防止该短暂的停留被错误的判定为运动结束,动作识别单元720如果确定结束时刻te及下一段动作的开始时刻在第一预设特征点和第二预设特征点之间,则忽略该结束时刻te及下一段动作的开始时刻,将所述开始时刻t0和下一段动作的结束时刻之间的运动参数确定为一段动作。

以高尔夫挥杆动作为例,上述的第一预设的特征点可以为特征点4,第二预设特征点可以为特征点5。

在通过图5所示流程或图7所示装置识别出一段动作是预设的运动类型后,可以进一步用于如下应用:

1)将该段动作的运动参数发送给参数显示装置(如图1中的参数显示装置150),参数显示装置可以根据各采样时刻的位置信息以表格的形式显示,或者显示被识别物体的3D运动轨迹,和/或,根据各采样时刻的速度信息以表格形式显示,或者以曲线形式显示被识别物体的速度信息。用户可以通过该参数显示装置,查看被识别物体的具体运动细节,例如运动的实时速度、位置、位置的时间分布、速度的时间分布等。

以高尔夫挥杆动作为例,在识别出一段动作为高尔夫挥杆动作后,将该段动作的运动数据发送给iphone(作为参数显示装置),在iphone上就能够显示本次高尔夫挥杆动作的3D轨迹,用户还可以在iphone上查看具体细节,例如击球时刻的速度、姿态等。还可以将多段动作的轨迹同时显示以方便用户进行对比,确定动作的标准型和一致性,例如将用户的多次高尔夫挥杆动作的轨迹同时显示。

2)将该段动作的运动参数提供给专家评价装置,或者将参数显示装置的显示结果提供给专家评价装置,以便专家评价装置给予评价。

其中专家评价装置可以是具有自动评价功能的装置,此时专家评价装置可以查找预先挖掘的运动参数数据库,该运动参数数据库中存储有各种运动参数所对应的评价信息,对各时刻的加速度、实时速度和位置信息给予对应的评价。

专家评价装置也可以是一个用户界面,通过用户界面将运动参数提供给专家,由专家根据运动参数人工给予评价,较优地,用户界面可以获取专家输入的评价信息,将评价信息发送给终端设备供该终端设备的使用者查看和参考。

3)直接将各时刻的加速度、实时速度和位置信息等运动参数发送给一个以上的终端设备,例如发送给多个用户的iphone,供多个终端设备的使用者共享该运动参数,增加多个使用者之间的交流。

需要说明的是,在本发明的实施例中均以MEMS传感装置为例进行描述,但本发明并不限于此,同样可以采用除MEMS传感装置之外的其他传感装置,只要能够实现本发明实施例中所述的运动数据采样即可。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号