公开/公告号CN114783064A
专利类型发明专利
公开/公告日2022-07-22
原文格式PDF
申请/专利权人 东北大学秦皇岛分校;
申请/专利号CN202210501950.7
申请日2022-05-10
分类号G06V40/20;G06K9/62;G06N20/00;G06V10/774;
代理机构沈阳东大知识产权代理有限公司;
代理人李在川
地址 066004 河北省秦皇岛市经济技术开发区泰山路143号
入库时间 2023-06-19 16:06:26
法律状态公告日
法律状态信息
法律状态
2022-07-22
公开
发明专利申请公布
技术领域
本发明涉及人工智能技术领域,提出了基于IMU和线性判别分析的广播体操动作识别系统及方法。
背景技术
自1951年以来,广播体操一直在开始在国内得到广泛传播,目前根据国人的身体需求已经发展到了第九套。随着全民健身时代的到来,人们意识到自身健康的重要性,对健身需求日趋强烈。为了满足锻炼者的健身需求,健身形式呈现出多样化的发展趋势。其中,广播体操运动不但能起到提高自身体能的效果,还能起到缓解压力、减少疾病发生的作用。而随着可穿戴设备的出现,利用可穿戴设备实现对健身运动的识别也成为可穿戴设备的一大功能,但目前可穿戴设备中并没有加入对广播体操动作的识别,不利于对健身量的统计。目前对人体动作识别的算法主要有两种,一种是基于深度学习的方案,这些一般是利用相机或者其他图像传感器采集的数据对人体动作识别,技术实施成本较高,视频或图像的采集易受来自光、视角、背景等的干扰,在采集过程中会产生视觉死角、检测盲点和个人隐私问题,其数据存储的成本较高,如果为了实时演算的速率也会大大提高使用的成本。而另一种方案就是使用惯性传感器产生的加速度、角速度等信息利用算法实现人体动作识别的方法,与图像运动识别技术相比,传感器识别技术可以有效地克服图像传感器的缺点,具有体积小、成本低、携带方便、实用性强的优点。但因为传感器误差的存在导致其数据准确性存在问题没影响动作的识别,为了提高广播体操动作识别准确率需要布置很多传感器,导致便携性很差。如何能够实现低成本、又能便携可靠的实现广播体操动作的识别评估是一项挑战。
发明内容
本发明设计了基于IMU和线性判别分析的广播体操动作识别系统及方法,通过布置在人体上的IMU捕捉得到人体动作指定部位加速度角速度变化,并将加速度角速度数据利用线性判别分析算法(linear discriminant analysis,LDA)实现动作的识别,在保证便携性的情况下低成本的实现对广播体操运动的识别。
本发明提出的技术方案如下:
一方面,本发明提供了基于IMU和线性判别分析的广播体操动作识别系统,包括数据管理模块、数据处理模块;
所述数据管理模块,包括运动监测单元、数据采集单元、数据传输单元,通过IMU实时采集人体广播体操动作信息、并将数据打包传输到数据处理模块;
所述数据处理模块,包括数据存储单元、广播体操动作识别单元;用于将人体广播体操动作信息进行存储和实现人体广播体操动作的识别。
所述运动监测单元采用IMU,采集广播体操运动过程中的人体广播体操动作信息;
所述人体广播体操动作信息,包括人体广播体操动作产生的加速度、角速度数据;
所述数据采集单元,将运动检测单元采集的加速度角速度数据进行收集,并打包为广播体操数据集;
所述数据传输单元,将数据采集单元打包好的广播体操数据集通过无线传输到数据处理模块。
所述无线传输,使用Wi-Fi无线通信技术传输数据。
所述数据存储单元,用于存储广播体操数据集中的加速度角速度数据;
所述广播体操动作识别单元对广播体操运动中的广播体操动作进行动作识别。
所述广播体操动作,包括伸展运动、扩胸运动、踢腿运动、体侧运动、体转运动、全身运动六种运动。
另一方面,本发明提供了基于IMU和线性判别分析的广播体操动作识别方法,采用所述基于IMU和线性判别分析的广播体操动作识别系统,包括如下步骤:
步骤1:将IMU固定在人体手臂上,将数据采集单元和数据传输单元固定在腰部,对广播体操动作进行采集,得到加速度角速度数据;
步骤2:数据采集单元将运动监测单元采集到加速度、角速度数据进行汇总与打包为广播体操数据集;
步骤3:数据传输单元将数据采集单元打包好的广播体操数据集通过无线传输到数据处理模块的数据存储单元中;
步骤4:将数据存储单元中打包好的广播体操数据集提取出来,进行数据滤波,采用一阶滞后滤波法去除数据中的噪音;得到平滑的加速度角速度数据信息,处理后的数据y
y
其中,x
步骤5:将滤波后的数据进行数据提取,采用最大值、最小值、平均值、标准差、均方误差、信息熵、面积提取方法,得到最终数据集;
步骤6:将最终数据集按比例分为训练集样本和测试集样本;
步骤7:采用线性判别分析机器学习算法对广播体操动作进行识别。
所述广播体操动作,包括伸展运动、扩胸运动、踢腿运动、体侧运动、体转运动、全身运动。
所述最大值提取方法,是采集数据样本中的最大值;
所述最小值提取方法,是采集数据样本中的最小值;
所述平均值提取方法为数据样本的算术平均值,将样本数据求和与样本数量n相除得到,如式(2)所示:
所述标准差提取方法,求取数据样本中的平均值
所述均方误差提取方法,由样本数据拟合出的值与样本值的差值平方与样本数量n相除得到均方误差R,如式(4)所示:
其中,f(x
所述信息熵提取方法,由数据在样本出现的频率p
所述面积提取方法,通过将拟合得到的函数f(x)进行积分得到,如式(6)所示;
其中,n为样本数量。
所述最终数据集,是经过滤波处理之后根据所述广播体操动作中的任一运动的数据,通过求取运动数据的最大值、最小值、平均值、标准差、均方误差、信息熵、面积的值得到的数据集合。
所述线性判别分析机器学习算法,将高维的数据样本投影到最佳鉴别矢量空间。
有益技术效果
本发明涉及到的基于IMU和线性判别分析的广播体操动作识别系统及方法,具有以下有益效果:
1、本发明所述系统只需在手臂佩戴,就可以实现对广播体操运动的识别,极大提高了便携性。
2、使用线性判别分析算法的动作识别算法提高了对广播体操运动的识别准确率,具有极高的识别准确率。
附图说明
图1为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统整体结构图;
图2为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统运动监测单元工作流程图;
图3为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统数据采集平台与数据传输平台工作流程图;
图4为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统数据处理模块工作流程图;
图5为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统广播体操动作识别单元工作流程图;
图6为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别方法的处理流程图;
图7为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统数据预处理流程图;
图8为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统特征选择流程图;
图9为本发明实施例提供的基于IMU和线性判别分析的广播体操动作识别系统机器学习模型训练流程图。
具体实施方式
下面将结合附图对本发明实施作进一步说明。
在本实施例中,一方面,本发明提供了基于IMU和线性判别分析的广播体操动作识别系统,以解决背景技术中便携性差,识别率低的问题,通过布置在人体上的IMU捕捉得到人体动作指定部位加速度角速度变化,并将加速度角速度数据利用线性判别分析算法(linear discriminant analysis,LDA)实现动作的识别,在保证便携性的情况下低成本的实现对广播体操运动的识别。
基于IMU和线性判别分析的广播体操动作识别系统,如图1所示,包括数据管理模块1、数据处理模块2。
所述数据管理模块1,包括运动监测单元14、数据采集单元15、数据传输单元16;
本实施例中,所述运动监测单元14采用MPU6500六轴加速度角加速度传感器,通过布置在人体上在采集数据;如图2所示,运动监测单元14负责监测并采集广播体操动作信息,将人体广播体操动作信息转化加速度角速度数据,将数据传输到数据采集单元15;数据采集单元15和数据传输单元16固定在腰部,本实施例中,数据采集单元采用的芯片型号是STM32F103C8T6的单片机;数据传输单元采用的芯片型号是ESP8266 WIFI模组;数据采集单元15与运动监测单元14通过有线连接;如图3所示;数据采集单元15接收到运动监测单元14传来的加速度角速度数据,将加速度角速度数据打包为广播体操数据集传送到数据传输单元16,数据传输单元16将广播体操数据集传输通过Wi-Fi传输到数据处理模块2。
所述数据处理模块2,包括数据存储单元27、广播体操动作识别单元28;如图4所示,数据处理模块2接收到数据管理模块1数据传输单元16的数据,将广播体操数据集存储在数据存储单元27中,从数据存储单元27提取到广播动作识别单元28中,进行数据处理和广播体操动作识别。
所述数据存储单元27采用的数据库为MySQL数据库,性能卓越服务稳定,很少出现异常宕机;开放源代码且无版权制约,自主性强、使用成本低;软件体积小,安装使用简单,并且易于维护,安装及维护成本低;支持多种操作系统,提供多种api接口,支持多种开发语言。
所述广播体操动作识别单元28,如图5所示,从数据存储单元27提取广播体操动作数据,对数据进行预处理,根据选择的特征对数据进行特征求取,建立机器学习模型进行训练,实现对广播体操动作类型的识别。
另一方面,本发明提出了基于IMU和线性判别分析的广播体操动作识别方法,采用基于IMU和线性判别分析的广播体操动作识别系统,如图6所示,包括如下步骤:
步骤1:将IMU固定在人体手臂上,并将数据采集单元和数据传输单元通过腰带的方式固定在腰部。对6种广播体操运动动作进行采集,这6种运动包括伸展运动、扩胸运动、踢腿运动、体侧运动、体转运动、全身运动六种运动;
步骤2:数据采集单元采用的芯片型号是STM32F103C8T6的单片机,将运动监测单元采集到加速度、角速度数据进行汇总与打包,保证11个IMU同一时刻的加速度、角速度数据被打包在一起;
步骤3:数据传输单元采用的芯片型号是ESP8266 WIFI模组,将数据采集单元打包好的数据通过Wi-Fi传输到数据处理模块的数据存储单元中;
步骤4:如图7所示,将数据存储单元中的数据提取出来,进行数据滤波,采用一阶滞后滤波法去除数据中的噪音。得到平滑的加速度角速度数据信息。求出处理后的数据y
x
步骤5:如图8所示,将滤波后的数据进行数据提取,采用最大值、最小值、平均值、标准差、均方误差、信息熵、面积提取方法,得到最终数据集;
所述最终数据集是经过滤波处理之后根据所述广播体操动作中的任一运动的数据,通过运动数据的最大值、最小值、平均值、标准差、均方误差、信息熵、面积提取方式,得到的数据集合;
所述最大值提取方法,是采集数据样本中的最大值;
所述最小值提取方法,是采集数据样本中的最小值;
所述平均值提取方法为数据样本的算术平均值,将样本数据求和与样本数量总和n相除得到,如式(2)所示:
所述标准差提取方法,求取数据样本中的平均值
所述均方误差提取方法,由样本数据拟合出的值与样本值的差值平方与样本数量n相除得到均方误差R,如式(4)所示:
其中,数据拟合函数f(x),由Matlab中的polyfit函数输出得到;
所述信息熵提取方法,由数据在样本出现的频率p
所述面积提取方法,通过将拟合得到的函数f(x)进行积分得到,如式(6)所示;
其中,n为样本数量;
步骤6:将步骤5中获得的最终数据集按4:1的比例划分为训练集样本和测试集样本;
步骤7:如图9所示,采用线性判别分析(linear discriminant analysis,LDA)机器学习算法对全国第八套广播体操进行识别,将运动分为6类:伸展运动、扩胸运动、踢腿运动、体侧运动、体转运动、全身运动;
所述线性判别分析机器学习算法,将高维的数据样本投影到最佳鉴别矢量空间,投影后的数据样本在最佳鉴别矢量空间中有最佳的可分离性。
对6种广播体操运动动作识别进行了测试,同时也和K-近邻(KNN)、朴素贝叶斯(NB)、支持向量机(SVM)、分类决策树(CART)4种分类识别算法的识别结果进行了对比,共选取960个样本数据,对该样本数据进行识别,其准确率可达99.2%。
表1:广播体操动作识别结果
在本实施例中,提出了基于IMU和线性判别分析的广播体操动作识别系统及方法,提高了广播体操动作自动化识别的效率;通过对加速度、角速度数据处理、机器学习的方式实现了对6种广播体操运动动作的精确识别;通过广播体操动作识别系统的搭建,结合广播体操动作识别方法,实现了对广播体操动作数据的采集和动作的识别。佩戴方便、识别精度高、易于操作、自动化程度高。
机译: 基于机器学习的IMU动作识别
机译: 基于操作员动作文本分析的相关操作员动作事件识别系统和方法
机译: 用于自动语音识别系统中选择性地偏置线性判别分析的方法和系统