人体动作识别

摘要： 基于二维卷积神经网络(2DCNN)和三维卷积神经网络(3DCNN)的人体动作识别方法都存在运算量较大的问题,提出了关节点时空信息融合降维的人体动作识别方法(Joint-trajectory).首先,采用高分辨率网络(HigherHRnet)提取视频每帧图像中人体各个关节点的空间坐标信息,构建单帧图像中人体关节点空间信息行向量;其次,在时间维度上对整段视频的所有关节点空间信息行向量进行纵向拼接,获得该视频的关节点时空信息融合矩阵;最后,使用残差网络对关节点时空信息融合矩阵进行学习和分类.在KTH数据集上的实验结果表明,该方法在有效的降低人体动作识别复杂度的同时,能够获得更高的识别率,且具有较强的鲁棒性.

摘要： 针对人体动作识别微多普勒雷达数据量有限的问题,本文提出基于梯度惩罚的沃瑟斯坦生成对抗网络(WGAN-GP)进行雷达数据增强,实现深度卷积神经网络(DCNN)在样本数量较少时可以得到有效训练。首先对人体各种动作的线性调频连续波雷达回波数据进行预处理得到微多普勒时频谱图像,然后采用WGAN-GP进行时频谱图像数据增强,最后利用生成的图像对DCNN进行训练。实验结果表明使用WGAN-GP可以有效解决雷达数据不足的问题,从而提高DCNN人体动作识别准确率。

摘要： 针对微多普勒特征识别人体动作的局限性,基于调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达采用深度学习方法对人体动作识别,提出了一种特征融合卷积神经网络结构。利用FMCW雷达采样的人体动作回波数据分别构建出时间-距离特征和微多普勒特征图,将这两种特征图作为输入数据分别经由输入层进入卷积层,经Batch Normalization层、ReLU激活函数和最大池化层计算之后完成特征降维,然后对两种降维后的特征进行融合,融合后的特征图再经过卷积层和池化层计算获得更深层次的特征,最后经过两个全连接层,在输出层完成人体动作识别。采用英国格拉斯哥大学公开的数据集进行10折交叉验证,实验结果显示,与单一特征域的识别准确率相比,采用两种特征融合的结构进行人体动作识别的准确率提升了1%,验证了该模型的有效性。

摘要： 在人机交互动作识别领域中,基于深度学习的动作识别方法比传统的手工特征提取方法准确率更高.为了解决基于深度学习的动作识别方法在实时人机交互的实际应用问题,本文设计并创建了交互动作数据集(IA RGB-D),用于深度学习方法的人体动作识别研究.将IA RGB-D用于多种神经网络的训练和测试,测试结果准确率均在95%以上,验证了数据集的正确性和有效性.为保障对采集动作的实时识别正确率,本文提出了一种基于高效通道注意力的位移图神经网络(ASGCN),将高效通道注意力模块引入位移图卷积神经网络(Shift-GCN),增强其在通道特征上的提取能力.实验证明,ASGCN比Shift GCN准确率更高,提高了复杂动作的识别率,并且与传统的手工特征提取方法对比,识别效率接近但是准确率大幅提升.

摘要： 传统的人体骨架动作识别算法采用手动构建拓扑图的方式来建模包含在多个视频帧中的动作序列,并针对性地学习每个视频帧以反映数据变化,这容易造成计算代价大、网络泛化性低和灾难性遗忘等问题。针对上述问题,提出了基于动态拓扑图的人体骨架动作识别算法,使用持续学习思想动态构建人体骨架拓扑图。将具有多关系特性的人体骨架序列数据重新编码为关系三元组,并基于长短期记忆网络,通过解耦合的方式学习特征嵌入。当处理新骨架关系三元组时,使用部分更新机制动态构建人体骨架拓扑图,并采用基于时空图卷积网络的骨架动作识别算法来实现动作识别。实验结果表明,所提方法在Kinetics-Skeleton,NTU-RGB+D(X-Sub)和NTU-RGB+D(X-View)基准数据集上分别取得了40%,85%和90%的识别准确率,提高了人体骨架动作识别的准确率。

摘要： 针对视频中人体动作行为的空间复杂性和时间复杂性问题,提出一种融合图卷积神经网络和长短期记忆神经网络的双流网络方法2S-LSGCN。从人体关节点组成的骨架关节图中,提取动作的空间与时间特征;利用GCN提取骨架关节点间潜在的空间信息,LSTM提取人体动作前后之间的时间序列特征作为补充,分别将两个网络的预测输出进行晚融合,提高单个网络泛化能力不足的问题。该模型在NTU-RGBD数据集上达到了令人满意的效果,在与该领域中的同类算法比较中表现优异。

摘要： 雷达人体行为感知系统具有穿透探测能力,在安防、救援、医疗等领域具有广泛的应用前景。近年来,深度学习技术的出现促进了雷达传感器在人体行为感知领域的发展,同时对相关数据集的样本规模和丰富性提出了更高的要求。该文公开了一个超宽带雷达人体动作四维成像数据集,该数据集以超宽带多输入多输出雷达为探测传感器来获取了人体目标的距离-方位-高度-时间四维动作数据,共采集了11个人体目标的2757组动作数据,动作类型包含走路、挥手、打拳等10种常见动作,有穿透探测和不穿透探测的实验场景。该文详细介绍了数据集的系统参数、制作流程、数据分布等信息。同时,基于飞桨平台使用计算机视觉领域应用较多的深度学习算法对该数据集进行人体动作识别实验,实验对比结果可以作为参考,为学者使用该数据集提供技术支撑,方便在此基础上进一步探索研究。

摘要： 针对当前人体动作识别算法检测精度不佳和实验场景多样性的问题,提出了一种混合卷积神经网络−隐马尔可夫模型(CNN-HMM)的人体动作识别方法。建立了抬腿、深蹲和仰卧臀桥3组分别包含1个标准动作姿态和5个非标准动作姿态的人体康复训练动作模型库,结合可穿戴式惯性动作捕捉系统PN2.0获取实验数据。最后从准确率、灵敏度和特异性3个方面进行性能评估。实验结果表明,该方法能够以较高识别率将6种不同动作姿态区分开,其平均识别准确率为97.00%,相较于单一CNN方法提高了5.78%。

摘要： 为了梳理深度学习方法在人体动作识别领域的发展脉络,对该领域近年来最具代表性的模型和算法进行了综述。以人体动作识别任务流程为线索,详细阐述了深度学习方法在视频预处理阶段、网络结构上的最新成果及其优缺点。介绍了人体动作识别相关的两类数据集,并选取常用的几种进行具体说明。最后,对人体动作识别未来的研究方向进行了探讨与展望。

摘要： 针对单频段雷达利用微多普勒特征识别人体动作能力有限的问题,提出了一种基于双频段调频连续波(Frequency Modulation Continuous Wave,FMCW)雷达的人体动作识别方法。首先利用K频段与C频段两部不同频段的FMCW雷达分别对人体不同动作进行探测收集到回波数据,对回波数据进行预处理分别得到距离时间、距离多普勒与微多普勒时频谱图像;然后,运用主成分分析法对图像进行特征提取得到特征向量,对提取到的特征向量进行特征级融合;最后,将融合后的特征作为支持向量机的输入从而实现人体动作识别。采用雷达实测数据的实验结果表明,基于双频段FMCW雷达联合工作的探测方法对五种人体动作的识别正确率为96.25%,优于单个频段FMCW雷达单独工作时的动作识别正确率。

摘要： Kinect问世以来,越来越多的研究者开始研究基于深度信息和骨架信息的人体动作识别.为了提高动作识别的准确率和实时性,并且降低计算过程中的计算复杂度,提出了一个基于关键帧的骨架特征的人体动作识别方法.采用K-均值聚类算法对人体动作视频序列做聚类,通过聚类出的数据提取人体动作视频序列中的关键帧.提取关键帧中的关节点位置和人体刚体部分之间的骨架角度两种特征,利用SVM分类器对动作序列进行分类.在MSR-DailyActivity3D数据集上的实验结果表明,该方法具有较高的识别率,并且提高了实时性.

摘要： 为了提高家庭环境下人体动作识别的效率和精度,提出并实现了基于Kinect数据主成分分析的动作识别方法.首先,通过Kinect采集人体动作特征描述的时间序列数据,并构造人体姿态描述向量;然后,运用主成分分析方法分析不同时间点的特征值的差异,获得重构的特征值,使得不同类型的动作之间有明显区别.同时减少了冗余和噪声,有利于动作的判断和识别.最后,依据重构的特征和最近邻原则,进行动作的识别分类.实验结果表明,该方法对简单的人体动作识别精度可达80％以上,单个样本识别时间分别是1.67ms和3.93ms,基本满足对人体动作识别的精度、抗干扰能力和实时性等要求.

摘要： 日常行为动作感知和跌倒检测是健康监护中重要的一个方面,为更好的监护老年人身体健康,提出一种基于D-S证据理论的多分类SVM人体动作识别方法.首先分别采集下肢表面肌电信号和躯干的加速度信号并进行预处理和特征提取;其次分别输入SVM得到后验概率输出,最后在决策级对SVM多分类输出进行D-S证据理论融合.实验结果表明该方法对人体8种动作识别率88.75％,能正确分类采用单源信号时所错分的样本,有效提高单一传感器人体动作识别率,降低识别整体误差.

摘要： 一种电子装置，包括动作识别模组、存储单元以及处理单元。该动作识别模组包括感测单元、分析单元以及判断单元。感测单元连续感测一定范围内的人体动作并产生多个感测信号。分析单元接收该多个感测信号并分别处理得出多个影像画面。判断单元对该多个影像画面进行对比，根据影像画面的变化确定一动作。存储单元存储有一动作与功能对应关系表。处理单元根据该动作与功能对应关系表确定该判断单元确定的动作所对应的功能并执行该功能。本发明还提供一种动作识别模组以及识别方法。本发明的电子装置及识别方法，可感测用户的动作而执行相应的功能，无需遥控器进行控制。

摘要： 行为动作识别装置(1)从麦克风(2)获取声音数据，计算声音数据的特征量，判断用户是否存在于设有麦克风(2)的空间内，在用户不存在于空间内的情况下，基于计算出的特征量计算表示噪音的特征量的噪音特征量，并将计算出的噪音特征量存储到噪音特征量存储部(108)，在用户存在于空间内的情况下，从计算出的特征量减去被存储在噪音特征量存储部(108)的噪音特征量，从而提取表示因用户进行动作而发出的行为动作音的特征量的行为动作音特征量，利用行为动作音特征量识别用户的行为动作。

摘要： 本发明提供一种动作识别装置、动作识别方法、存储介质以及动作识别系统，能够各别地识别以每个身体部位进行的动作。动作识别装置(10)包括：获取部(11)，获取与作业者的动作相关的时间序列信息；动作识别部(12)，基于对各别动作进行规定的动作信息及时间序列信息，针对作业者的每个身体部位，识别相当于各别动作的任一个的作业者的动作，按照作业者的身体部位生成动作识别结果，所述动作识别结果包含与所述识别的作业者的动作对应的各别动作的开始时间及结束时间；以及显示部(13)，基于所生成的动作识别结果，将按照身体部位的动作识别结果依时间序列排列显示。

摘要： 本说明书实施例提供动作识别方法，其中所述动作识别方法包括：确定目标对象的动作关键点数据；将所述动作关键点数据输入目标动作识别模型，获得所述目标对象的动作识别结果，其中，所述目标动作识别模型基于样本对象的动作关键点数据，以及所述动作关键点数据对应的动作描述数据训练获得，所述目标动作识别模型为机器学习模型。该方法基于样本对象的动作关键点数据，以及该动作关键点数据对应的动作描述数据训练获得目标动作识别模型，从而获得动作识别效果较优的目标动作识别模型；基于该目标动作识别模型对目标对象的动作关键点数据进行动作识别，提高了动作识别的准确率。

摘要： 一种电子装置，包括动作识别模组、存储单元以及处理单元。该动作识别模组包括感测单元、分析单元以及判断单元。感测单元连续感测一定范围内的人体动作并产生多个感测信号。分析单元接收该多个感测信号并分别处理得出多个影像画面。判断单元对该多个影像画面进行对比，根据影像画面的变化确定一动作。存储单元存储有一动作与功能对应关系表。处理单元根据该动作与功能对应关系表确定该判断单元确定的动作所对应的功能并执行该功能。本发明还提供一种动作识别模组以及识别方法。本发明的电子装置及识别方法，可感测用户的动作而执行相应的功能，无需遥控器进行控制。

摘要： 本发明公开了一种人体动作采集和动作识别系统及其控制方法，包括用于采集人体动作的数据采集端和识别端；所述数据采集端包括外壳，与外壳连接的固定结构，设于外壳内的第一处理器、第一无线收发器、3轴加速度传感器电路和第一存储器；所述识别端包括壳体，设于壳体内的第二处理器、第二无线收发器和第二存储器，设于壳体上的显示屏和数据输出接口；本发明具有识别精度高、识别速度快，体积小、功耗低，受环境影响小、抗干扰性强，提高了舞台表演及演讲的效果的特点。

摘要： 本申请涉及一种基于人体姿势识别的体育动作识别计数方法、装置及计算机可读存储介质，属于图像处理技术的领域，识别计数方法包括在获取的被测试者引体向上的实时视频流图像上画出高位线、低位线和单杠线，对实时视频流图像进行隔帧保存得到原始图像，将原始图像进行预处理后送入人体骨骼点检测网络，得到人体骨骼点点位图，根据骨骼点坐标判断是否完成一次引体向上，以进行引体向上计数；识别计数装置包括原始图像获取模块、检测图获取模块、点位图获取模块和判断计数模块；还提供一种计算机可读存储介质。与相关技术相比，本申请具有改善计数准确性较低的问题的效果。

摘要： 本实用新型公开了一种人体动作采集和动作识别系统，包括固定于人体上的用于采集人体动作的数据采集端和用于识别人体动作的识别端；所述数据采集端包括外壳，与外壳连接的固定结构，设于外壳内的第一处理器、第一无线收发器、3轴加速度传感器电路、第一存储器和用于供电的充电电池。本实用新型具有识别精度高、识别速度快，体积小、功耗低，受环境影响小、抗干扰性强，提高了舞台表演及演讲的效果的特点。

摘要： 本发明提供了一种人体动作识别方法、人体动作识别系统、设备，所述人体动作识别方法，包括：获取包含人体动作行为的视频，对视频帧进行重采样和预处理；提取视频帧的图像特征；基于人体骨骼信息获得视频帧对应人体关节点序列；将所述图像特征与所述人体关节点序列输入图卷积神经网络，获取动作类别。通过将包含有环境信息的图像特征和人体关节点序列构建模型，对环境变化鲁棒且能充分利用环境信息进行人体动作识别，准确率高。

摘要： 本申请涉及动作识别技术领域，尤其涉及一种基于人体关键点的人体动作识别方法及装置，分别对待识别视频的各视频帧进行人体检测，获得各人体区域图像，分别针对各视频帧，获得任意一个视频帧中的人体区域图像的关键点热图和深度图，将任意一视频帧中的人体区域图像、关键点热图和深度图输入至已训练的坐标转换模型中，通过全卷积网络进行特征提取，并通过坐标回归网络对提取到的特征向量进行坐标回归处理，获得该人体区域图像的各三维关键点坐标，根据确定出的各三维关键点坐标，对人体进行动作识别，获得人体的人体动作类别，这样，通过将人体关键点的二维坐标转换为三维坐标，并基于三维坐标对人体进行动作识别，能够提高动作识别的准确率。