人体行为识别

摘要： 针对三维卷积神经网络无法高效地提取时空特征,提出了一种基于SR3D网络的人体行为识别算法。首先,将三维残差模块的BN层和Relu激活函数放置在三维卷积层之前,更好地提取时空特征;然后,将改进的三维残差块和SE模块组合成SR3D模块,增加重要通道的利用率,提高了网络的识别率。在UCF-101和自制异常行为数据集上进行了大量实验结果表明,SR3D算法分别达到了47.7%和83.6%的识别率(top-1精度),与三维卷积网络(C3D)相比分别提高了4.6和17.3个百分点。

摘要： 提出一种基于近邻成分分析(Neighbourhood component analysis,NCA)、L_(2)正则化和随机配置网络(Stochastic configuration networks,SCNs)的轻量型人体行为识别学习模型.首先,针对人体行为特征集维数过高且可分性差的问题,利用NCA从特征集中选择高相关性特征子集,进而提高模型建模计算过程的轻量性和识别精度.其次,针对SCNs隐含层节点过多时容易出现过拟合的问题,采用L_(2)正则化方法增强SCNs的泛化能力,同时利用监督机制约束产生隐含层参数的方法,极大地提高了SCNs模型的轻量性.最后,将所提NCA−L_(2)−SCNs学习模型在UCI HAR特征集上进行验证,实验结果表明,相比于其他模型,本文所提轻量型模型对于人体行为识别具有更好的识别精度和更快的建模速度.

摘要： 本文针对当前行为识别方法存在提取视频行为特征时信息利用不全面的问题,提出了基于骨架数据、多流和自适应图卷积神经网络的行为识别方法。三流自适应图卷积神经网络(3S-AGCN)针对人体骨架这一自然表示为图的数据结构形式,分别提取骨架图的关节点坐标、骨骼属性以及运动信息,实现了对骨架数据特征的充分提取。模型框架同时还引入了多注意力机制,分别从时间、空间和通道三个方向加强对重要信息的特征的提取能力。同时引入OpenPose算法首先提取人体骨架数据图再输入模型进行训练和识别任务,提高了模型在复杂环境下进行行为识别任务的鲁棒性。基于NTURGBD公共数据集,与当前先进方法的横向比较实验,结果表明3S-AGCN模型在行为识别任务上具有更高的准确率,验证了模型的可行性。

摘要： 人体行为识别随着智慧城市等应用的普及逐渐受到重视。视频中的人体行为的表现主要体现在随着运动出现的像素的动态变化,以及在时空平面和空间平面中呈现出的结构信息上。受此启发,提出了基于运动与结构特征嵌入的人体行为识别方法。首先采用运动历史图像在二维平面上呈现三维运动变化信息,并结合三维运动的X-T、Y-T、X-Y平面的投影,构成7个平面来体现人体行为的结构信息。其次,利用高斯金字塔和中心-环绕机制,充分模拟人眼对尺度变化以及边缘敏感的特性,并结合Gabor滤波器的方向敏感性和最大池化的激励鲁棒性,提取人体行为特征表示。最后,采用判别局部对齐分析降维。在IXMAS数据集和真实的UCF Sports数据集上的实验验证所提出方法的有效性。

摘要： 行为识别是计算机视觉领域意义重大的热点研究问题,它经历了从手工设计特征表征到深度学习特征表达的发展过程。从传统行为识别模型和深度学习模型两方面,对行为识别发展历程中产生的主流算法进行了归类梳理。传统行为识别模型主要包括基于轮廓剪影、时空兴趣点、人体关节点、运动轨迹的特征描述方法。其中改进的密集轨迹方式拥有良好的鲁棒性和可靠性;深度学习网络架构主要有双流网络、3D卷积网络和混合网络。首先,重点阐述了各行为识别算法的主要研究思路与创新点,并介绍了每类算法的模型架构、算法特色、适用情境等。然后,对广泛使用的公共行为数据库进行了分类阐述,着重对HMDB51和UCF101数据集进行了详细介绍,比较分析了传统方法和深度学习算法在各数据集上的识别效果。通过对比分析发现,传统方法不适用于高精细行为的识别,且不易实现跨数据库或跨场景的推广;深度架构中,双流网络和3D卷积网络获得了比较好的行为识别效果且被广泛使用。最后,对行为识别的未来发展进行了展望,指出了若干将来可行的研究方向。

摘要： 针对原始C3D卷积神经网络的层数较少、参数量较大和难以关注关键帧而导致的人体行为识别准确率较低的问题,提出一种基于改进型C3D的注意力残差网络模型;首先,增加原始网络卷积层并采用卷积核合并与拆分操作实现(3×1×7)和(3×7×1)的非对称式卷积核,之后采用全预激活式残差网络结构来增加构建的非对称卷积层,并且在残差块中增加时空通道注意力模块;最后,为展示该算法的先进性和应用性,则将该算法与原始C3D网络以及其他流行算法分别在基准数据集HMDB51和自建的43类别体育运动数据集上相比较;实验结果表明,该算法与原始C3D网络相比,在HMDB51和43类体育运动数据集上分别提高了9.88%和21.61%,参数量比原来降低了38.68%,并且结果也优于其他流行算法。

摘要： 人体行为识别是人工智能领域的一个研究热点,相对于视频、运动流等数据,人体骨骼数据具有简洁性和矢量计算的高效性。从基于传统机器学习的手工特征提取方法和基于深度学习的深度特征提取方法两方面对基于骨骼数据的人体行为识别相关研究进行综述。将手工特征概括为物理属性特征和统计属性特征,将深度特征按卷积神经网络、循环神经网络、图卷积神经网络及混合神经网络等类别对基于骨骼数据的人体行为识别方法及其优缺点进行逐一阐述,并对相关的特征提取方法、技术路线、模型特点及识别率等进行分析与总结。

摘要： 基于深度学习和Wi-Fi感知的人体行为识别系统已逐步成为主流的研究方向,在近年来得到了长足的发展。然而,现有的系统严重依赖于大量带标记样本以达到良好的识别精度。这导致了大量的人力成本用于标记数据,同时现有系统也难以应用于实际场景。针对该问题,提出一种将主动学习应用于Wi-Fi感知的人体行为识别系统——ALSensing。该系统是第一个将主动学习和Wi-Fi人体行为识别相结合的系统,能够利用有限数量的已标记训练样本构建一个性能良好的行为识别器。利用商用的Wi-Fi设备实现了ALSensing系统,并且使用6个不同场景的实际数据集评估了它的性能。实验结果显示,ALSensing利用3.7%的已标记训练样本能够达到52.83%的识别精度,利用15%的已标记训练样本能够达到58.97%的识别精度,而利用现有基于深度学习的人体行为识别系统测量的参考基准在100%的已标记训练样本的情况下达到62.19%的识别精度。可见,ALSensing能够实现与现有基于深度学习的人体行为识别系统接近的识别精度,但是所需要的已标记训练样本的数量大幅度减少。

摘要： 本文首先介绍了一种基于智能手机传感器获取加速度等数据的App设计方法,设定了15种需要识别的动作、手机位置组合类别,收集了75万条运动数据记录;其次,采用滑动窗口技术分割时序数据,构建了有针对性的时域、频域特征指标,形成了不同窗口大小、步长的新样本系列;最后,通过分类结果筛选出性能优良的4类算法,证实了深度学习在特征构建方面的良好表现,探讨了滑动窗口大小、步长对识别结果的影响。这些成果对于构建人体行为识别系统具有一定参考价值。

摘要： 随着计算机视觉不断发展,人体行为识别在视频监控、视频检索和人机交互等诸多领域中展现出其广泛的应用前景和研究价值。人体行为识别涉及到对图像内容的理解,由于人体姿势复杂多样和背景遮挡的因素导致实际应用的进展缓慢。全面回顾了人体行为识别的发展历程,深入探究了该领域的研究方法,包括传统手工提取特征的方法和基于深度学习的方法,以及最近十分热门的基于图卷积网络(GCN)的方法,并按照所使用的数据类型对这些方法进行了系统的梳理;此外,针对不同的数据类型,分别介绍了一些热门的行为识别数据集,对比分析了各类方法在这些数据集上的性能。最后进行了概括总结,并对未来人体行为识别的研究方向进行了展望。

摘要： 近年来,人体行为识别和深度学习是智能视频分析领域的热点及研究趋势,在视频检索、智能监控以及人机交互等方面具有广泛的应用前景及研究意义.传统的方法目前已难以适应复杂场景下的人体行为识别,且不再满足需求,利用深度学习的方法进行人体行为识别是当前的主流算法,但仍存在困难与挑战.根据人体行为识别的发展历程,首先介绍了早期传统的识别方法,然后重点对深度学习框架下的识别方法进行了分类介绍,其中包括当前常见的卷积神经网络、双流网络、混合网络等.此外还对目前公开的常用行为识别数据集进行了分析,并比对了一些深度学习方法在典型数据集上的性能.最后,对人体行为识别的发展方向进行了探讨.

摘要： 由于人体动作的复杂性和非刚性特点,传统的基于RGB视频数据的人体行为识别是一个非常具有挑战性的研究课题.针对现有基于GRB视频数据识别方法的不足,提出了一种基于深度图像数据的人体行为识别方法,该方法将深度差值运动历史图像中分块均值特征与Gabor特征进行融合,然后采用泛化能力较好的旋转森林算法进行建模.在DHA深度数据集上实验结果表明,相比其它监督行为识别分类算法,基于深度图像的方法具有简单、快速,高效的特点.

摘要： 基于视觉的人体行为识别是一个给图像序列标记动作类别的处理过程.人体行为识别在视觉监控、视频检索和人机交互等领域中有非常重要的应用.目前,表征人体动作方法大多数是基于单个视图,例如,将人体动作表示为人体动作的组合,或是将人类动作表示为潜在的语义分布.由于人的行为在本质上是复杂的,单一视图表征缺乏全面分析人类行为的能力.本文提出了一种基于多视图半监督学习的人体行为识别方法.首先,提出了一种基于三种不同模态视图数据来表征人体动作,即基于RGB模态数据的傅立叶描述子特征视图、基于深度模态数据的时空兴趣点特征视图和基于关节模态数据的关节点投影分布特征视图.其次,使用多视图半监督学习框架来建模,它充分利用不同视图提供的互补信息,来确保基于少量标记和大量未标记数据半监督学习取得更好的分类精度.实验结果表明,基于多视图的人体行为表征比基于单个视图的行为表征更有效,本文方法可以取得有效的人体行为识别性能.

摘要： 由于稠密轨迹对快速不规则运动的鲁棒性较强,近年来基于稠密轨迹的人体运动表征方法越来越多地运用于行为识别等领域.但是由于相机运动造成背景相对运动,对轨迹的提取产生了很大的影响.加入了相机运动估计,为了估计相机运动,用快速鲁棒特征描述符匹配每一帧的特征点.由于人的运动和相机运动不一样,加上了人体检测去除不一致的匹配.通过多示例学习对交互行为进行分类识别.并在UT-Interaction数据集上进行了测试,证明了该方法的有效性.

摘要： 在基于人体形状运动信息分析人体行为时,通常忽略了人体轮廓时空变化中的非线性信息.针对这一问题,本文提出了一种基于核主成分和人体轮廓特征的运动人体行为分析方法.通过运动目标检测算法获取视频图像中的运动人体轮廓信息,再将人体运动轮廓转换成一维距离向量,并利用离散余弦变换对一维距离向量进行去噪和归一化处理,生成人体行为运动形状样本向量,同时采用核函数特征空间变换来提取低维人体行为特征.最后利用基于特征空间的归一化欧式距离的最近邻对行为训练和识别.实验结果表明,本文算法具有较为理想的识别效果,并且拥有较低的计算代价.

摘要： 在基于人体形状运动信息分析人体行为时,通常忽略了人体轮廓时空变化中的非线性信息.针对这一问题,本文提出了一种基于核主成分和人体轮廓特征的运动人体行为分析方法.通过运动目标检测算法获取视频图像中的运动人体轮廓信息,再将人体运动轮廓转换成一维距离向量,并利用离散余弦变换对一维距离向量进行去噪和归一化处理,生成人体行为运动形状样本向量,同时采用核函数特征空间变换来提取低维人体行为特征.最后利用基于特征空间的归一化欧式距离的最近邻对行为训练和识别.实验结果表明,本文算法具有较为理想的识别效果,并且拥有较低的计算代价.

摘要： 在基于人体形状运动信息分析人体行为时,通常忽略了人体轮廓时空变化中的非线性信息.针对这一问题,本文提出了一种基于核主成分和人体轮廓特征的运动人体行为分析方法.通过运动目标检测算法获取视频图像中的运动人体轮廓信息,再将人体运动轮廓转换成一维距离向量,并利用离散余弦变换对一维距离向量进行去噪和归一化处理,生成人体行为运动形状样本向量,同时采用核函数特征空间变换来提取低维人体行为特征.最后利用基于特征空间的归一化欧式距离的最近邻对行为训练和识别.实验结果表明,本文算法具有较为理想的识别效果,并且拥有较低的计算代价.

摘要： 在基于人体形状运动信息分析人体行为时,通常忽略了人体轮廓时空变化中的非线性信息.针对这一问题,本文提出了一种基于核主成分和人体轮廓特征的运动人体行为分析方法.通过运动目标检测算法获取视频图像中的运动人体轮廓信息,再将人体运动轮廓转换成一维距离向量,并利用离散余弦变换对一维距离向量进行去噪和归一化处理,生成人体行为运动形状样本向量,同时采用核函数特征空间变换来提取低维人体行为特征.最后利用基于特征空间的归一化欧式距离的最近邻对行为训练和识别.实验结果表明,本文算法具有较为理想的识别效果,并且拥有较低的计算代价.

摘要： 在基于人体形状运动信息分析人体行为时,通常忽略了人体轮廓时空变化中的非线性信息.针对这一问题,本文提出了一种基于核主成分和人体轮廓特征的运动人体行为分析方法.通过运动目标检测算法获取视频图像中的运动人体轮廓信息,再将人体运动轮廓转换成一维距离向量,并利用离散余弦变换对一维距离向量进行去噪和归一化处理,生成人体行为运动形状样本向量,同时采用核函数特征空间变换来提取低维人体行为特征.最后利用基于特征空间的归一化欧式距离的最近邻对行为训练和识别.实验结果表明,本文算法具有较为理想的识别效果,并且拥有较低的计算代价.

摘要： 本发明公开了基于人体行为特征的分布式DTW人体行为识别方法，基于人体行为特征的分布式DTW人体行为识别方法，包括以下步骤：获取当前帧人体行为特征并将其添加到人体行为特征时间序列中；利用动态时间规整算法DTW对当前观测人体行为特征序列与数据库模板中已学习的特定行为序列进行匹配，计算两者之间基于卡方距离的最佳匹配相似度；对该相似度取逆，经归一化后得到匹配概率；将每个传感器的动作模式匹配概率信息作为一致性信息量与相邻传感器数据交换，经过一致性迭代运算，最终相邻传感器节点的识别结果达成一致。本发明以实现精确的人体特定行为识别。

摘要： 本发明公开了一种基于人体骨架的人体行为识别方法及系统，包括：获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。根据人体骨架关节点的三维坐标、点帧间坐标差和骨架特征等数据，以图卷积网络为主体，采用基于人体部位的注意力机制网络辅助寻找更加具有区分能力的骨架点，对人体行为动作进行分类识别，提高识别精度。

摘要： 本发明提供了一种基于深度神经网络的人体行为识别方法，包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。本发明能实时的检测人体行为的变化，对人体的异常行为(如跌倒)进行报警。

摘要： 本发明公开了一种人体行为识别模型及其构建方法和人体行为识别方法，模型构建方法包括对样本库中人体行为视频进行预处理；采用3D卷积神经网络提取人体行为视频的特征向量；将特征向量输入库伦力场进行聚类，采用损失函数计算特征向量在库伦力场初始位置与最终位置的损失值；当损失值≥设定阈值时，将损失值所代表的误差进行反向传播，并调整分类器参数，直至损失值＜设定阈值；将提取的特征向量输入分类器，将分类器输出的分类结果和视频样本的类别标签的差值作为分类器的误差反向传播，并调整分类器的参数，直至误差<设定阈值；当损失值＜设定阈值时，记录分类器当前的优化参数和对应的人体行为视频形成人体行为识别模型。

摘要： 本发明公开了一种基于人体骨架的人体行为识别方法及系统，包括：获取人体骨架的行为动作与对应的骨架点坐标、骨架点帧间坐标差和骨架特征，构建训练集；根据训练集依次对图卷积网络和基于人体部位的注意力机制网络进行训练，以训练后的图卷积网络和注意力机制网络构建得到行为识别模型；根据行为识别模型对待识别人体骨架进行识别，输出人体行为动作。根据人体骨架关节点的三维坐标、点帧间坐标差和骨架特征等数据，以图卷积网络为主体，采用基于人体部位的注意力机制网络辅助寻找更加具有区分能力的骨架点，对人体行为动作进行分类识别，提高识别精度。

摘要： 本发明涉及一种基于行为关联度融合特征的视频人体行为识别算法，本发明在考虑视频帧之间时序关系的基础上，通过分别定义轨迹和视频帧与目标行为之间的关联度，突出了更具表达力的特征在形成视频表示过程中的重要性，并且与基于时间分割网络得到的视频表示进行融合，得到更具判别力的视频表示，有利于更有效地识别自然场景下视频中的人体行为。

摘要： 本发明涉及一种人体行为识别网络模型及识别方法，它依次包括第一3D卷积层、BN层、relu激活函数层、第一最大池化层、block网络块、全局均值池化层和softmax激活函数层；所述第一3D卷积层用于将输入的连续视频帧的维度提高然后依次经过所述BN层和relu激活函数层后进入所述第一最大池化层作最大池化操作；所述block网络块中每个输入通道对应一个3D卷积核用于实现特征的快速提取、降维和最大池化的操作后通过所述全局均值池化层进行处理后输入到所述softmax激活函数层；所述softmax激活函数层用于输出形态类别。本发明的优点在于：具有准确率高和实时性高的特点，在保持准确率的同时参数量和计算量相比其他模型少；能够识别出给定视频的行为。

摘要： 本发明提出了一种基于卷积神经网络(Convolutional Neural Network)的人体行为识别方法，包括三个阶段：数据采集与预处理阶段，模型建立与训练阶段和模型应用阶段。本方法中建立的卷积神经网络结构能够在简单的数据预处理基础上有效识别人体六种日常行为活动，为将识别方法移植到计算能力有限的智能手机中提供了良好的基础，适用于基于智能手机端的人体日常活动记录、健康追踪与健康监测等应用领域。

摘要： 本发明提供了一种基于深度神经网络的人体行为识别方法，包括：获取行为人的原始深度数据流；通过行为人的原始深度数据流提取人体的骨架关节点数据；利用提取到的人体骨架关节点数据所对应的三维坐标，来对整个人体建模；通过对整个人体建模来进行特征提取，将特征数据送入限制波尔兹曼机网络进行预处理，将得到的权值初始化BP神经网络参数，训练出深度神经网络模型，并据此对特征提取的结果进行行为识别；采用多线程并行处理，将提取到的人体骨架关节点数据与实际人体进行重合，并将识别到的行为进行实时显示；建立异常行为模板库并对检测到的异常行为进行报警。本发明能实时的检测人体行为的变化，对人体的异常行为(如跌倒)进行报警。

摘要： 本发明公开了一种基于多类特征融合的毫米波雷达非视距人体行为识别系统，属于无线电信号定位识别领域。针对人体不同行为的雷达回波信号，通过脉冲压缩、Doppler‑FFT等方法对目标行为信息进行研究，生成VR(k,d)图，再分别提取VR(k,d)图的Gabor、LBP、SIFT与HOG特征，并利用主成分分析（PCA）方法对四种特征进行降维并融合，最后将融合特征输入支持向量机（SVM）分类器进行分类，从而实现非视距行为识别。该方法利用不同类型特征的互补性对特征进行融合，能够有效解决样本单类特征表达不完备的问题，且能有效提高识别率，实现精准的非视距人体行为识别，具有保护用户隐私、不易受环境影响等优点。