人体姿态估计

摘要： 公共区域暴力行为频繁发生,视频监控对维护公共安全具有重要意义。相比固定摄像头,无人机具有监控灵活性,然而航拍成像中无人机快速运动以及姿态、高度的变化,使得目标出现运动模糊、尺度变化大的问题,针对该问题,设计了一种融合注意力机制的时空图卷积网络AST-GCN(Attention Spatial-Temporal Graph Convolutional Networks),用于实现航拍视频暴力行为识别。该方法主要分为两步:利用关键帧检测网络完成初定位以及AST-GCN网络通过序列特征完成行为识别确认。首先,针对视频暴力行为定位,设计关键帧级联检测网络,实现基于人体姿态估计的暴力行为关键帧检测,初步判断暴力行为的发生时间。其次,在视频序列中提取关键帧前后的多帧人体骨架信息,对骨架数据进行归一化、筛选和补全,以提高对不同场景及部分关节点缺失的鲁棒性,并根据提取的骨架信息构建骨架时序-空间信息表达矩阵。最后,时空图卷积对多帧人体骨架信息进行分析识别,融合注意力模块,提升特征表达能力,完成暴力行为识别。在自建航拍暴力行为数据集上进行验证,实验结果表明,融合注意力机制的时空图卷积AST-GCN能实现航拍场景暴力行为识别,识别准确率达86.6%。提出的航拍暴力行为识别方法对于航拍视频监控和行为理解等应用具有重要的工程价值和科学意义。

摘要： 人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。

摘要： 人体姿态估计是计算机视觉中的基本任务之一,可应用于动作识别、游戏、动画制作等领域。当前深度网络模型的设计大多通过加深网络以获得更好的性能,结果导致计算资源的需求超出嵌入式设备和移动设备的计算能力,达不到实际应用要求。针对上述问题,提出了一种融合Ghost模块结构的轻量级网络模型,即使用Ghost模块替换原高分辨率网络中的基础模块,从而减少网络模型的参数量。此外,设计了非局部高分辨率网络,即在网络1/32分辨率阶段融合非局部网络模块,使网络具有获取全局特征的能力,从而提高人体姿态估计的准确率,并在保证模型准确率的前提下降低网络参数量。在MPII人体姿态估计数据集和COCO人体姿态估计数据集上的实验结果表明,所提网络模型与原高分辨率网络相比,在网络模型参数量降低40%的情况下,人体姿态估计准确率提升了1.8个百分点。

摘要： 为精确检测不同人体尺度的关键点,提出一种基于高分辨率表征的关键点尺度变换网络(high-resolution for scale transformation structure,HR-STS)。由高低分辨率并行子网络提取所有初步关键点特征,通过尺度变换结构把关键点特征标准化,经过逆空间变换得到关键点坐标。实验对比结果表明,改进后的算法在MPⅡ数据集和COCO数据集上的平均检测精度提升明显,网络参数量与浮点运算量也小于其它算法。

摘要： 为解决多人姿态估计中小尺度关键点(手腕、脚踝等)定位准确率低的问题,采用自顶向上的方式,结合先进的人体目标检测模型YOLOv3,提出一种基于堆叠沙漏网络改进的多人姿态估计方法。在沙漏网络中融入通道混洗模块,加强不同尺度下多层特征之间的跨通道信息交流,提高被遮挡关键点的识别效果;使用注意力机制对沙漏网络原有的残差模块进行特征增强,抑制无用特征并提升有用特征,提高小尺度关键点的识别率。实验结果表明,在MPII数据集上的总体PCK@0.5达到了88.6%,在MSCOCO数据集上的AP@0.75相比原始网络提升了4.6%,验证了所提方法的有效性。

摘要： 调查发现,地震中死亡人数增加的原因主要是错过救援的黄金时间,因此可通过救援无人机自动对受灾人员进行行为识别与状态分析。人体姿态估计是指对图像中人体关节点和肢体进行检测的过程,在人机交互和行为识别应用中起着重要的作用,然而由于背景复杂、肢体被遮挡等因素导致标注人体关节点和肢体十分困难。因此提出一种结合ResNet50及CPM的模型,该模型通过获取图像特征和精调机制,计算出关节点依赖关系,最后划分到对应人体。实验表明,该模型与其他模型对比能够提高复杂场景下人体姿态估计的效果。

摘要： 在复杂场景下,针对传统人体姿态估计模型中关键点分配算法存在正确率低、资源分配不均等优化问题,在OpenPose模型的基础上提出了一种改进的匈牙利算法,该算法在传统数学模型的基础上采用亲和度向量场与邻接矩阵结合的方式,通过对矩阵内的数值处理,来获取关键点的最佳匹配。实验表明,改进算法的运行时间有一定的减短,同时保证在100×100以内的矩阵中运算的精确度误差率不高于0.014,且在使用本地图像测试的实验中证明了模型的可行性和性能的提升。

摘要： 在课堂教学中,人工智能技术可以帮助实现学生行为分析自动化,让教师能够高效且直观地掌握学生学习行为投入的情况,为后续优化教学设计与实施教学干预提供数据支持.构建了学生课堂行为数据集,为后续研究工作提供了数据基础;提出了一种行为检测方法及一套可行的高精度的行为识别模型,利用OpenPose算法提取的人体姿态全局特征,融合YOLO v3算法提取的交互物体局部特征,对学生行为进行了识别分析,提高了识别精度;改进了模型结构,压缩并优化了模型,降低了空间与时间的消耗.选取与学习投入状态紧密相关的4种行为:正坐、侧身、低头和举手进行识别,该检测与识别方法在验证集上的精度达到了95.45%,在课堂上玩手机和书写等常见行为的识别精度较原模型有很大的提高.

摘要： 人体姿态估计是近年来人机交互领域的热点话题。当前,常见的人体姿态估计方法集中在通过增加网络的复杂性来提高精度,却忽视了模型的效益问题,导致模型在实际应用中精度高但计算资源消耗巨大。针对这一问题设计了一个基于全局姿态感知的轻量级人体姿态估计模型,其在MSCOCO数据集上精度达68.2%AP,速度保持在255 fps,参数量和FLOPS仅为OpenPose方法的10%和0.9%。在人体姿态估计任务中,根据预测的关键节点数量来设置网络的输出通道数,导致对每个关键点的检测都是独立的。关键点之间的相对位置、整体布局等全局信息在困难样本的姿态估计任务中非常重要,但是在之前的研究中未考虑到。为了利用全局姿态信息,设计了一个全局姿态感知模块来提取全局姿态特征,并利用双分支网络融合全局和局部姿态特征。实验表明,利用全局姿态感知模块的轻量级人体姿态估计网络在MPII和MSCOCO数据集上精度分别提高了1.5%和1.3%。

摘要： 为降低高分辨网络模型因级联过多造成的参数冗余,设计一种用于人体姿态估计的并联化高分辨网络模型。通过适当的网络裁剪和并联化结构优化处理策略,对原始高分辨网络模型的消融实验结果进行分析,保留网络的前3个阶段,按第四阶段网络的分辨率构建等尺度的U型网络结构,在多尺度分支的第二阶段与第三阶段中分别并联该结构,保持原网络在同分辨率下的特征融合。针对人体姿态估计数据集MPII与MSCOCO进行检测,并联化高分辨网络的参数量仅为原网络的37%,浮点运算量降低30%。

摘要： 人体姿态估计仍然是日益活跃的计算机视觉的一个研究领域，并具有广阔的应用前景，如人机交互、钾能监控、运动员辅助训练、视频编码等。近年来，在这些应用的驱动之下，行为分析已经成为计算机视觉、机器学习、模式识别、数据挖掘、认知心理学等相关领域的研究热点。本文综述了日前人体姿态估计主要的研究算法。根据是否建立人体模型，可将人体姿态估计算法分为无模型、基于模型的算法。无模型法卞要分为两种:样例索引法和概率装配法。基于模型的算法又可分为两种:基于人体点模型的方法、基于二维人体模型或二维人体模型的方法。文中比较了各类算法的优缺点。在研究了各类算法的发展历史和现状的摹础上，对姿态估计目前存在的主要问题及可能的发展方向进行阐述和展望。

摘要： 基于图结构模型,本文提出了一种对于静态图片的人体姿态估计算法.首先采用基于HOG特征和线性SVM的部位观测模型,可有效克服光照变化和局部变形的影响.然后利用人体部位定位的先验分布和匹配度阈值提出了一种状态空间的减少方法,可同时实现加快人体姿态估计速度和提高人体姿态估计准确度的作用.采用Buffy图像数据库和PASCAL图像数据库的测试实验结果,验证了所提算法的有效性.

摘要： 本发明提供一种人体姿态估计分组模型训练方法、姿态估计方法及装置，基于多路径结构分别以不同扩张速率进行空洞卷积，并同时进行变形卷积，能够更好地适应多人姿态识别场景下不同尺寸和形状人体对象的特征提取需求。基于长程偏移量图和局部中心偏移量图计算各候选关节点到各真实人体对象中心点的精细偏移量，在非极大值抑制操作的基础上，将精细偏移量相差倍数在设定数值以内的候选关节点划分至同一人体对象分组，能够在多人姿态识别场景中保证各关节点分组正确率的前提下，降低计算复杂度，极大节约算力，提高识别效率。

摘要： 本发明提供了一种人体姿态估计与跟踪系统，包括：姿态估计单元，配置成对当前帧图像中的人体姿态进行估计，输出估计结果；姿态预测单元，配置成根据当前帧之前的连续多帧图像中人体姿态的动态变化对当前帧中的人体姿态进行预测，输出预测结果；融合单元，配置成将所述姿态估计单元的估计结果和所述姿态预测单元的预测结果进行匹配、融合。本发明所提供的融合方式可以同时使用来自人体姿态的动力学信息和来自图像本身的视觉信息。得益于图神经网络的姿态预测，本发明所提供的基于人体动力学建模的人体姿态估计和跟踪方法，即使在有运动模糊和遮挡情况下也可以产生可靠的人体姿态估计和跟踪的结果。

摘要： 本发明提出一种人体姿态估计模型及基于其的人体姿态估计方法，人体姿态估计模型由卷积神经网络和并联的人体区域分割网络、人体关节定位网络和人体肢干定位网络构成；卷积神经网络用于从输入的二维人体图像中提取人体姿态特征图，作为人体区域分割网络、人体关节定位网络和人体肢干定位网络的输入；人体区域分割网络用于区分人体区域和背景区域，人体关节定位网络用于定位人体的25个关节，人体肢干定位网络用于定位两关节之间的23条肢干。本发明将人体区域分割网络与人体关节定位网络、人体肢干定位网络相结合，以三个网络损失函数的累加和作为整个估计模型的优化目标函数，从而无需对多次迭代得到的损失结果进行叠加处理。

摘要： 本申请公开了一种人体姿态估计模型、模型训练方法及人体姿态估计方法，训练方法包括将当前帧图像的上一帧图像输入预设前序特征模型，通过预设前序特征模型确定上一帧图的前序特征图；将前序特征图及当前帧图像输入待训练人体姿态估计模型，得到预测特征图；基于预测特征图及真值特征图对待训练人体姿态估计模型进行训练，得到人体姿态估计模型。本实施例通过采用基于单帧图像帧训练得到的预设前序特征模型对人体姿态估计进行监督，可以利用单帧图像帧的数据丰富性特点，同时将当前帧图像以及上一帧图像的前序特征图作为人体姿态估计模型的输入项，可以学习到相邻图像帧间的时空信息，提高了训练得到的人体姿态估计模型的模型性能。

摘要： 本申请公开了一种人体姿态估计方法、装置、智能设备及计算机可读存储介质。其中，该方法包括：将待处理人体图像输入已训练的姿态估计模型，该模型包括特征金字塔网络及轻量级的骨干网络，骨干网络用于提取待处理人体图像中多个层级的特征，特征金字塔网络用于融合骨干网络所提取的不同层级的特征；根据骨干网络输出的最深层的特征得到第一估计结果，该结果用于指示各个人体关键点在待处理人体图像中是否可见；根据特征金字塔网络输出的热力图及偏移图得到第二估计结果，该结果用于指示各个人体关键点在待处理人体图像中的坐标。通过本申请方案，可在嵌入式的智能设备上实现快速且准确度较高的人体姿态估计。

摘要： 本发明提供一种人体姿态估计分组模型训练方法、姿态估计方法及装置，基于多路径结构分别以不同扩张速率进行空洞卷积，并同时进行变形卷积，能够更好地适应多人姿态识别场景下不同尺寸和形状人体对象的特征提取需求。基于长程偏移量图和局部中心偏移量图计算各候选关节点到各真实人体对象中心点的精细偏移量，在非极大值抑制操作的基础上，将精细偏移量相差倍数在设定数值以内的候选关节点划分至同一人体对象分组，能够在多人姿态识别场景中保证各关节点分组正确率的前提下，降低计算复杂度，极大节约算力，提高识别效率。

摘要： 本发明公开了一种基于关键点运动估计的人体连续姿态估计方法，将运动估计块匹配算法运用于人体关键点跟踪，从而获得人体连续姿态结果，同时使用基于深度神经网络的人体姿态估计器不断对结果进行修正。本发明可实现对视频流中人体连续姿态的估计，其中人体姿态具体体现为视频帧中人体关键点的坐标位置。相比于完全依靠深度神经网络的姿态估计方法，本发明所提出的姿态估计方法具有帧率高、硬件要求低、识别结果具有时序连续特性的优点；相比完全依靠运动估计算法的姿态估计方法，本发明可修正积累误差，提高估计精度。

摘要： 本公开提供了一种人体姿态估计模型训练方法，人体姿态估计模型用于根据雷达信号生成预测关键点热图，该方法包括：构建监督模型和判别模型；将待处理的光学图像输入监督模型，得到监督关键点热图；将与待处理的光学图像对应的雷达信号输入人体姿态估计模型，得到预测关键点热图；将监督关键点热图和预测关键点热图输入判别模型得到判别损失，根据判别损失更新判别模型的参数；将监督关键点热图和预测关键点热图输入人体姿态估计模型得到生成损失，根据生成损失更新人体姿态估计模型；重复执行将待处理的光学图像输入监督模型，得到监督关键点热图的步骤，直至人体姿态估计模型得到的生成损失小于预设的阈值，完成人体姿态估计模型的训练。

摘要： 本发明提供一种基于人体姿态估计的人体动作规范化描述子，它包括如下特征：利用人体姿态估计算法检测出人体关键点坐标；选取关键点构造基准向量；根据基准向量，进行剩余各关键点相对位置的规范化，得到人体动作规范化描述子。本发明滤除了人体各关节在不同摄像头视角下的变化，并可以唯一确定各关节的相对位置，在不同视角下都具有唯一性，可以精确表达人体动作，同时可以有效降低冗余计算。

摘要： 本发明公开一种利用人体定位的单阶段多人人体姿态估计方法及装置，包括特征提取网络模块、中心图分支模块、代理图分支模块、位移图分支模块、关键点图分支模块；所述的特征提取网络模块，对输入到框架中的多人人体姿态图片进行特征提取；所述的中心图分支模块，利用特征提取网络提取的深度特征对输入图片中的人体实例的中心点进行标记；所述的代理图分支模块，通过1*1卷积模块对多尺度深度学习特征进行卷积；所述的位移图分支模块，用于预测从人体实例中心点到人体各个部位骨骼关键点的位移向量；本发明的优点在于：保留了单阶段人体姿态估计完备的系统设计，利用位移图包含的人体骨骼结构的信息，更快更好的进行多人人体姿态估计。