基于OpenPose+3S-AGCN的行为识别研究

摘要

本文针对当前行为识别方法存在提取视频行为特征时信息利用不全面的问题,提出了基于骨架数据、多流和自适应图卷积神经网络的行为识别方法。三流自适应图卷积神经网络(3S-AGCN)针对人体骨架这一自然表示为图的数据结构形式,分别提取骨架图的关节点坐标、骨骼属性以及运动信息,实现了对骨架数据特征的充分提取。模型框架同时还引入了多注意力机制,分别从时间、空间和通道三个方向加强对重要信息的特征的提取能力。同时引入OpenPose算法首先提取人体骨架数据图再输入模型进行训练和识别任务,提高了模型在复杂环境下进行行为识别任务的鲁棒性。基于NTURGBD公共数据集,与当前先进方法的横向比较实验,结果表明3S-AGCN模型在行为识别任务上具有更高的准确率,验证了模型的可行性。