基于自适应多尺度图卷积网络的骨架动作识别

摘要

将人体骨架建模为时空拓扑图的图卷积网络在基于人体骨架数据的动作识别任务中得到了广泛应用。但现有图卷积网络存在预定义骨架拓扑图拓扑结构固定、单支路时间图卷积算子提取时空特征粒度单一的问题,极大限制了模型的泛化能力和表达能力。提出基于自适应多尺度图卷积网络的人体骨架动作识别模型,自适应空间图卷积层将骨架的拓扑结构作为参数进行端到端的自适应学习,根据动作生成数据驱动的骨架拓扑图。多尺度时间图卷积层对时间图卷积算子进行多支路扩展,动态融合骨架序列不同时间粒度的时空特征。综合骨架关节点、骨架长度、骨架关节点运动、骨架长度运动4路信息输入模型。实验结果表明,所提模型在NTU RGB+D 60动作识别数据集下的人物划分(CS)模式和视角划分模式实验中分别取得90.5%和96.8%的识别准确率,在NTU RGB+D120动作识别数据集的CS模式和设置划分模式的实验中分别取得86.0%和88.7%的识别准确率,能有效提取骨架动作的时空特征,提升了人体骨架动作识别的分类性能。