基于骨骼时空图的人体行为识别

摘要

为进一步提升基于骨骼信息的人体行为识别准确率,对人体姿态的骨骼信息进行研究,分析图卷积(GCN)的理论基础,提出一种多尺度时空图卷积(multi scale ST GCN)的方法对骨骼的动态信息进行建模,不同于传统的手工对人体进行自上而下或者自下而上的遍历规则设计方法,而是通过构建网络模型对人体行为的时间空间信息进行自动捕捉,利用图卷积学习人体骨架在空间特征信息,结合多尺度时间卷积(multi scale TCN)在时间层捕获的骨架动作序列信息,增强网络模型对人体骨骼动作信息的理解,将其应用到人体的行为识别,通过对数据集NTU-RGBD上用CS和CV两种类型数据集设计的对模型进行评估和测试的对比实验,验证了该网络模型的准确性及有效性。