基于深度学习网络的舞蹈动作识别方法研究

摘要

针对互联网中对视频动作迅速精确识别的需求,文中在传统深度学习网络上进行了改进,构建时域与空间域上的双路卷积网络.该网络以卷积神经网络(CNN)中的卷积、池化与全连接计算为基础,一方面在空间域上提取视频帧中的像素信息作为网络输入特征;另一方面在时域上,为了更优地表示视频动作的变化特征,引入了光流信息,借助金字塔算法(LK)计算像素在dt时间内的光流矢量变化作为时域卷积特征.为了评估网络的性能,文中以舞蹈动作的识别为例进行算法的应用测试,测试数据集中包含了101个标识完备的舞蹈动作.此外,为了评估算法的性能,通过引入工业界现有的Inception V3与3D-CNN网络进行对比.测试结果表明,文中所提算法较Inception V3的F1提升了10.90％,识别精度相较于Inception V3与3D-CNN网络分别有10.85％和5.27％的提升.