基于长效递归深度卷积网络的实时人物动作识别

摘要

为高准确度识别实时人物动作模式,对长效递归卷积网络(LRCN)进行改进,得到长效递归深度卷积网络(LRDCN).LRDCN使用多帧叠加的RGB图像与光流图像作为网络输入,将基于RGB图像的人体动作特征与基于光流图像的人体动作特征进行加权融合,结合卷积神经网络(CNN)对Two-stream算法进行扩展作为最终的人体动作特征,传入长效递归深度卷积网络进行序列学习,得出实时动作序列.在UCF-101和Weizman数据集上训练LRDCN,分别测试单一动作识别准确度与动作序列检测精确度.实验结果表明,神经网络层数增加不会引起梯度爆炸问题,单一动作识别准确率达到91.2％,动作序列识别准确率达到93.8％.LRDCN不仅能精确识别单个动作及动作序列,并且对长视频序列有较高的适应性.