基于特征融合双流网络的人体行为识别

摘要

人体行为识别由于行为的多样性和运动背景的复杂性等因素,具有很大的识别难度。为了充分利用视频序列中时空特征的多尺度信息,提高行为识别率,提出一种改进的双流卷积网络。以ResNet作为特征提取网络,并融合不同网络层次的特征,然后输入到长短时记忆网络中;最后将时间网络和空间网络的预测结果加权融合,从而实现行为识别。在公开数据集HMDB51上实验,时间网络和空间网络的识别率较原始双流网络均有2%以上的提高,整体的识别准确率可达67.2%,表明该方法能够有效提取视频序列中的时空信息,具有较好的识别效果。