基于时空双流融合网络与Attention模型的行为识别

摘要

针对长短时记忆网络(LSTM)不能充分提取视频前后关联信息导致识别精度偏低的问题,提出一种基于时空双流融合网络与Attention算法.以经典双流神经网络分别提取融合时空特征向量;构建Bi-LSTM提取时序特征;利用注意力(Attention)机制自适应地对相关性大的特征向量分配较大的权重;采用Softmax分类器对视频进行分类,实现人体行为识别.在数据集KTH上的实验结果非常出色,识别准确率可达98.4％.