基于ResNet-LSTM的具有注意力机制的办公人员行为视频识别

摘要

针对人体行为视频分析中时间域和空间域上特征提取存在的易混乱以及运算成本高的问题,提出了ResNet-LSTM-Attention网络模型结构.该网络结构将空间域和时间域的特征分开提取,对于空间维度,将单帧图像输入残差网络(ResNet)模型,提取空间维度特征;对于时间维度,将多帧叠加后的空间维度特征作为输入,输入循环神经网络(LSTM)和注意力(Attention)机制的融合模型;最后将融合模型的输出经过softmax作为识别结果.将本网络模型应用到实验室采集的办公人员行为数据集上进行人体行为识别实验,并与视频分析中常用的C3D网络模型和无注意力机制的ResNet-LSTM模型进行了对比.实验结果表明,本文模型不仅有较高的识别准确率,而且训练用时和运算成本也大大降低.