基于自注意力的多模态LSTM的动作预测

摘要

针对视频动作预测领域的算法在不同预测时间预测效果不稳定的缺陷,提出一种基于自注意力机制的多模态LSTM的动作预测模型。综合考虑3种视频特征,采用位置编码及自注意力机制编码3种模态特征,得到具有丰富语义的高层特征;使用LSTM结构总结视频的历史信息,产生不同预测时间的动作预测结果;完成多模态特征的子网络的训练后,采取多模型融合策略将子网络的预测输出进行融合。实验结果表明,在EPIC-Kitchens数据集上的预测精度稳定在38%,在EGTEA Gaze+数据集上的预测精度稳定在77%。