基于关键词感知的多模态注意力视频问答方法与系统

摘要

本发明公开了一种基于关键词感知的多模态注意力视频问答方法与系统。包括：运用多模态特征提取和预训练模型KeyBert关键词提取算法，提取输入视频的各个多模态特征；运用关键词感知的多模态注意力算法，处理提取的各多模态特征，输出经有效关联和融合后的多模态特征；将已融合的多模态特征经过多层感知机MLP，输出预测的答案。本发明还公开了一种基于关键词感知的多模态注意力视频问答计算机设备及计算机可读存储介质。本发明在提取视频特征时，结合更为隐式的关键词特征，提取更为丰富的视频特征；在特征融合时，结合自注意力机制捕获特征的时序性，应用双向注意力机制强调模态间互相关联的信息，更有效地融合多模态特征，显著提高视频问答的准确率。