针对长视频问答的深度记忆融合模型

摘要

长视频问答包含丰富的多模态语义信息和推理信息.当前,基于循环神经网络的视频问答模型难以充分保存重要记忆信息、忽略无关冗余信息和实现记忆信息高效融合.针对该问题,依据记忆网络思想,提出一种深度记忆融合模型.本模型利用记忆网络的记忆组件有效保存视频剪辑及其字幕的融合特征,提出一种多模态相似性匹配方法过滤冗余记忆信息.经过卷积网络的初步融合和注意力机制的二次融合,生成整个视频的上下文表示,并进行答案生成.本模型在长视频剪辑MovieQA数据集上进行实验,平均准确率为39.78％,相较传统方法提升近10％且比当前最先进方法提升近5％,准确率提升明显,模型泛化性能好.