基于多模态异构图注意力网络的深度视频理解知识图谱构建方法

摘要

本发明提供了一种基于多模态异构图注意力网络的深度视频理解知识图谱构建方法，将音频片段、每段音频对应的文本以及人物和物品送入人物/位置重识别系统，提取对齐后的人物、音频、文本、关键帧以及物品的特征；将提取的特征送入多模态异构图注意力网络，预测人物与人物以及人物与位置之间的关系，根据预测的关系生成知识图谱。本发明利用多模态异构图注意力网络预测人物与人物、人物与位置之间的关系，能显著提高预测关系的准确率。