一种融合实体图像信息和实体类别信息的多模态知识表示方法

摘要

本发明公开一种融合实体图像信息和实体类别信息的多模态知识表示方法，该模型将实体基于结构，基于图像以及基于类别的知识表示统一进行联合训练，完成多模态知识图谱表示。包括：实体图像信息的嵌入方法，负责实体图像特征信息的抽取以及从图像空间到知识空间的转换；实体类别信息的嵌入方法，对实体类别和对应三元组关系的语义联系进行建模，构建实体基于类别下的表示；融合实体图像信息和实体类别信息的多模态知识表示模型，负责融合实体图像信息和实体类别信息多模态的知识表示学习。本发明通过构造多模态知识表示方法，为解决知识图谱推理技术中的数据稀疏问题，高效计算实体和关系的语义联系，融合和推理的性能提供了新的思路。