基于模态间交互的多模态知识图谱实体对齐方法及系统

摘要

本公开提供了基于模态间交互的多模态知识图谱实体对齐方法及系统，涉及多模态知识图谱技术领域，包括获取知识图谱中待对齐的不同模态的实体数据；提取实体数据的结构信息特征、视觉信息特征、关系信息特征以及属性信息特征；将获取的各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。本公开能够捕获实体多模态信息之间的相互作用。