基于模态动态特征融合和跨模态关系提取的信息检测方法

摘要

本发明公开了一种基于模态动态特征融合和跨模态关系提取的信息检测方法，包含：多模态特征提取器提取文本特征rt、图像特征rv和用户特征ru；跨模态关系提取器依据各模态之间的关联对文本特征rt、图像特征rv和用户特征ru进行更新从而得到增强文本特征ut、增强图像特征uv和增强用户特征uu；多模态特征融合器接收文本特征rt、图像特征rv、用户特征ru、增强文本特征ut、增强图像特征uv和增强用户特征uu并通过动态路由机制动态的调配得到多模态融合特征aN；分类器接收多模态融合特征aN并输出预测结果。本发明的基于模态动态特征融合和跨模态关系提取的信息检测方法，通过构建跨模态关系和动态特征融合，实现了精度更高的谣言检测。