基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法

摘要

本发明涉及一种基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法，对课程领域的多模态文档数据预处理；将注意力机制和稠密卷积网络相结合，提出了基于跨模态注意力的卷积神经网络，能更为有效的构建到具有稀疏性的图像特征；提出了面向文本特征构建的基于注意力机制的双向长短期记忆网络，可以高效构建与图像语义局部关联的文本特征；设计基于注意力机制的跨模态分组融合，能够更为准确地学习到文档中图像和文本局部关联关系，提高跨模态特征融合的准确率。在相同课程领域的数据集下，相比现有的多模态文档分类模型，该方法具有更好的性能，提高了多模态文档数据分类的准确率。