基于BERT的图像和文本多模态融合分类模型

摘要

在临床诊断过程中,医生会同时结合医学图像和病理报告文本综合判定病情。针对现有的人工智能(AI)辅助诊断系统未充分利用文本检查内容的问题,提出一种基于BERT模型的图文多模态分类模型(ITMMB),在特征层实现医学图像和病理文本的多模态融合和分类。采用残差网络(ResNet)对图像预处理获得图像词嵌入向量,同时采用分词技术处理文本获得文本嵌入词向量,并将两类嵌入词向量送入BERT模型完成最终分类;此外,为适应BERT模型需要并获得更好的分类性能,优化了ResNet的残差模块、学习权重、损失函数和池化层。在Open Images数据集上的实验结果表明,与仅通过单一的医学图像或病理文本进行辅助诊断的模型相比,ITMMB的微平均F1分数分别提高38.76和4.66个百分点,能有效辅助医生临床诊断。