基于SE-ResNet和扩展长短期记忆网络的医学影像描述研究

摘要

图像描述是多模态学习的基础任务,主要任务是实现图像到文字的模态转换。随着图像描述精度的提高,希望图像描述模型能够应用在医学领域中,帮助医师对医学影像进行诊疗。为了更好地进行医学影像描述,本文提出了基于SE-ResNet和扩展长短期记忆网络的医学影像模型。实验结果证明,该模型在肺部CT数据集IUX-ray和医学影像数据集PubCaption上各项评价指标效果都比传统模型要高,生成的医学影像描述更精确。