一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质

摘要

本发明提供了一种肿瘤辅助诊断报告生成方法、装置、电子设备、存储介质，初始化后的图像编码器提取图像特征G，初始化后的文本编码器后提取影像所见的文本特征Tvec和病史的文本特征Svec；将图像特征G和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的图像特征G2T；将病史的文本特征Svec和影像所见的文本特征Tvec输入目标注意力网络TANet，提取对目标敏感的文本特征S2T；对G2T和G2S拼接作为多模态生成网络MGNet的输入，顺序的生成单词最后形成诊断报告。本发明结合TANet增强原始的图像特征和病史文本特征，再融合这两种模态的特征生成辅助诊断报告，从而辅助医生生成报告书，提高工作效率。