一种小样本胃部肿瘤诊断系统

摘要

本发明公开了一种小样本胃部肿瘤诊断系统，本发明将每个病例的主诉文本和多张胃镜图片同时作为样本的输入，综合判断是否存在胃部肿瘤。为调和不同编码器提取的文本特征和图像特征间的语义鸿沟，采用“预训练‑真实训练”式的二阶段模型训练方法，在预训练中可使用大量无标注的主诉文本‑胃镜图像对在模型上做自监督的图文匹配任务，将图像特征投射到文本特征所在的向量空间，缩小图文两种模态间的语义鸿沟，提升真实训练模型在真实训练中的性能。只需使用少量的标注病例样本进行真实训练模型训练，以减少标注病例所需的人力物力。本发明使用任务提示模板和预测遮蔽字符的方式完成分类任务，以减少模型训练的参数量及其所需的标注样本的数量。