一种基于图神经网络的多模态宫颈癌前病变图像识别方法

摘要

本发明公开了一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法。首先收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注；然后构建神经网络BG‑CNN，包括两个ResNet18构成的图神经网络，以及图卷积神经网络构成关系提取网络。将标记后的阴道镜图像，输入构建的神经网络BG‑CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型；本发明方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别，在识别精度上，也有明显的提升。

说明书

技术领域

本发明属于医学图像领域中，使用深度学习方法来对阴道镜下拍摄的宫颈图像是否为癌前病变图像进行识别。

背景技术

目前，我国临床上对宫颈癌的筛查大多都是通过活检来确定筛查对象是否出现了宫颈癌及宫颈癌前病变。宫颈癌前病变可以化分为两种状态，其为LSIL和HSIL。HSIL，属于高级别的癌前病变，需要及时的进行切除治疗，才能防止其进一步的发展成为宫颈癌。LSIL,为低级别的癌前病变，仅需要保守的治疗，通过改善生活习惯和卫生条件，就可以通过自身的免疫系统恢复正常。使用阴道镜来进行宫颈癌前病变筛查是多数医院常用的一种手段。阴道镜可以在放大3-7倍的情况下检查子宫颈，在应用稀释至3％的醋酸溶液以及卢戈碘溶液，使得异常病变组织与正常组织出现明显分化。然而，在阴道镜进行癌前病变筛查的操作过程对操作者的要求相对不高，临床检查的准确性还是很大程度上依赖医生的主观判断，部分有经验的医生在临床上也仅有48％的特异性。因此找到一种科学、准确、快速的阴道镜诊断方法可以缓解临床上需要大量的经验丰富医生的尴尬局面。

现在，已经有一些深度学习的方法来对宫颈疾病图像进行筛查和分析。然而这些方法大多都是针对使用醋酸实验后的图像，忽略了临床上医生可以结合不同的实验试剂来获得图像进行联合诊断。

区别于其他文献的阴道镜下宫颈癌癌前病变图像的识别方法。本发明方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别。在识别精度上，也有了较为明显的提升。

发明内容

本发明的目的是针对现有技术的不足，为了充分融合卷积神经网络和图神经网络的优点，提高阴道镜下宫颈癌前病变的诊断的准确性，本发明提出了一种基于图卷积神经网络的多模态宫颈癌前病变图像识别方法。

本发明中提出的神经网络BG-CNN主要包含两部分，一部分为两个ResNet18构成的图神经网络，另一部分为图卷积神经网络构成关系提取网络。解决的技术问题所采用的技术方案包含以下步骤：

步骤一、收集阴道镜图像，根据病理诊断报告对每个患者的阴道镜图像进行标注。

步骤二、构建两个18层的ResNet作为特征提取网络，分别用于提取醋酸实验图像特征图F

步骤三、将步骤二中提取的对应图像的特征图和注意力图使用基于注意力的双线性池化Bilinear Attention pooling进行结合分别生成生成醋酸实验图像和碘实验图像的二维特征矩阵。

步骤四、以步骤三中的特征矩阵的每一行作为图的一个节点，使用K近邻算法找到每个节点的欧式距离最近的k个节点构建邻接矩阵。然后使用一个两层的图卷积神经网络来聚合节点的之间的特征。最终，通过将图卷积层的学习到的特征与ResNet18学习的特征进行元素点乘得到最后的特征表示。

步骤五、将步骤一获得的标记后的阴道镜图像，输入至步骤二、三、四所构建的神经网络BG-CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型。将阴道镜图像输入训练好的模型中进行图像的检测。

本发明有益效果如下：

本发明方法充分结合医生的临床诊断经验，结合醋酸实验图像和碘实验图像两种类型的图像，融合卷积网络和图卷积神经网络两种方法，可以自动学习到同一患者的两类图像中的关联信息，联合对阴道镜图像进行判别。在识别精度上，也有了较为明显的提升。

附图说明

图1为本发明提出的神经网络BG-CNN结构图。

具体实施方式

以下结合附图对本发明方法进行进一步描述

步骤一所述的对阴道镜图像标注的具体操作如下：

根据每位患者的病理诊断报告将其划分为两类，LSIL-和HSIL+。所述的LSIL-包括正常患者和低度鳞状上皮内病变(LSIL)患者，所述的HSIL+包括高度鳞状上皮内病变(HSIL)患者和宫颈癌患者；从每位患者的阴道镜检查获得的图像中分别取一张醋酸实验图像和碘实验图像作为训练集。

步骤二中所描述得获取对应图像得特征图和注意力图得详细过程如下：

2-1.定义输入神经网络的醋酸实验图像为X和碘实验图像为Y；ResNet18网络为

2-2.注意力模块由一个卷积核为3*3得CNN层和一个BN层组成，其符号描述为Atten(·)。则由醋酸实验图像和碘实验图像的特征图产生的注意力图可以如下表示为：

A

A

每个注意力图A＝[a

步骤三中将对应图像的特征图和注意力图通过BilinearAttention pooling产生的二维特征矩阵的详细过程如下：

在注意力图中A

Γ(·)表示的是Bilinear Attention pooling。⊙表示的为元素点成符合。a

步骤四中所描述的使用K-近邻算法构造邻接矩阵的具体过程和使用图卷积进行关系聚合的具体过程如下:

4-1由步骤三，对于醋酸实验图像和碘实验图像都获得一个m维的特征向量，所以一共获得2m个特征向量。以每个向量作为图的一个节点，则整个图结构的邻接矩阵K的定义如下：

其中KNN(f

4-2定义一个节点集合V和一个边集合E，节点集合中包含2m个节点，即f

H

4-3最终的关系特征表示如下：

y＝H

其中H

步骤五、将步骤一获得的标记后的阴道镜图像，输入至步骤二、三、四所构建的神经网络BG-CNN来进行训练，损失函数设为交叉熵损失函数，最终得到训练好的模型。将阴道镜图像输入训练好的模型中进行图像的检测。

图1为本发明提出的神经网络BG-CNN结构图。