基于注意力机制的糖尿病视网膜病变的分类方法及系统

摘要

本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类方法及系统，包括以下步骤：获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型；使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。其在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。

说明书

技术领域

本发明涉及图像分类技术领域，具体涉及一种基于注意力机制的糖尿病视网膜病变的分类方法及系统。

背景技术

近年来，随着科学技术的不断发展，深度学习也取得了突破性的进展。深度学习算法通过从大量的数据中学习并提取特征，具有良好的性能，通过和医疗图像相结合，可以为相关疾病的诊断提供可靠的依据，已成为了现代医疗领域的具有前景的发展方向。

在医疗图像的分析中，由于病变的多样性和复杂性，导致诊断分析的难度较大。如糖尿病视网膜病变分析中，图像通常具有较小的类间差异和较大的类内差异，这也是医学图像分析中的一大难点。而且随着近些年人们生活方式的调整、饮食条件的改善等一些原因，患病人数呈现逐年增加的趋势，而受医疗条件的限制，医生的工作强度很大，容易出现患者没有及时得到诊治而耽误病情的情况。因此亟需一种高效、精准的糖尿病视网膜病变自动分类的方法来进行辅助治疗。而糖尿病视网膜病变自动分类面临的主要的课题是如何准确、快速和全面的识别出图像中的病变区域。需要对病变区域的信息进行重点的学习，解决不同病变之间差异小难以细分的问题，减少错误分类的问题。目前深度学习拥有许多优秀的神经网络模型，但在糖尿病视网膜病变分类这一复杂的图像识别任务中，网络整体的表现不佳，目前并没有一套十分有效的解决方案。

中国专利CN108021916A提出了一种基于注意力机制的深度学习糖尿病视网膜病变分类方法。该方法通过在深度网络中嵌入基于全卷积网络的注意力网络，先通过对主神经网络的训练生成特征图，再通过对注意力网络的训练生成病变候选区域图并归一化得到注意力图，将注意力图和特征图乘积得到注意力机制，最后将注意力机制的结果再输入主神经网络训练得到最后的分类模型。即该方法通过保留原始特征的基础上对病变候选区域的信息进行增强但该方法需要引入二个网络，速度较慢，同时分类结果还有待提高。

医学图像的分类具有很强的严谨性，但由于糖尿病视网膜病变图像病变的复杂性和细微性，现有的神经网络的分类算法通常会从全局去学习提取特征，而没有去充分学习提取细微病变区域的特征，因而会影响算法分类的准确性，导致误分类。

发明内容

本发明要解决的技术问题是提供一种基于注意力机制的糖尿病视网膜病变的分类方法及系统，其在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。

为了解决上述技术问题，本发明提供了一种基于注意力机制的糖尿病视网膜病变的分类方法，包括以下步骤：

获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；

构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；

使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；

通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型；

使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。

作为优选的，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：

改进DenseNet网络模型的非线性激活函数，将卷积网络的非线性激活函数改为FReLU，获得改进后的DenseNet网络模型；

在改进后的DenseNet网络模型中引用注意力机制模块，所述注意力机制模块为ECANet网络中的ECA模块，并使用残差模块将注意力机制模块与DenseNet网络进行融合。

作为优选的，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：

将DenseNet网络中原始的3×3的主卷积替换为Res2Net网络中的残差分层结构的多尺度卷积模块，使得DenseNet网络中间的主卷积从单分支变为了多分支。

作为优选的，，所述构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：

对于DenseNet网络的最后一个池化层，使用可调参数的广义平均池化替换全局平均池化。

作为优选的，所述获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集，包括：

获取眼底图像的数据集，对眼底图像的数据集进行预处理，将预处理后的眼底图像的数据集划分为训练集和测试集。

作为优选的，所述对眼底图像的数据集进行预处理，包括以下一种或多种操作方式：

删除数据集中质量差的图像，其中，所述质量差的图像包括镜头污染引起的噪声的图像、光线引起的噪声的图像、只保留部分有用信息的图像和不包含纹理信息的图像；

去除图像黑色背景后进行缩放以减小图像分辨率；

采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理。

作为优选的，所述对眼底图像的数据集进行预处理还包括数据扩增，

所述数据扩增包括：通过镜像、平移、缩放的方法对图像进行数据扩增以增加训练数据的数量。

作为优选的，所述ADense2Net网络模型的验证度量指标包括准确率、敏感度、特异性和二次加权的kappa一致性评判指标；

所述准确率

所述敏感度

所述特异性

所述二次加权的kappa一致性评判指标

其中，TP、FP、FN、TN分别代表真阳性、假阳性、假阴性、真阴性；二次加权的kappa一致性评判指标中的O是N*N的矩阵，o

作为优选的，所述根据测试结果优化ADense2Net网络模型的参数，包括：

根据测试集的验证度量结果，不断的调整模型的超参数，优化ADense2Net网络模型的参数。

本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类系统，包括：

数据处理模块，所述数据处理模块获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；

网络模型构建模块，其与数据处理模块连接，所述网络模型构建模块构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；

训练模块，其与网络模型构建模块连接，所述训练模块使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；

测试模块，其与训练模块连接，所述测试模块通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。

本发明的有益效果：

1、本发明针对目前糖尿病视网膜病变的分类算法的不足，本发明通过在现有的优秀神经网络的基础上，针对糖尿病视网膜病变图像的特点，进行网络结构上的改进，提出了一种基于注意力机制的糖尿病视网膜病变的分类方法，在糖尿病视网膜病变分类任务上具有较高的准确率和鲁棒性。

2、本发明提出了一种基于注意力机制的糖尿病视网膜病变分类方法，所述的ADense2Net卷积神经网络的主体结构为DenseNet网络，并根据糖尿病视网膜图像的特点对原有的网络进行了网络结构上的修改，在一定程度上提高了糖尿病视网膜图像的分类准确率。

3、本发明中的网络模型的学习能力较强，鲁棒性较好，在糖尿病视网膜病变图像的分类上有较强的适应性。

附图说明

图1为本发明的分类算法的流程示意图；

图2为本发明的改进的多尺度卷积特征提取模块；

图3为非线性激活函数FReLU的结构示意图；

图4为ECA注意力机制模块的结构示意图；

图5为本发明ADense2Net卷积神经网络模型的主体结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1和图5所示，本发明的公开了一种基于注意力机制的糖尿病视网膜病变的分类方法，包括以下步骤：

步骤一、获取眼底图像的数据集，对眼底图像的数据集进行预处理，将预处理后的眼底图像的数据集划分为训练集和测试集。

其中，对眼底图像的数据集进行预处理，包括：

(1)删除数据集中质量差的图像，其中，所述质量差的图像包括镜头污染引起的噪声的图像、光线引起的噪声的图像、只保留部分有用信息的图像和不包含纹理信息的图像；

(2)去除图像黑色背景后进行缩放以减小图像分辨率；

(3)采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理。

(4)所述对眼底图像的数据集进行预处理还包括数据扩增，所述数据扩增包括：通过镜像、平移、缩放的方法对图像进行数据扩增以增加训练数据的数量。

具体的，选取EyePACS数据集作为眼底图像的原始数据样本，其中包含了三万多张带标签的糖尿病视网膜病变图像数据。首先对数据集中质量较差的图像进行删除，删除图像主要包含4类，第一类是镜头污染引起的带噪声的图像，第二类是光线过曝引起的带噪声的图像，第三类是光线不足而使得整体图像过暗，且只保留部分有效信息的图像，第四类是图像中不包含任何的纹理信息，完全无效的图像。由于视网膜图像分辨率较高，为了减小网络的计算量，将图像尽量去除圆形视网膜区域外黑色背景后进行缩放以减小图像分辨率。同时为了便于网络能够更好的提取图像的特征，采用限制对比对的自适应直方图均衡的方法对图像进行增强处理，并对增强后的图像进行高斯平滑滤波处理，抑制图像噪声，提高分类的准确率。最后，通过镜像、平移、缩放等方法对图像进行数据扩增以增加训练数据的数量，提高模型的泛化能力，避免出现过拟合的现象。最后对数据按照8：2的比例划分出训练集和测试集。

步骤二、构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块，包括：

S21、改进DenseNet网络模型的非线性激活函数，将卷积网络的非线性激活函数改为FReLU(原始的DenseNet网络的使用的非线性激活函数为ReLU)，获得改进后的DenseNet网络模型。

S22、为了能够让网络更加关注病变区域的学习，在改进后的DenseNet网络模型中引用注意力机制模块，所述注意力机制模块为ECANet网络中的ECA模块，并使用残差模块将注意力机制模块与DenseNet网络进行融合。

S23、为了提高网络的细粒度识别能力，将DenseNet网络中原始的3×3的主卷积替换为Res2Net网络中的残差分层结构的多尺度卷积模块，使得DenseNet网络中间的主卷积从单分支变为了多分支，获得更细粒度的特征信息。

S24、对于DenseNet网络的最后一个池化层，使用可调参数的广义平均池化(Generalized mean Pooling)替换全局平均池化(Global average Pooling)。

参照图2所示，为本发明改进的多尺度卷积特征提取模块，其中，图2(a)为原始的的特征提取模块，图2(b)为改进后的结合多尺度卷积的特征提取模块。图3为非线性激活函数FReLU的结构示意图，图4为ECA注意力机制模块的结构示意图。

步骤三、使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型。

所述ADense2Net网络模型的验证度量指标包括准确率(accuracy,ACC)、敏感度(sensitivity,SE)、特异性(specificity，SP)和二次加权的kappa一致性评判指标；

所述准确率

所述敏感度

所述特异性

所述二次加权的kappa一致性评判指标

其中，TP、FP、FN、TN分别代表真阳性、假阳性、假阴性、真阴性；二次加权的kappa一致性评判指标中的O是N*N的矩阵，这里为五分类，所以N＝5，o

在训练过程中，本发明采用Adam的方法进行优化，网络采用交叉熵作为损失函数，并对网络中的各参数使用L2正则化项，权重衰减因子为0.0005。设置初始学习率为0.0002，学习率随着学习的深入而变得越来越小。

本方法在所用的EyePACS数据集的测试集上取得82.6％的准确率和0.802的kappa值。为了对我们的方法进行进一步的验证，进行了正常和患病糖尿病视网膜病变图像的二分类实验，取得了92.5％的准确率，90.8％的敏感度和94.4％的特异性。

步骤四、通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。

其中，所述根据测试结果优化ADense2Net网络模型的参数，包括：根据测试集的验证度量结果，不断的调整模型的超参数，优化ADense2Net网络模型的参数。

步骤五、使用优化后的ADense2Net网络模型对获取的眼底图像进行分类。

本发明公开了一种基于注意力机制的糖尿病视网膜病变的分类系统，包括数据处理模块、网络模型构建模块、训练模块和测试模块。

所述数据处理模块获取眼底图像的数据集，将所述眼底图像的数据集划分为训练集和测试集；

网络模型构建模块与数据处理模块连接，所述网络模型构建模块构建基于DenseNet网络的ADense2Net网络模型，在所述DenseNet网络中引入注意力机制模块和多尺度卷积模块；

训练模块与网络模型构建模块连接，所述训练模块使用训练集对ADense2Net网络模型进行训练，获得训练后的ADense2Net网络模型；

测试模块与训练模块连接，所述测试模块通过训练后的ADense2Net网络模型对测试集进行测试，根据测试结果优化ADense2Net网络模型的参数，获得优化后的ADense2Net网络模型。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。