基于注意力增强U型网络的超声乳腺肿瘤自动分割方法

摘要

本发明公开了一种基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，包括步骤(A)，构建用于超声乳腺肿瘤自动分割的注意力增强U型网络模型；步骤(B)，建立注意力增强U型网络模型的混合注意力损失函数；步骤(C)，根据注意力增强U型网络模型以及混合注意力损失函数，通过粗细结合策略对注意力增强U型网络模型训练，实现对乳腺超声图像病灶区域分割。本发明能够用来提取乳腺超声图像的病灶区域，可有效提高乳腺肿瘤分割的准确性，用以辅助医生快速准确进行病灶区域定位，降低医生工作量，缓解年轻医生临床经验不足等缺陷，对现代医学具有非常重要的研究价值和应用前景。

说明书

技术领域

本发明涉及超声乳腺肿瘤检测技术领域，具体涉及一种基于注意力增强U 型网络的超声乳腺肿瘤自动分割方法。

背景技术

目前，乳腺癌是仅次于皮肤癌的一种严重危害妇女健康的疾病。随着现代 医学的发展，早期诊断和治疗可以大大提升乳腺癌患者的存活率。目前，乳腺 肿瘤的诊断可分为侵入性和非侵入性诊断。侵入性诊断主要指活检，但这会对 乳腺组织造成物理损伤，给患者带来痛苦；非侵入性诊断则指使用X射线、MRI (磁共振成像)或超声影像等技术对乳腺病变区域进行检查，在各种检查方式 中，由于低辐射、低成本和实时性等优点，超声影像检查已成为乳腺肿瘤早期 诊断的首选方法。

在进行超声乳腺肿瘤诊断过程中，超声医生首先需要移动探头寻找患者的 病变组织，确定病灶区域范围，这是进行乳腺肿瘤诊断的第一步。然而，由于 超声图像的低对比度，腺体、肿瘤、脂肪等组织间侵润性，以及肿瘤形态的多 样性等特点，超声医生需要根据临床经验反复观察才能准确确定病灶位置和区 域，这无疑大大增加了医生的工作难度和工作量，无形中也增加了患者的就诊 时间。

同时，由于临床经验不足或视觉疲劳等原因，有时也会出现病灶区域的误 检测和漏检测等情况。因此，利用计算机辅助诊断(Computer Aided Diagnosis， CAD)系统实现超声乳腺肿瘤区域的自动分割，有助于辅助医生快速、准确定位 病灶区域，可以降低医生工作量，缓解年轻医生临床经验不足等缺陷，对现代 医学具有非常重要的研究价值和应用前景。

目前，超声乳腺肿瘤区域分割算法主要分为两大类：基于图像处理的分割 算法和基于深度神经网络的语义分割算法，均存在不足，具体介绍如下：

(1)，基于图像处理的分割算法，主要包括阈值法、聚类法、分水岭法、 活动轮廓模型法、马尔科夫随机场法、图论法等等。虽然已取得了一定研究成 果，但该方法均需要手工设定一些初始参数，例如，阈值法中需要提供诸如区 域中心、高度、宽度等初始参数；模糊C均值聚类算法则需要手工设置初始化 聚类区域数目和噪声容限水平；活动轮廓模型则需要提供肿瘤区域内初始化圆 形轮廓。这些初始参数设置是否准确，对最终分割结果好坏有很大影响。同时， 变换数据后，初始参数设置也需要更新，不具有自动分割性能。

(2)，基于深度神经网络的语义分割算法，随着深度学习在各个领域的广 泛应用，基于深度神经网络的语义分割算法逐渐被应用在医学图像中，并取得 了不错的分割效果。常用的深度神经网络模型主要有全卷积网络，U型网络， Mask-RCNN网络等等。与主要依赖浅层特征的传统分割算法相比，深度神经网 络模型结合了浅层特征和高级语义特征，从像素级角度进行分析判断，可以获 得更精确的分割结果。但是，由于训练数据的大量缺乏，以及超声图像对比度 低，可疑病变与周围组织之间相互侵润，以及肿瘤形态的多样性等特点，基于 深度神经网络的超声乳腺肿瘤区域分割研究仍处于起步阶段，分割效果仍有待进一步提高。

发明内容

本发明的目的是克服现有技术中超声乳腺肿瘤区域分割算法存在的问题。 本发明的基于注意力增强U型网络(Attention-enhancing Unet，AE-Unet)的超 声乳腺肿瘤自动分割方法，用来提取乳腺超声图像的病灶区域，可有效提高乳 腺肿瘤分割的准确性，用以辅助医生快速准确进行病灶区域定位，降低医生工 作量，缓解年轻医生临床经验不足等缺陷，对现代医学具有非常重要的研究价 值和应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，包括以下步 骤，

步骤(A)，构建用于超声乳腺肿瘤自动分割的注意力增强U型网络模型；

步骤(B)，建立注意力增强U型网络模型的混合注意力损失函数；

步骤(C)，根据注意力增强U型网络模型以及混合注意力损失函数，通过 粗细结合策略对注意力增强U型网络模型训练，实现对乳腺超声图像病灶区域 分割。

前述的基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，步骤(A)， 构建用于超声乳腺肿瘤自动分割的注意力增强U型网络模型，包括以下步骤，

(A1)建立左侧收缩路径，该左侧收缩路径包含左卷积、下采样和左修正 线性单元Relu三个运算模块，左卷积运算模块用于提取图像的深层语义特征， 网络中所有左卷积预算模块的卷积核大小均为3*3；每个左卷积运算后均需经过 左Relu运算模块激活函数，用于增强网络的非线性判别能力；两个3*3左卷积 运算后需经过下采样运算模块，在保留主要特征同时降低网络参数，用于防止 过拟合，该下采样运算模块采用步长为2的最大池化Max pooling进行下采样；

(A2)建立右侧扩展路径，该右侧扩展路径包含右卷积、上采样和右Relu 三个运算模块，所述右卷积运算模块和右Relu运算模块同于左侧收缩路径的左 卷积运算模块和左Relu运算模块，所述上采样运算模块采用2*2反卷积实现， 用于扩展特征图尺寸，便于后续的像素级预测；

(A3)建立中间四个注意力门，该四个注意力门从下到上分布，具体对左 侧收缩路径的同层特征图x

前述的基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，步骤(B)， 建立注意力增强U型网络模型的混合注意力损失函数，包括以下步骤，

(B1)在注意力增强U型网络模型末端的输出预测值pre基础上，增加融入 四个注意力门的输出权值α

Loss＝Loss

＝λBCE(pre,mask)+λ

Loss

Loss

其中，Loss

(B2)，进一步提高损失函数精度，加速网络收敛，引入了特征图纹理一致 性指标U

其中，U

前述的基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，步骤(B)， λ

其中，U

前述的基于注意力增强U型网络的超声乳腺肿瘤自动分割方法，步骤(C)， 根据注意力增强U型网络模型以及混合注意力损失函数，通过粗细结合策略对 注意力增强U型网络模型训练，实现对乳腺超声图像病灶区域分割，包括以下 步骤，

(C1)在训练集上训练n(n＞0)个训练次数epochs，前m(0＜m＜n)个epochs 训练中，学习率为0.0001，使用公式(1)的Loss作为损失函数，对整个网络结 构进行参数更新，使网络损失值下降趋于稳定；

(C2)在m+1～n个epochs训练中，将学习率调整到0.00001，并依次使用 公式(9)和公式(10)进行网络参数更新，第m+1个epoch训练时，固定主干 网络中左侧收缩路径以及右侧扩张路径中的参数，仅使用公式(9)作为损失函 数更新网络中间四个注意门的参数；第m+2个epoch训练时，固定网络中间四 个注意门的参数，仅使用公式(10)作为损失函数，更新主干网络左侧收缩路 径以及右侧扩张路径的参数，依次类推，对注意力增强U型网络模型的基础参 数进行微调；

Loss

Loss

(C3)在注意力增强U型网络模型的末端使用1*1卷积将64通道特征向量 映射为各个像素的分类概率值，这里分类类别为病灶目标和背景两类，从而实 现超声乳腺肿瘤分割。

本发明的有益效果是：本发明的基于注意力增强U型网络 (Attention-enhancingUnet，AE-Unet)的超声乳腺肿瘤自动分割方法，从两个 方面进行改进，具体描述如下：

首先，对网络损失函数进行改进，在传统网络末端输出预测值的基础上，融 入四个注意力门(Attention Gate)输出权值，与标准病灶区域模板相比对，用于 获取更准确的网络损失值。需要强调的是，这里引入了特征图纹理一致性指标， 用于衡量四个AttentionGate损失值在总体损失值中所占比重，有效利用关键特 征，加速网络收敛；

其次，对网络训练方式进行改进，采用粗细结合的分层训练策略，先用总体 损失函数训练整体网络，使网络损失值下降趋于稳定，再用部分损失函数，依 次交替训练主干网络和注意力门模块，对网络基础参数进行微调，用于进一步 提升网络参数的精度。两者结合，大大提高了乳腺超声图像病灶区域分割的准 确性。

本发明用来提取乳腺超声图像的病灶区域，可有效提高乳腺肿瘤分割的准 确性，用以辅助医生快速准确进行病灶区域定位，降低医生工作量，缓解年轻 医生临床经验不足等缺陷，对现代医学具有非常重要的研究价值和应用前景。

附图说明

图1是本发明的基于注意力增强U型网络的超声乳腺肿瘤自动分割方法的 流程图；

图2是本发明的注意力增强U型网络模型的系统框图；

图3是本发明的注意力的拓扑框图；

图4(a)是U型网络(U-net)中四个跳层连接输出特征图；

图4(b)是注意力U型网络(Attention-Unet)中四个跳层连接输出特征图；

图5是本发明的注意力增强U型网络(AE-Unet)四个跳层连接输出特征图；

图6是本发明的Dice系数(Dice_coeff)曲线图；

图7是使用各方法部分乳腺超声图像分割实验结果图；

图8中(a)～(f)分别是FCN16s、FCN8s、Segnet、U-net、Attention-Unet、AE-Unet网络的Roc曲线图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

如图1所示，本发明的基于注意力增强U型网络(Attention-enhancing Unet， AE-Unet)的超声乳腺肿瘤自动分割方法，包括以下步骤，

步骤(A)，构建用于超声乳腺肿瘤自动分割的注意力增强U型网络模型如 图2及图3所示，包括以下步骤，

(A1)建立左侧收缩路径，该左侧收缩路径包含左卷积、下采样和左修正 线性单元(Relu)三个运算模块，左卷积运算模块用于提取图像的深层语义特征， 网络中所有左卷积预算模块的卷积核大小均为3*3；每个左卷积运算后均需经过 左Relu运算模块激活函数，用于增强网络的非线性判别能力；两个3*3左卷积 运算后需经过下采样运算模块，在保留主要特征同时降低网络参数，用于防止 过拟合，该下采样运算模块采用步长为2的最大池化(Max pooling)进行下采 样；

(A2)建立右侧扩展路径，该右侧扩展路径包含右卷积、上采样和右Relu 三个运算模块，所述右卷积运算模块和右Relu运算模块同于左侧收缩路径的左 卷积运算模块和左Relu运算模块，所述上采样运算模块采用2*2反卷积实现， 用于扩展特征图尺寸，便于后续的像素级预测；

(A3)建立中间四个注意力门(Attention Gate)，该四个注意力门从下到上 分布，具体对左侧收缩路径的同层特征图x

图4给出了U型网络(U-net)和加入Attention Gate的注意力U型网络(Attention-Unet)中四个跳层连接路径(图1中虚线部分)输出特征图，图4 中，尺寸从小到大的特征图依次为网络中从下(浅)到上(深)四个跳层连接 的输出特征图，并且大特征图的尺寸是小特征图尺寸的两倍。可以看出，在跳 层连接支路上增加Attention Gate可以有效增强病灶区域特征而抑制背景区域特 征，为后续像素级预测提供更精准的分割区域；

步骤(B)，建立注意力增强U型网络模型的混合注意力损失函数，传统网 络是将末端输出预测值pre与标准模板值mask代入损失函数，计算得到损失值后 反向传播调节网络参数，这使得网络损失值受预测值影响较大，容易导致网络 参数陷入局部最优且更新速度慢，包括以下步骤，

(B1)在注意力增强U型网络模型末端的输出预测值pre基础上，增加融入 四个注意力门的输出权值α

Loss＝Loss

＝λBCE(pre,mask)+λ

Loss

Loss

其中，Loss

(B2)，图5是本发明AE-Unet网络的四个跳层连接输出特征图，尺寸从小 到大的特征图依次为网络中从下(浅)到上(深)四个跳层连接路径中Attention Gate输出特征图，与图4比较可以发现，基于本发明提出的混合注意力损失函 数，训练得到的各个跳层连接支路输出特征图中，肿瘤特征与背景特征差异更 明显，更有利于划分出准确的肿瘤病灶区域。同时，顺序依次观察图5中四个 特征图也可以看出，在AE-Unet网络中随着层数加深，特征图纹理变化越来越 平滑，肿瘤与背景的差异也越来越明显。因此，进一步提高损失函数精度，加 速网络收敛，引入了特征图纹理一致性指标U

其中，U

其中，λ

其中，U

步骤(C)，根据注意力增强U型网络模型以及混合注意力损失函数，通过 粗细结合策略对注意力增强U型网络模型训练，实现对乳腺超声图像病灶区域 分割，包括以下步骤，

(C1)在训练集上训练n(n＞0)个训练次数(epochs)，前m(0＜m＜n)个epochs 训练中，学习率为0.0001，使用公式(1)的Loss作为损失函数，对整个网络结 构进行参数更新，使网络损失值下降趋于稳定；

(C2)在m+1～n个epochs训练中，将学习率调整到0.00001，并依次使用 公式(9)和公式(10)进行网络参数更新，第m+1个epoch训练时，固定主干 网络中左侧收缩路径以及右侧扩张路径中的参数，仅使用公式(9)作为损失函 数更新网络中间四个注意门的参数；第m+2个epoch训练时，固定网络中间四 个注意门的参数，仅使用公式(10)作为损失函数，更新主干网络左侧收缩路 径以及右侧扩张路径的参数，依次类推，对注意力增强U型网络模型的基础参 数进行微调；

Loss

Loss

(C3)在注意力增强U型网络模型的末端使用1*1卷积将64通道特征向量 映射为各个像素的分类概率值，这里分类类别为病灶目标和背景两类，从而实 现超声乳腺肿瘤分割。

如图6所示，本发明的训练的一个实施例，训练集迭代epochs＝100时，验证 集的Dice_coeff(Dice系数)曲线图，其中，

为了验证本发明的有效性，将AE-Unet网络和其他网络(FCN16s、FCN8s、 SegNet、U-net、Attention-Unet)进行性能比较。这里进行实验的数据采集于 VINNO 70超声诊断仪，探头发射频率为5MHz～14MHz，共采集了316张乳腺 超声图像，以及对应的由高年资超声医生手动分割的316张标准模板mask图。 在实验中，训练集，验证集和测试集的原始图像数量分别为203张，34张以及 79张。由于采集的实验数据较少，对训练集和验证集中的图像分别进行了水平 翻转，用于图像数量的扩增，如表1所示；

表1数据集构成

计算机实验环境为Ge-Force GTX 2080Ti，Intel Core i7-8700，内存32G，64位的ubuntu18操作系统。软件平台使用Pytorch深度学习框架，利用CUDA 工具加速计算。部分乳腺超声图像分割实验结果如图7所示，其中，图(a)～(e) 为乳腺超声原图；图(a1)、(b1)～(e1)为对应的标准分割模板mask图；图(a2)、 (b2)～(e2)为FCN16s分割结果图；图(a3)、(b3)～(e3)为FCN8s分割结果图；图(a4)、 (b4)～(e4)为Segnet分割结果图；图(a5)、(b5)～(e5)为U-net分割结果图；图(a6)、 (b6)～(e6)为Attention-Unet分割结果图；图(a7)、(b7)～(e7)为本发明提出的AE-Unet 分割结果图。分析图7我们可以看出：

①Segnet网络分割效果最差，对于肿瘤边缘清晰的良性超声乳腺图像，仍 会出现病灶区域分割不完整的情况(如图(a4)所示)，对于组织间相互侵润性的 恶性超声乳腺图像，则分割效果更差(如图(e4)所示)；

②FCN16s和FCN8s网络分割效果次之，但会出现分割区域不完整的情况 (如图(c2),(c3))，也会出现误检测(如图(a2),(a3))和漏检测的情况(如图 (e2),(e3))；

③U-net网络分割效果优于Segnet、FCN16s和FCN8s网络，但仍不如 Attention-Unet和AE-Unet网络的分割效果。例如，见图c(5)、e(5)所示，虽然可 以较准确定位病灶区域，但会出现部分像素误检测的情况；

④比较Attention-Unet和AE-Unet网络的分割效果，对于肿瘤边缘清晰的良 性超声乳腺图，Attention-Unet和AE-Unet网络的分割效果相当(如图b(6)、b(7))， 但对于组织间相互侵润性的恶性超声乳腺图像，本发明提出的AE-Unet网络的 分割效果更佳(如图d(7)、e(7))；

为了从统计角度进一步说明本发明的有效性，又使用了准确率(Accuracy)、 精确率(Precision)、召回率(Recall)、F1分数(F1 Score)、平均交并比(M-IOU)、受 试者工作特征曲线(Roc)、曲线下面积(AUC)、敏感度(Sensitivity)、特异度 (Specitivity)、阳性预测值(Positive-Predicitive-Value)、阴性预测值 (Negative-Predicitive-Value)11个性能指标进行评价，所有测试样本的指标平均 值结果，如表2所示，表2给出了缩略词TP，FP，FN，TN的含义，上述11 个性能指标公式和描述如下：

表2.缩略词含义

1)准确率(Accuracy)：对于给定的测试数据集，正确分类的样本数与总样本数 之比，具体公式如下：

2)精确率(Precision)：对于给定的测试数据集，真正的正样本数与预测为正的样本数之比，具体公式如下：

3)召回率(Recall)：对于给定的测试数据集，实际为正、预测也为正的样本 数与真正的正样本数之比，具体公式如下：

4)F1分数(F1 Score)：统计学中用来衡量二分类模型精确度的一种指标。它 同时兼顾了分类模型的精确率和召回率，它被定义为精确率和召回率的调和平 均数。具体公式如下：

5)平均交并比(M-IOU)：两个集合的交集与并集之比。在语义分割的问题中， 这两个集合分别为真实值和预测值。这个比例变形为正真数(交集)比上真正、 假负、假正之和(并集)，具体公式如下：

6)受试者工作特征曲线(Roc)：Roc曲线上的每一个点对应于一个阈值(threshold)，对于一个分类器，每个threshold下会有一个真正类率(TPR)和负正 类率(FPR)。比如Threshold最大时，TP＝FP＝0，对应于原点(0,0)；Threshold最 小时，TN＝FN＝0，对应于右上角的点(1,1)；

7)曲线下面积(AUC)：得到Roc曲线后，计算曲线下面积得到AUC值；

8)敏感度(Sensitivity)：对于给定的测试数据集，实际为正、预测也为正的样 本数与真正的正样本数之比，具体公式如下：

9)特异度(Specitivity)：对于给定的测试数据集，实际为负、预测也为负的样 本数与真正负样本数之比，具体公式如下：

10)阳性预测值(Positive-Predicitive-Value)：对于给定的测试数据集，实际为正、预测也为正的样本数与预测正样本数之比，具体公式如下：

11)阴性预测值(Negative-Predicitive-Value)：对于给定的测试数据集，实际为负、预测也为负的样本数与预测负样本数之比，具体公式如下：

图8中(a)～(e)分别是FCN16s、FCN8s、Segnet、Unet、Attention-UNet、AE-Unet 网络的Roc曲线图，Roc曲线下方的面积就是AUC，具体数值见表3-1所示；

表3-1不同网络的性能指标结果

从表中可以看出，对乳腺超声数据集进行分割，本发明提出的AE-Unet网络 的Precision、F1分数、Accuracy和M-IOU四个性能指标均高于其他网络，尤其 是Precision指标，比第二名U-net网络提高了3.42％，M-IOU指标也比第二名 Attention-Unet上升了1.27％，比其他网络则提高更多。主要原因是因为本发明 提出的AE-Unet模型，在训练过程中给予肿瘤区域更多的关注，从而提高了分 割准确性，

表3-2不同网络的性能指标结果

从表中可以看出，对乳腺超声数据集进行分割，本发明提出的AE-Unet模型 的PPV相比于其他算法有了较大的提升，提高到85.88％，表明预测为肿瘤区域， 实际也为肿瘤区域的比例很大，分割结果更加准确。

综上所述，本发明的基于注意力增强U型网络(Attention-enhancing Unet，AE-Unet)的超声乳腺肿瘤自动分割方法，从两个方面进行改进，具体描述如下：

首先，对网络损失函数进行改进，在传统网络末端输出预测值的基础上，融 入四个注意力门(Attention Gate)输出权值，与标准病灶区域模板相比对，用于 获取更准确的网络损失值。需要强调的是，这里引入了特征图纹理一致性指标， 用于衡量四个AttentionGate损失值在总体损失值中所占比重，有效利用关键特 征，加速网络收敛；

其次，对网络训练方式进行改进，采用粗细结合的分层训练策略，先用总体 损失函数训练整体网络，使网络损失值下降趋于稳定，再用部分损失函数，依 次交替训练主干网络和注意力门模块，对网络基础参数进行微调，用于进一步 提升网络参数的精度。两者结合，大大提高了乳腺超声图像病灶区域分割的准 确性。

本发明用来提取乳腺超声图像的病灶区域，可有效提高乳腺肿瘤分割的准 确性，用以辅助医生快速准确进行病灶区域定位，降低医生工作量，缓解年轻 医生临床经验不足等缺陷，对现代医学具有非常重要的研究价值和应用前景。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人 员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只 是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各 种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求 保护范围由所附的权利要求书及其等效物界定。