基于残差连接和注意力机制融合的复杂图像分割方法

摘要

本发明公开了一种基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的U‑Net模型对图像进行晶界分割，采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，在编码器和解码器的逐层传递中引入ECA注意力机制，在跳层连接结构中引入CBAM注意力机制，改进后的模型具有更强的特征传播能力，在模型训练时更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。设计基于Dice损失和Focal损失的混合损失函数，使模型更关注难分类样本，缓解由于数据类别不均衡导致的晶界难以分割的问题。

说明书

技术领域

本发明涉及航天航空技术领域，尤其涉及一种基于残差连接和注意力机制融合的复杂图像分割方法。

背景技术

合金具有强度高、密度低、耐腐蚀性好等优点，被广泛应用于航空航天领域，是高端装备制造的优选结构材料。合金材料的性能与其组织结构间有密切联系，高效、精确地描述和表征合金材料的金相组织特征，对于合金材料的性能预测和组织调控具有重要作用。

金相图像分析技术是目前应用最广泛的分析金属价值的方法之一。金相图像分析技术通过对金相图的分割和测量，从图像中建立组织结构的数量、大小、形态等定量描述。图像分割技术使得金相图像分析由人工定性检测转变为定量检测，提高了检测精确度和可靠度，从而得到了广泛应用。

近年来，深度学习技术在计算机视觉领域取得突破性进展。在图像分割领域，FCN、U-Net、DeepLab等模型的检测精度逐渐达到甚至超过了人工水平。深度学习的发展使得图像处理的效率和精度得到了大幅提升，为金相图像分析提供了新方法。U-Net是经典的语义分割模型，因其具有准确、高效、鲁棒性强、适用于小样本数据集等的优点，广泛应用于各个领域的图像分割任务中，其在金相图像分析领域也得到广泛应用。

目前，基于深度学习的金相图像分割方法主要适用于对比度高、晶界明显及图像特征简单的金相图像，对于晶界模糊的金相图像适用度较低。并且，基于深度学习的金相图像分割方法还存在数据集中、类别不均衡的问题，这也会影响晶界分割。因此，如何解决由于晶界模糊、数据类别不均衡导致晶界难以分割的问题，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于残差连接和注意力机制融合的复杂图像分割方法，用以解决由于晶界模糊、数据类别不均衡导致晶界难以分割的问题。

因此，本发明实施例提供了一种基于残差连接和注意力机制融合的复杂图像分割方法，包括如下步骤：

S1：将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理；

S2：将处理后的数据集划分为训练集和验证集，将训练集输入U-Net模型进行训练；

S3：利用编码器通过四层卷积和下采样操作逐步缩小输入图像的尺寸，并提取输入图像的目标特征；其中，每层卷积包含两个卷积单元，每个卷积单元包括一个步长为1的3×3的Same卷积、一个批归一化层以及一个修正线性层；在卷积单元间引入残差连接，主分支由两个3×3的Same卷积、两个BN层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积，用于调整输入图像的通道数，与输出图像的通道数一致；在编码器的逐层传递中引入ECA注意力机制；

S4：利用解码器通过四层卷积和上采样操作，将提取到的目标特征还原到输入图像的原始尺寸，并逐步恢复图像的细节信息，得到特征图；其中，在解码器的逐层传递中引入ECA注意力机制；将解码器中每一步上采样层与编码器中对应步的下采样层拼接，形成跳层连接结构，用于使下采样层提取的目标特征直接传递到上采样层；在跳层连接结构中引入CBAM注意力机制；

S5：采用1×1的卷积，将解码得到的特征图转化为图像分割结果，将图像分割结果拼接为输入图像的原始尺寸，得到输入图像的晶界分割结果；

S6：利用基于Dice损失和Focal损失的混合损失函数，对U-Net模型进行迭代训练优化；

S7：将验证集输入到每步训练后得到的U-Net模型中，根据输出的晶界分割结果，计算每步训练后得到的U-Net模型的准确率，将准确率最高的U-Net模型作为最终的U-Net模型；

S8：将测试集输入最终的U-Net模型，利用U-Net模型对测试集进行晶界分割。

在一种可能的实现方式中，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S1，将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理，具体包括如下步骤：

S11：通过滑动窗口的方式将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；

S12：对各子图像进行平移、旋转、缩放、亮度变换以及弹性变换处理。

在一种可能的实现方式中，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S3中，下采样由2×2的最大池化实现，池化步长为2。

在一种可能的实现方式中，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S4中，上采样由2×2的转置卷积实现，转置卷积步长为2。

在一种可能的实现方式中，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S6，利用基于Dice损失和Focal损失的混合损失函数，对U-Net模型进行迭代训练优化，具体包括：

基于Dice损失和Focal损失的混合损失函数为：

L＝wL

其中，L

利用混合损失函数L对U-Net模型进行迭代训练优化。

在一种可能的实现方式中，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S6中，权重系数w的取值范围为0.4～0.6。

本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的U-Net模型对图像进行晶界分割，采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，主分支由两个3×3的Same卷积、两个BN层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积，改进后的卷积单元由于使用了Same卷积和BN层，且引入残差连接，能够有效地避免特征丢失、梯度消失和梯度爆炸等问题；并且，在编码器和解码器的逐层传递中引入ECA注意力机制，可以增强编码器的特征提取能力与解码器的特征还原能力；此外，在跳层连接结构中引入CBAM注意力机制，可以解决原始U-Net模型的跳层连接可能会引入大量噪声信息的问题。改进后的U-Net模型具有更强的特征传播能力，在模型训练过程中更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。通过设计基于Dice损失和Focal损失的混合损失函数，替换原有的交叉熵损失函数，可以使模型在训练时更加关注难分类样本，从而可以很大程度上改善由于数据类别不均衡导致的晶界难以分割的问题。

附图说明

图1为本发明实施例提供的一种基于残差连接和注意力机制融合的复杂图像分割方法的流程示意图；

图2为本发明实施例提供的一种基于残差连接和注意力机制融合的复杂图像分割方法中残差连接卷积单元的结构示意图；

图3为本发明实施例提供的一种基于残差连接和注意力机制融合的复杂图像分割方法中CBAM注意力机制的结构示意图；

图4为本发明实施例提供的一种基于残差连接和注意力机制融合的复杂图像分割方法中改进的U-Net模型的网络结构示意图；

图5为采用现有的Attention U-Net模型进行图像分割与采用本发明方法进行图像分割所得到的晶界分割结果对比图。

具体实施方式

下面结合附图，对本发明实施例提供的基于残差连接和注意力机制融合的复杂图像分割方法的具体实施方式进行详细地说明。

本发明实施例提供的一种基于残差连接和注意力机制融合的复杂图像分割方法，如图1所示为流程示意图，可以包括如下步骤：

S1：将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理；

具体地，数据增强处理，首先需要对原始的高分辨率图像进行切分，具体可以通过滑动窗口的方式，将原始的高分辨率图像切分为尺寸相同的若干个低分辨率的子图像，且相邻子图像间具有重叠区域，子图像的尺寸可以为512×512，当然也可以为其他尺寸，在此不做限定，本发明以切分为512×512的子图像为例进行说明；然后使用平移、旋转、缩放等几何变换方法，以及亮度变换和弹性变换方法，来增强图像；在数据集的选择方面，可以根据待测试数据集的类型，选取对应类型的数据集，例如，可以选择TA15宏观组织数据集作为数据集；

S2：将处理后的数据集划分为训练集和验证集，将训练集输入U-Net模型进行训练；

具体地，512×512大小的单通道图像作为输入进入编码器；

S3：利用编码器通过四层卷积和下采样操作逐步缩小输入图像的尺寸，并提取输入图像的目标特征；其中，每层卷积包含两个卷积单元，每个卷积单元包括一个步长为1的3×3的Same卷积、一个批归一化(Batch Normalization,BN)层以及一个修正线性(Rectified Linear Unit,ReLU)层；在卷积单元间引入残差连接，主分支由两个3×3的Same卷积、两个BN层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积，用于调整输入图像的通道数，与输出图像的通道数一致；在编码器的逐层传递中引入ECA注意力机制；

本发明对于U-Net模型的改进主要体现在如下方面：采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，其结构如图2所示，主分支由两个3×3的Same卷积(即3×3Conv(Same))、两个BN(即Batch Norm)层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积(即1×1Conv(Same))，改进后的卷积单元由于使用了Same卷积和BN层，且引入残差连接，能够有效地避免特征丢失、梯度消失和梯度爆炸等问题；在编码器的逐层传递中引入ECA注意力机制，可以增强编码器的特征提取能力；

S4：利用解码器通过四层卷积和上采样操作，将提取到的目标特征还原到输入图像的原始尺寸，并逐步恢复图像的细节信息，得到特征图；其中，在解码器的逐层传递中引入ECA注意力机制；将解码器中每一步上采样层与编码器中对应步的下采样层拼接，形成跳层连接结构，用于使下采样层提取的目标特征直接传递到上采样层；在跳层连接结构中引入CBAM注意力机制；

本发明对于U-Net模型的改进还体现在如下方面：解码器中的卷积单元与编码器中的卷积单元相同，在此不做赘述；在解码器的逐层传递中引入ECA注意力机制，可以增强解码器的特征还原能力；此外，在跳层连接结构中引入CBAM注意力机制，如图3所示，包括通道注意力模块和空间注意力模块，可以解决原始U-Net模型的跳层连接可能会引入大量噪声信息的问题，值得注意的是，本发明采用的CBAM注意力机制中的通道注意力模块采用一维卷积，还可以降低参数量和计算量，图3中的⊕代表相加，

S5：采用1×1的卷积，将解码得到的特征图转化为图像分割结果，将图像分割结果拼接为输入图像的原始尺寸，得到输入图像的晶界分割结果；

S6：利用基于Dice损失和Focal损失的混合损失函数，对U-Net模型进行迭代训练优化；

对U-Net模型的迭代优化，采用的是基于Dice损失和Focal损失的混合损失函数，替换原有的交叉熵损失函数，可以使模型更加关注难分类样本，从而可以缓解数据类别不均衡导致的晶界难以分割的问题；

S7：将验证集输入到每步训练后得到的U-Net模型中，根据输出的晶界分割结果，计算每步训练后得到的U-Net模型的准确率，将准确率最高的U-Net模型作为最终的U-Net模型；

S8：将测试集输入最终的U-Net模型，利用U-Net模型对测试集进行晶界分割。

本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的U-Net模型对图像进行晶界分割，采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，主分支由两个3×3的Same卷积、两个BN层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积，改进后的卷积单元由于使用了Same卷积和BN层，且引入残差连接，能够有效地避免特征丢失、梯度消失和梯度爆炸等问题；并且，在编码器和解码器的逐层传递中引入ECA注意力机制，可以增强编码器的特征提取能力与解码器的特征还原能力；此外，在跳层连接结构中引入CBAM注意力机制，可以解决原始U-Net模型的跳层连接可能会引入大量噪声信息的问题。改进后的U-Net模型具有更强的特征传播能力，在模型训练过程中更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。通过设计基于Dice损失和Focal损失的混合损失函数，替换原有的交叉熵损失函数，可以使模型在训练时更加关注难分类样本，从而可以很大程度上改善由于数据类别不均衡导致的晶界难以分割的问题。

在具体实施时，在执行本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中的步骤S1，将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；对各子图像进行增强处理时，具体可以包括如下步骤：

S11：通过滑动窗口的方式将数据集中的每张图像切分为尺寸相同的若干子图像，相邻子图像间有重叠区域；

S12：对各子图像进行平移、旋转、缩放、亮度变换以及弹性变换处理。

在具体实施时，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S3中，下采样可以由2×2的最大池化(Max Pooling)实现，池化步长可以为2。

在具体实施时，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S4中，上采样可以由2×2的转置卷积(Transposed Convolution)实现，转置卷积步长可以为2。

在具体实施时，在本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中，步骤S6，利用基于Dice损失和Focal损失的混合损失函数，对U-Net模型进行迭代训练优化，具体可以通过以下方式来实现：

基于Dice损失和Focal损失的混合损失函数为：

L＝wL

其中，L

Dice损失可以衡量测试集与真实标签图像的相似程度，真实标签即数据集所包含的正确结果，从而可以避免交叉熵损失函数仅考虑单个像素损失而带来的图像分割精度降低的问题；Dice损失的计算公式为：

其中，p

Focal损失可以调整样本中易分类样本和难分类样本的权重，通过引入一个超参数γ，可以减轻易分类样本的权重，使模型在训练时更加关注难分类样本，从而可以很大程度上改善由于数据类别不均衡导致的晶界难以分割的问题；Focal损失的计算公式为：

其中，p表示标签类别的真实值，取值为0或1，q表示样本为正的概率值，α为平衡因子，用于抑制样本不均衡的问题，γ为调节因子，用于降低易分类样本的权重。

在具体实施时，在执行本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法中的步骤S6时，权重系数的取值范围可以选取0.4～0.6。较佳地，权重系数可以取值0.5。

图5为对TA15宏观组织金相图像采用现有的Attention U-Net模型进行图像分割与采用本发明方法进行图像分割所得到的晶界分割结果对比图，从图5可以看出，采用本发明方法进行图像分割所得到的晶界分割结果与真实标签差别不大，并且，与现有的Attention U-Net模型相比，采用本发明方法获得的晶界分割的连续性更好，图像中的噪声点更少。

本发明实施例提供的上述基于残差连接和注意力机制融合的复杂图像分割方法，利用改进的U-Net模型对图像进行晶界分割，采用Same卷积代替原始的Valid卷积，在每个卷积层后加入一个批归一化层，在卷积单元间引入残差连接，主分支由两个3×3的Same卷积、两个BN层和两个ReLU层组成，捷径分支包含一个1×1的Same卷积，改进后的卷积单元由于使用了Same卷积和BN层，且引入残差连接，能够有效地避免特征丢失、梯度消失和梯度爆炸等问题；并且，在编码器和解码器的逐层传递中引入ECA注意力机制，可以增强编码器的特征提取能力与解码器的特征还原能力；此外，在跳层连接结构中引入CBAM注意力机制，可以解决原始U-Net模型的跳层连接可能会引入大量噪声信息的问题。改进后的U-Net模型具有更强的特征传播能力，在模型训练过程中更关注晶界部分，抑制背景响应，从而可以提高晶界识别的准确率，解决由于晶界模糊导致晶界难以分割的问题。通过设计基于Dice损失和Focal损失的混合损失函数，替换原有的交叉熵损失函数，可以使模型在训练时更加关注难分类样本，从而可以很大程度上改善由于数据类别不均衡导致的晶界难以分割的问题。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。