一种基于改进UNet模型的CT图像胸肌分割方法

摘要

本发明涉及一种基于改进UNet模型的CT图像胸肌分割方法，基于各胸部CT样本图像、以及对应掩膜图，针对目标UNet神经网络模型进行训练，获得胸肌识别模型，进而实现待分析胸部CT图像中各类型胸肌区域的识别；改进后的UNet模型在编码器中应用空洞卷积，采用两种不同扩张率的空洞卷积交替操作，在保留胸肌局部区域细节特征信息的同时，增大卷积感受野，获取图像全局信息；并在卷积层和池化层间增加批归一化层，提高网络收敛速度的同时缓解过拟合现象；且在解码器中应用DUpsampling结构，充分捕获胸肌边缘的细节特征信息，从而整体方法提高现实复杂情况下CT图像胸肌定位分割的准确性及稳定性，减少使用传统UNet模型进行胸肌分割时存在的假阳与漏检等问题。

说明书

技术领域

本发明涉及一种基于改进UNet模型的CT图像胸肌分割方法，属于图像识别分类技术领域。

背景技术

医学图像分割可以为疾病的精准识别、详细分析、合理诊断等多方面提供非常重要的意义和价值，其关键任务是对医学图像中感兴趣的区域(例如器官或病变)进行分割。与自然图像相比，医学图像具有分辨率低、对比度低、目标分散等自身特性，因此医学图像分割方法对准确性和稳定性有着更高的要求。

传统的医学图像分割技术包括基于阈值的方法、基于边缘的方法、基于区域的方法、以及基于特定理论的方法等，然而由于医学图像自身的复杂性，这些传统方法在分割的精度和效率上难以达到实际应用的要求。

发明内容

本发明所要解决的技术问题是提供一种基于改进UNet模型的CT图像胸肌分割方法，能够提高现实复杂情况下CT图像胸肌定位分割的准确性及稳定性，减少使用传统UNet模型进行胸肌分割时存在的假阳与漏检等问题。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于改进UNet模型的CT图像胸肌分割方法，按如下步骤A至步骤B，获得胸肌识别模型；然后针对待分析胸部CT图像，应用胸肌识别模型，实现待分析胸部CT图像中各类型胸肌区域的识别；

步骤A.基于预设数量分别已知各类型胸肌区域的胸部CT样本图像，分别针对各胸部CT样本图像进行各类型胸肌区域的标注，构成各胸部CT样本图像分别所对应的样本掩膜图，由各胸部CT样本图像，以及其所对应的样本掩膜图，构成样本集，并按预设比例划分为训练集和测试集，然后进入步骤B；

步骤B.基于由编码器与解码器构成的目标UNet神经网络模型，以及训练集，以胸部CT样本图像为输入，胸部CT样本图像所对应样本掩膜图为输出，针对目标UNet神经网络模型进行训练，获得胸肌识别模型。

作为本发明的一种优选技术方案：还包括步骤C如下，执行完步骤B之后，进入步骤C；

步骤C.基于测试集，按预设各评估指标，针对胸肌识别模型进行评估。

作为本发明的一种优选技术方案：所述步骤A中，分别针对各胸部CT样本图像，根据胸部CT样本图像中已知的各类型胸肌区域，按如下标注标准，针对该胸部CT样本图像进行各类型胸肌区域的标注，构成该胸部CT样本图像所对应的样本掩膜图，进而获得各胸部CT样本图像分别所对应的样本掩膜图；

1)胸肌区域标注范围与胸廓外沿不重合，且避开骨头区域；

2)胸大肌与胸小肌之间分离处的轮廓以平滑线进行标注；

3)胸小肌下沿标注轮廓与其他组织不相连。

作为本发明的一种优选技术方案：还包括步骤A-B如下，执行完所述步骤A之后，进入步骤A-B；

步骤A-B.分别针对各胸部CT样本图像，针对胸部CT样本图像、以及其所对应的样本掩膜图，执行预设各图像变换操作，分别获得该各图像变换操作下扩展的胸部CT样本图像、以及其所对应扩展的样本掩膜图，进而获得各胸部CT样本图像分别对应该各图像变换操作下扩展的胸部CT样本图像、以及其所对应扩展的样本掩膜图，进而更新样本集，并按预设比例划分为训练集和测试集，然后进入步骤B。

作为本发明的一种优选技术方案：所述步骤A-B中的预设各图像变换操作包括预设幅度弹性变换、预设比例缩放、以及预设角度旋转。

作为本发明的一种优选技术方案：所述步骤B中由编码器与解码器构成的目标UNet神经网络模型的结构如下：

所述编码器包括至少一个子编码模块，各个子编码模块的结构彼此相同，各个子编码模块分别均包括最大池化层、以及两个第一卷积激活层，其中，两个第一卷积激活层分别自其输入端至其输出端方向包括依次串联的空洞卷积层、批归一化层、激活层，且两个第一卷积激活层中空洞卷积层的扩张率彼此不同，包含小扩张率空洞卷积层的第一卷积激活层的输入端构成子编码模块的输入端，包含小扩张率空洞卷积层的第一卷积激活层的输出端对接包含大扩张率空洞卷积层的第一卷积激活层的的输入端，包含大扩张率空洞卷积层的第一卷积激活层的的输出端对接最大池化层的输入端，最大池化层的输出端构成子编码模块的输出端；各个子编码模块依次串联，且排序第一的子编码模块的输入端构成目标UNet神经网络模型的输入端；

解码器包括末端卷积激活组、末端卷积分类层、以及与编码器中子编码模块数量一致的各个子解码模块，各个子解码模块的结构彼此相同，各个子解码模块分别均包括新型上采样层、以及两个第二卷积激活层，其中，两个第二卷积激活层分别自其输入端至其输出端方向包括依次串联的卷积层、批归一化层、激活层，两个第二卷积激活层彼此串联，且该串联结构的输入端构成子解码模块的输入端，该串联结构的输出端对接新型上采样层的输入端，新型上采样层的输出端构成子解码模块的输出端；各个子解码模块依次串联，且排序第一的子解码模块的输入端对接排序最后的子编码模块的输出端，末端卷积激活组的结构与各子解码模块中两个第二卷积激活层的串联结构相同，排序最后的子解码模块的输出端对接末端卷积激活组的输入端，末端卷积激活组的输出端对接末端卷积分类层的输入端，末端卷积分类层的输出端构成目标UNet神经网络模型的输出端；

顺序各子编码模块中包含大扩张率空洞卷积层的第一卷积激活层的输出端依次一一对应连接倒序各子解码模块的输出端。

作为本发明的一种优选技术方案：通过在预设基础卷积层中插入权重值为0的空洞，获得扩张率为d的空洞卷积层，设于所述各第一卷积激活层中，其中，按如下公式：

n＝k+(k-1)×(d-1) (1)

计算获得各空洞卷积层的卷积核大小n，其中，k表示预设基础卷积层的卷积核大小。

所述批归一化层基于预设批量长度m，针对其所接收输入数据x：φ＝{x

第一步，利用公式(2)计算所接收预设批量长度m训练数据的均值μ

第二步，利用公式(3)计算该预设批量长度m训练数据的方差

第三步，利用公式(4)对该预设批量长度m训练数据做归一化操作，得到0-1分布，其中ε为避免除数为0的预设微小正数。

第四步，利用公式(5)得到批归一化层的输出数据y

作为本发明的一种优选技术方案：所述各新型上采样层的工作结构为：分别接收对应子解码模块中经两个第二卷积激活层输出的特征图，并根据特征图的通道数C，进一步分别针对该特征图中的各个像素，获得像素对应特征图各通道下的像素值，构成该像素所对应的1×C像素值向量，并将其乘以大小为C×N的矩阵Q，获得该像素对应1×N的特征表示，最后针对该特征表示执行Rearrange处理，获得该像素对应2×2×N/4的特征表示，并结合特征图的高度H、宽度W，构成2H×2W×N/4的特征图；其中，N＝r×r×D，r×r表示掩膜图和新型上采样层所接收特征图尺寸大小的比值，D表示胸部CT样本图像所分割的胸肌类别数。

作为本发明的一种优选技术方案：所述矩阵Q按如下方式获得：

首先针对各胸部CT样本图像分别对应的掩膜图v，按如下公式：

将v转化为与编码器所获特征图相同维度上的特征图

然后采用标准随机梯度下降迭代优化方法，按如下公式：

通过最小化v和

作为本发明的一种优选技术方案：所述步骤C中，基于测试集，按精确率Precision、召回率Recall、Dice系数、以及交并比IoU，以及如下公式，针对胸肌识别模型进行评估；

其中，TP表示测试集的各胸部CT样本图像中被正确检测为正样本的像素数量；FP表示测试集的各胸部CT样本图像中被错误检测为正样本的像素数量；FN表示测试集的各胸部CT样本图像中被错误检测为负样本的像素数量；TN表示测试集的各胸部CT样本图像中被正确检测为负样本的像素数量，A表示测试集中各胸部CT样本图像分别经胸肌识别模型输出掩膜图的集合，B表示测试集中各胸部CT样本图像分别所对应样本掩膜图的集合。

本发明所述一种基于改进UNet模型的CT图像胸肌分割方法，采用以上技术方案与现有技术相比，具有以下技术效果：

本发明所设计基于改进UNet模型的CT图像胸肌分割方法，基于各胸部CT样本图像、以及各胸部CT样本图像对应标注各类型胸肌区域的掩膜图，构成样本集，针对由编码器与解码器构成的目标UNet神经网络模型进行训练，获得胸肌识别模型，进而针对待分析胸部CT图像，实现待分析胸部CT图像中各类型胸肌区域的识别；与传统的UNet模型相比，改进后的UNet模型在编码器中利用空洞卷积代替常规卷积操作，采用两种不同扩张率的空洞卷积交替操作，在保留胸肌局部区域细节特征信息的同时，增大卷积感受野，获取图像全局信息；并且在卷积层和池化层间增加批归一化层，提高网络收敛速度的同时缓解过拟合现象；最后在解码器中将传统的上采样模块换成DUpsampling结构，以此来充分捕获胸肌边缘的细节特征信息，从而提高现实复杂情况下CT图像胸肌定位分割的准确性及稳定性，减少使用传统UNet模型进行胸肌分割时存在的假阳与漏检等问题。

附图说明

图1是本发明设计中目标UNet神经网络模型的结构示意图；

图2是本发明设计中空洞卷积层结构图；

图3是本发明设计中DUpsampling层结构图；

图4是本发明设计中流程示意图；

图5是本发明设计实施例中胸部CT样本图像；

图6是本发明设计实施例中掩膜图；

图7是本发明设计实施例的网络模型训练过程图；

图8是本发明设计实施例中改进后的UNet模型与传统UNet模型胸肌分割结果对比图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

本发明所设计一种基于改进UNet模型的CT图像胸肌分割方法，实际应用当中，如图4所示，按如下步骤A至步骤B，获得胸肌识别模型。

步骤A.基于预设数量分别已知各类型胸肌区域的胸部CT样本图像，分别针对各胸部CT样本图像进行各类型胸肌区域的标注，构成各胸部CT样本图像分别所对应的样本掩膜图，由各胸部CT样本图像，以及其所对应的样本掩膜图，构成样本集，并按预设比例划分为训练集和测试集，然后进入步骤A-B。

上述步骤A在实际应用中，具体分别针对各胸部CT样本图像，根据胸部CT样本图像中已知的各类型胸肌区域，按如下标注标准，针对该胸部CT样本图像进行各类型胸肌区域的标注，构成该胸部CT样本图像所对应的样本掩膜图，进而获得各胸部CT样本图像分别所对应的样本掩膜图。

1)胸肌区域标注范围与胸廓外沿不重合，且避开骨头区域。

2)胸大肌与胸小肌之间分离处的轮廓以平滑线进行标注。

3)胸小肌下沿标注轮廓与其他组织(骨，软骨，淋巴结等)不相连。

实际应用当中，胸部CT样本图像如图5所示，生成相应的掩膜图如图6所示。其中胸肌区域掩膜值为1，背景部分掩膜值为0，CT图像和所有掩膜图大小均为512×512。

步骤A-B.分别针对各胸部CT样本图像，针对胸部CT样本图像、以及其所对应的样本掩膜图，执行包括预设幅度弹性变换、预设比例缩放、以及预设角度旋转的预设各图像变换操作，分别获得该各图像变换操作下扩展的胸部CT样本图像、以及其所对应扩展的样本掩膜图，进而获得各胸部CT样本图像分别对应该各图像变换操作下扩展的胸部CT样本图像、以及其所对应扩展的样本掩膜图，进而更新样本集，并按预设比例划分为训练集和测试集，然后进入步骤B。

实际应用中，诸如关于对各胸部CT样本图像和其所对应的掩膜图分别同时进行8次随机的小幅度弹性变换、缩放及旋转等数据增强操作，进而实施例中生成包含3272张胸部CT样本图像和3272张掩膜图的数据集，并按照4:1的比例随机划分为训练集及测试集，训练集包含2618张胸部CT样本图像和掩膜图，测试集包含654张胸部CT样本图像和掩膜图，所有训练集和测试集图像大小统一为512×512。扩充后的图像数据可以丰富样本特征的多样性，提高算法的鲁棒性和普适性。

步骤B.基于由编码器与解码器构成的目标UNet神经网络模型，以及训练集，以胸部CT样本图像为输入，胸部CT样本图像所对应样本掩膜图为输出，按图7所示，针对目标UNet神经网络模型进行训练，获得胸肌识别模型。

上述步骤B中由编码器与解码器构成的目标UNet神经网络模型的结构如下：

如图1所示，所述编码器包括至少一个子编码模块，实际应用中，编码器具体设计采用4个子编码模块，各个子编码模块的结构彼此相同，各个子编码模块分别均包括最大池化层、以及两个第一卷积激活层，其中，两个第一卷积激活层分别自其输入端至其输出端方向包括依次串联的空洞卷积层、批归一化层、激活层，且两个第一卷积激活层中空洞卷积层的扩张率彼此不同，包含小扩张率空洞卷积层的第一卷积激活层的输入端构成子编码模块的输入端，包含小扩张率空洞卷积层的第一卷积激活层的输出端对接包含大扩张率空洞卷积层的第一卷积激活层的的输入端，包含大扩张率空洞卷积层的第一卷积激活层的的输出端对接最大池化层的输入端，最大池化层的输出端构成子编码模块的输出端；各个子编码模块依次串联，且排序第一的子编码模块的输入端构成目标UNet神经网络模型的输入端。

具体来说，各子编码模块的两个第一卷积激活层中空洞卷积层采用d＝1和d＝2两种扩张率的3×3空洞卷积交替操作，步长均为1，采用padding＝same形式对卷积后的特征图上下左右补零，以保证卷积后输出特征图大小与输入特征图相同。其中d＝1空洞卷积等效的卷积核大小为3×3，可获取胸肌局部区域的细节特征信息，d＝2空洞卷积等效的卷积核大小为5×5，用于提取图像的全局信息，以防漏检；并且在空洞卷积层和最大池化层间增加批归一化层，网络的Batch Size设置为8，则在前向传播过程中，网络中每个节点都有8个输出。批归一化层就是对该层每个节点的这8个输出进行归一化后再输出，从而提高网络收敛速度的同时缓解过拟合现象；激活层采用ReLU修正线性单元进行激活操作，增加卷积层间的非线性关系。池化层采用最大池化函数，池化层的卷积核大小为2×2，池化操作能够对数据进行降维，输出特征图大小是输入特征图的一半。

其中，如图2所示，通过在预设基础卷积层中插入权重值为0的空洞，获得扩张率为d的空洞卷积层，用于设在所述各第一卷积激活层中，其中，按如下公式：

n＝k+(k-1)×(d-1) (1)

计算获得各空洞卷积层的卷积核大小n，其中，k表示预设基础卷积层的卷积核大小。

如图1所示，解码器包括末端卷积激活组、末端卷积分类层、以及与编码器中子编码模块数量一致的各个子解码模块，各个子解码模块的结构彼此相同，各个子解码模块分别均包括新型上采样层DUpsampling、以及两个第二卷积激活层，其中，两个第二卷积激活层分别自其输入端至其输出端方向包括依次串联的卷积层、批归一化层、激活层，两个第二卷积激活层彼此串联，且该串联结构的输入端构成子解码模块的输入端，该串联结构的输出端对接新型上采样层DUpsampling的输入端，新型上采样层DUpsampling的输出端构成子解码模块的输出端；各个子解码模块依次串联，且排序第一的子解码模块的输入端对接排序最后的子编码模块的输出端，末端卷积激活组的结构与各子解码模块中两个第二卷积激活层的串联结构相同，排序最后的子解码模块的输出端对接末端卷积激活组的输入端，末端卷积激活组的输出端对接末端卷积分类层的输入端，末端卷积分类层的输出端构成目标UNet神经网络模型的输出端。

顺序各子编码模块中包含大扩张率空洞卷积层的第一卷积激活层的输出端依次一一对应连接倒序各子解码模块的输出端。

实际应用中，所述批归一化层基于预设批量长度m，针对其所接收输入数据x：φ＝{x

第一步，利用公式(2)计算所接收预设批量长度m训练数据的均值μ

第二步，利用公式(3)计算该预设批量长度m训练数据的方差

第三步，利用公式(4)对该预设批量长度m训练数据做归一化操作，得到0-1分布，其中ε为避免除数为0的预设微小正数。

第四步，利用公式(5)得到批归一化层的输出数据y

并且关于新型上采样层DUpsampling，实际应用中，如图3所示，各新型上采样层DUpsampling的工作结构为：分别接收对应子解码模块中经两个第二卷积激活层输出的特征图，并根据特征图的通道数C，进一步分别针对该特征图中的各个像素，获得像素对应特征图各通道下的像素值，构成该像素所对应的1×C像素值向量，并将其乘以大小为C×N的矩阵Q，获得该像素对应1×N的特征表示，最后针对该特征表示执行Rearrange处理，获得该像素对应2×2×N/4的特征表示，并结合特征图的高度H、宽度W，构成2H×2W×N/4的特征图；其中，N＝r×r×D，r×r表示掩膜图和新型上采样层DUpsampling所接收特征图尺寸大小的比值，D表示胸部CT样本图像所分割的胸肌类别数。

并且关于矩阵Q，按如下方式获得：

首先针对各胸部CT样本图像分别对应的掩膜图v，按如下公式：

将v转化为与编码器所获特征图相同维度上的特征图

然后采用标准随机梯度下降迭代优化方法，按如下公式：

通过最小化v和

实际应用中，新型上采样层DUpsampling过程本质上等同于在空间维度应用1×1卷积，上采样操作后输出特征图的大小是输入特征图的2倍。传统的分割网络仅在最后的Softmax层计算预测结果与真值图像之间的损失，但DUpsampling结构在上采样部分就提前计算特征图与真值图像之间的损失，再通过反向传播使解码层中的低分辨率特征图融入高层次语义特征，通过跳跃连接能够融合浅层与深层的图像特征信息，从而获取更多胸肌边缘的细节特征信息，有助于提高网络模型的分割精度。

实际应用中，关于针对目标UNet神经网络模型进行训练，按图7所示执行，并且诸如应用训练集样本包含2618张胸部CT样本图像和掩膜图，大小统一为512×512。使用FocalTversky Loss作为损失函数进行训练，Focal Tversky Loss结合了Focal Loss和TverskyLoss两种损失函数的特点，在网络反向传播过程中能够对难以学习的样本进行稳定且有针对的优化，从而提高现实复杂情况下胸肌分割的精度，并且本实施例中采用收敛速度较快的Adam训练算法进行优化，除学习速率外其余参数采用默认设置。其中，Batch Size设置为8，初始学习率设置为0.001，动量参数设置为0.9。

按图7所示，利用训练集的图像数据对构建的目标UNet神经网络模型进行训练包括两个阶段。第一阶段是前向传播，输入的胸部CT样本图像数据经过卷积和池化操作，提取特征向量，最终得到输出的分割结果。第二阶段是反向传播，当第一阶段输出的分割结果与真值图像不符时，将输出的预测值与真值之间的误差反向传播，从而更新网络中的权值和偏置，其中计算误差的函数就是Focal Tversky Loss。通过多次前向传播和反向传播的迭代训练，得到误差符合期望的网络模型，从而停止训练，保存生成的模型。本实施例中共计迭代100次，得到了分割网络模型。

实际应用中，执行完步骤B之后，进一步设计进入步骤C。

步骤C.基于测试集，按预设各评估指标，针对胸肌识别模型进行评估。

实际应用中，上述步骤C中，基于测试集，按精确率Precision、召回率Recall、Dice系数、以及交并比IoU，以及如下公式，针对胸肌识别模型进行评估；

其中，TP表示测试集的各胸部CT样本图像中被正确检测为正样本的像素数量；FP表示测试集的各胸部CT样本图像中被错误检测为正样本的像素数量；FN表示测试集的各胸部CT样本图像中被错误检测为负样本的像素数量；TN表示测试集的各胸部CT样本图像中被正确检测为负样本的像素数量，A表示测试集中各胸部CT样本图像分别经胸肌识别模型输出掩膜图的集合，B表示测试集中各胸部CT样本图像分别所对应样本掩膜图的集合；其中，Dice系数和交并比IoU的取值范围均为[0，1]，Dice系数和交并比IoU越大，表明本发明分割结果与真值图像越相似，改进训练后胸肌识别模型的胸肌分割性能越好。

上述步骤C实际应用当中，诸如实施例中测试集样本包含654张胸部CT样本图像和掩膜图，大小统一为512×512，具体按精确率Precision、召回率Recall、Dice系数、以及交并比IoU，针对胸肌识别模型进行评估，

基于改进后UNet神经网络模型的胸肌识别模型的胸肌分割结果与传统UNet模型分割结果对比如图8所示。从图上可以看出，相比传统的UNet模型，改进后UNet神经网络模型的胸肌识别模型的胸肌分割准确性更高，减少了使用传统UNet模型进行胸肌分割时存在的假阳等问题；并且由表1列出了本发明所使用的改进后UNet模型与传统UNet模型的测试结果，从表1中可以看出，基于改进后UNet神经网络模型的胸肌识别模型的精确率Precision、召回率Recall、Dice系数、以及交并比IoU分别为95.54％，95.51％，95.49％及91.53％，这4项指标上的表现均优于传统UNet模型，进一步表明了相比传统的UNet模型，基于改进后UNet神经网络模型的胸肌识别模型的胸肌分割性能更优，从而说明了本发明的有效性。

表1

在实际应用中，进一步基于胸肌识别模型的获得，应用胸肌识别模型，针对待分析胸部CT图像，实现待分析胸部CT图像中各类型胸肌区域的识别。

上述技术方案所所设计基于改进UNet模型的CT图像胸肌分割方法，基于各胸部CT样本图像、以及各胸部CT样本图像对应标注各类型胸肌区域的掩膜图，构成样本集，针对由编码器与解码器构成的目标UNet神经网络模型进行训练，获得胸肌识别模型，进而针对待分析胸部CT图像，实现待分析胸部CT图像中各类型胸肌区域的识别；与传统的UNet模型相比，改进后的UNet模型在编码器中利用空洞卷积代替常规卷积操作，采用两种不同扩张率的空洞卷积交替操作，在保留胸肌局部区域细节特征信息的同时，增大卷积感受野，获取图像全局信息；并且在卷积层和池化层间增加批归一化层，提高网络收敛速度的同时缓解过拟合现象；最后在解码器中将传统的上采样模块换成DUpsampling结构，以此来充分捕获胸肌边缘的细节特征信息，从而提高现实复杂情况下CT图像胸肌定位分割的准确性及稳定性，减少使用传统UNet模型进行胸肌分割时存在的假阳与漏检等问题。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。