基于边界及邻域引导的医学图像分割方法及系统

摘要

本发明公开了一种基于边界及邻域引导的医学图像分割方法，包括以下步骤：1)对原始医学图像数据进行预处理，形成训练数据集；2)构建U型基线分割网络；3)构建边界及邻域引导模块；4)构建多尺度自适应选择模块；5)构建边界及邻域引导分割网络；6)对边界及邻域引导分割网络进行训练；7)对待处理的医学图像进行病变区域自动分割。本发明通过使用边界及邻域引导模块来提高网络对病变邻域区域的关注度，能充分地提取病变区域的边界及邻域信息，使用多尺度自适应选择模块来获取多尺度的上下文信息并探索一种最有效的融合方式，通过结合边界及邻域引导模块和多尺度自适应选择模块能有效提高全卷积神经网络在医学图像分割处理上的性能。

说明书

技术领域

本发明涉及图像处理领域，特别涉及一种基于边界及邻域引导的医学图像分割方法及系统。

背景技术

医学图像的自动分割是医学图像分析的基础，也是计算机辅助诊断的关键一步。如消化道内窥镜图像的息肉分割，以及皮肤镜图像的病变区域分割。分割区域的形状、外观及位置对胃肠道及皮肤疾病的早期诊断具有重要意义。虽然基于全卷积神经网络的方法在许多医学图像分割任务中取得了优异的性能，但是由于病变区域与周围组织对比度低，存在边界模糊/缺失、形状多变，大小不一等问题，病变区域的准确分割仍然存在挑战。因此，值得去研究设计一种通用的医学图像分割方法。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于边界及邻域引导的医学图像分割方法及系统。

为解决上述技术问题，本发明采用的技术方案是：提供一种基于边界及邻域引导的医学图像分割方法，包括以下步骤：

1)对采集的原始医学图像数据进行预处理，形成训练数据集；

2)构建U型基线分割网络；

3)构建边界及邻域引导模块；

4)构建多尺度自适应选择模块；

5)通过将所述边界及邻域引导模块、多尺度自适应选择模块插入所述U型基线分割网络中，构建得到边界及邻域引导分割网络；

6)利用所述训练数据集对所述边界及邻域引导分割网络进行训练；

7)利用训练后的边界及邻域引导分割网络对待处理的医学图像进行病变区域自动分割。

优选的是，所述步骤1)中采集的医学图像包括消化道内窥镜图像的息肉分割数据集和皮肤镜图像的病变区域分割数据集；其中，预处理包括图像尺寸调整、像素值归一化处理以及图像增强处理；

所述U型基线分割网络包括编码单元和解码单元，所述编码单元为残差网络ResNet50。

优选的是，所述边界及邻域引导模块包括邻域引导单元和形状感知单元；

所述邻域引导单元用于引导整个边界及邻域引导分割网络关注病变区域的邻域区域，处理方法为：所述邻域引导单元利用提取到的原始特征图预测得到一个邻域概率图，使用相对应尺度的邻域图金标准与该邻域概率图计算损失，得到误差并反向传播更新特征图，进一步得到更准确的邻域概率图；然后使用邻域概率图与原始特征图相乘，得到邻域区域加强的特征图；

所述形状感知单元用于引导整个边界及邻域引导分割网络关注病变区域的边界区域，处理方法为：所述形状感知单元利用提取到的原始特征图预测得到一个边界概率图，使用相对应尺度的边界图金标准与该边界概率图计算损失，得到误差并反向传播更新特征图，进一步得到更准确的边界概率图；然后将原始特征图、邻域区域加强的特征图和边界概率图相加，得到边界及邻域均加强后的特征图，并作为输出。

优选的是，其中，边界概率图和邻域概率图中使用的损失函数分别定义为：

L

L

其中，P

优选的是，所述多尺度自适应选择模块包括3个扩张率不同的空洞卷积块、1×1卷积层、全局平均池化层、1个一维通道注意力层和残差连接层；

所述多尺度自适应选择模块的处理方法为：

针对输入的图像，通过3个扩张率不同的空洞卷积块捕捉不同尺度的上下文信息，然后把三个尺度的特征在通道维度连接起来，使用1×1卷积层来融合不同尺度的特征，得到融合的特征图；

基于融合的特征图，通过全局平均池化层聚合每个通道的特征图的空间信息，生成通道维度的向量；

通过一维通道注意力层建立不同尺度的特征图之间的通道依赖关系的模型，从而生成各通道的权重；然后将通道的权重与不同尺度的特征图相乘，得到的结果再通过残差连接层与输入的图像相加，得到融合有不同尺度上下文信息的特征图。

优选的是，所述步骤5)具体包括：

在所述U型基线分割网络的编码单元中插入1个所述边界及邻域引导模块，在所述U型基线分割网络的解码单元中插入2个所述边界及邻域引导模块，在所述编码单元和解码单元的连接处插入1个所述多尺度自适应选择模块。

优选的是，所述步骤6)具体包括：将训练数据集、针对原始医学图像数据的分割金标准、边界图金标准和邻域图金标准输入边界及邻域引导分割网络中进行训练，将边界及邻域引导分割网络与边界及邻域引导模块两部分的损失之和作为最终的总损失函数，反向传播更新参数，引导整个网络的优化，获得训练后的边界及邻域引导分割网络；

其中的总损失函数定义为：

L

其中，L

本发明还提供一种基于边界及邻域引导的医学图像分割系统，其采用如上所述的方法进行医学图像病变区域的分割。

本发明还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现如上所述的方法。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明的有益效果是：

本发明通过使用边界及邻域引导模块来提高网络对病变邻域区域的关注度，能充分地提取病变区域的边界及邻域信息，本发明使用多尺度自适应选择模块来获取多尺度的上下文信息并探索一种最有效的融合方式，通过结合边界及邻域引导模块和多尺度自适应选择模块能有效提高全卷积神经网络在医学图像分割处理上的性能；

本发明充分地利用了边界及邻域信息，能够很好地解决医学图像分割任务中普遍存在的弱边界问题，可实现多种医学图像的准确分割。

附图说明

图1为本发明的实施例中的基于边界及邻域引导的医学图像分割方法的流程图；

图2为本发明的实施例中的边界及邻域引导分割网络的架构图；

图3为本发明的实施例中对皮肤镜图像的分割结果；

图4为本发明的实施例中内窥镜图像的分割结果；

图5为本发明的实施例中对病灶边界模糊的图像的分割结果；

图6为本发明的实施例中的常规的残差网络ResNet50的架构图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

参照图1，本实施例的一种基于边界及邻域引导的医学图像分割方法，包括以下步骤：

S1、对采集的原始医学图像数据进行预处理，形成训练数据集

本实施例中采集了两个医学图像数据集：消化道内窥镜图像的息肉分割数据集和皮肤镜图像的病变区域分割数据集，并对其进行包括图像尺寸调整、像素值归一化处理以及图像增强处理在内的预处理操作。皮肤镜图像的病变区域分割图像的尺寸从540×576到6688×6780大小不一，消化道内窥镜图像的息肉分割图像的尺寸为384×288，为了加快网络的读取速度与计算效率，将两个数据集的图像尺寸全部调整为192×256，同时保持图像原有的长宽比，并且将RGB三个通道的像素值从0-255归一化到0-1之间。其中，数据增强处理使用：随机水平翻转、垂直翻转，随机-90度到90度旋转等在线数据增强方法。

S2、构建U型基线分割网络

本实施例通过对常规UNet网络进行改进，得到了U型基线分割网络。UNet网络为包括编码单元、解码单元的“U”字型网络；常规UNet网络的编码单元是由一系列的卷积层、批归一化层、非线性激活函数Relu以及最大池化层构成，解码单元是由多个反卷积层和卷积层构成。本实施例中，UNet网络的编码单元保持不变，仅对UNet网络的解码单元进行改进，具体为：使用残差网络ResNet50代替UNet网络的解码单元。参照图6，常规的残差网络ResNet50由一个7×7卷积层(Conv7×7)、四个基于残差连接的卷积块(Block1、Block2、Block3、Block4)和最后的全连接层(FC)构成。经过第一个7×7卷积层和每个卷积块后，图像的尺寸都会相应的变为之前的1/2。为了兼容性以及保持更多高分辨率的细节信息，本实施例中，将ResNet50的第一个7×7卷积层替换为两个保持尺寸的3×3卷积层，并移去了最后的全连接层，这样可以提升最终获得的U型基线分割网络的特征提取能力并且可以避免梯度消失和梯度爆炸现象。

S3、构建边界及邻域引导模块

本实施例中，通过构建边界及邻域引导模块来充分利用病变区域的边界及邻域信息来提升分割网络的准确度。其中，边界及邻域引导模块包括邻域引导单元和形状感知单元；

邻域引导单元用于引导整个边界及邻域引导分割网络关注病变区域的邻域区域，处理方法为：邻域引导单元利用提取到的原始特征图预测得到一个邻域概率图，使用相对应尺度的邻域图金标准与该邻域概率图计算损失，得到误差并反向传播更新特征图，进一步得到更准确的邻域概率图；然后使用邻域概率图与原始特征图相乘，得到邻域区域加强的特征图；

形状感知单元用于引导整个边界及邻域引导分割网络关注病变区域的边界区域，处理方法为：形状感知单元利用提取到的原始特征图预测得到一个边界概率图，使用相对应尺度的边界图金标准与该边界概率图计算损失，得到误差并反向传播更新特征图，进一步得到更准确的边界概率图；然后将原始特征图、邻域区域加强的特征图和边界概率图相加，得到边界及邻域均加强后的特征图，并作为输出。

其中，边界概率图和邻域概率图中使用的损失函数分别定义为：

L

L

其中，P

本实施例中，通过在整个分割网络框架中使用了多个边界及邻域引导模块，能够在多个阶段充分地挖掘、利用病变区域的边界及邻域信息，并建立长期的依赖关系，提高分割结果在边界模糊区域的准确度。

S4、构建多尺度自适应选择模块

本实施例中通过构建多尺度自适应选择模块来充分捕获多尺度的上下文信息并探索一种有效的多尺度信息融合方式。多尺度自适应选择模块包括3个扩张率不同的空洞卷积块、1×1卷积层、全局平均池化层、1个一维通道注意力层和残差连接层。

其中，多尺度自适应选择模块的处理方法为：

针对输入的图像，通过3个扩张率不同的空洞卷积块捕捉不同尺度的上下文信息，然后把三个尺度的特征在通道维度连接起来，使用1×1卷积层来融合不同尺度的特征，得到融合的特征图；

基于融合的特征图，通过全局平均池化层聚合每个通道的特征图的空间信息，生成通道维度的向量；

通过一维通道注意力层建立不同尺度的特征图之间的通道依赖关系的模型，从而生成各通道的权重；然后将通道的权重与不同尺度的特征图相乘，得到的结果再通过残差连接层与输入的图像相加，得到融合有不同尺度上下文信息的特征图。

其中，一维通道注意力层不仅能够有效降低参数量，还能够保证充分的局部跨通道交互，显著提升模型的性能。

本实施例中，通过设计多尺度自适应选择模块，并放置在U型基线分割网络的编码单元与单元中间，通过自学习来更新参数，探索更有效的多尺度上下文信息融合方式。

S5、通过将边界及邻域引导模块、多尺度自适应选择模块插入U型基线分割网络中，构建得到边界及邻域引导分割网络

为了在整个网络的多个阶段充分地提取边界及邻域信息，本实施例使用了三个边界及邻域引导模块，在U型基线分割网络的编码单元中插入1个边界及邻域引导模块，在U型基线分割网络的解码单元中插入2个边界及邻域引导模块，多个边界及邻域引导模块能够建模长期的依赖关系，引导着整个分割网络逐渐地关注病灶边界及邻域信息，利用邻域内的空间及纹理信息来获取更加准确的病灶边界。

多尺度自适应选择模块设置在编码单元和解码单元的连接处，其能够捕捉多尺度的上下文信息，提升网络的识别能力。并且多尺度自适应选择模块引入了一个先进的一维通道注意力层，能够自适应地衡量不同尺度特征对最终分割结果的贡献，探索、寻找到一种最有效的多尺度融合方式。多尺度自适应选择模块通过自学习更新参数，引导整个分割网络的优化。

参照图2为边界及邻域引导分割网络的架构图。

S6、利用训练数据集对边界及邻域引导分割网络进行训练

具体方法为：将训练数据集、针对原始医学图像数据的分割金标准、边界图金标准和邻域图金标准输入边界及邻域引导分割网络中进行训练，将边界及邻域引导分割网络与边界及邻域引导模块两部分的损失之和作为最终的总损失函数，反向传播更新参数，引导整个网络的优化，获得训练后的边界及邻域引导分割网络；

其中的总损失函数定义为：

L

其中，L

S7、利用训练后的边界及邻域引导分割网络对待处理的医学图像进行病变区域自动分割

对待处理的医学图像进行处理时，只需输入待处理图片，不需要输入针对原始医学图像数据的分割金标准、边界图金标准与邻域图金标准，边界及邻域引导分割网络会自动根据测试图片，分割出病灶区域。

参照图3为利用实施例1的方法对皮肤镜图像的分割结果，参照图4为利用实施例1的方法对内窥镜图像的分割结果，从图3和图4的结果可以看出，实施例1的分割结果与金标准基本接近。参照图5为利用实施例1的方法对病灶边界模糊的图像的分割结果，可以看出，实施例1的方法在病灶边界模糊处有着很高的精度。

本实施例还提供一种基于边界及邻域引导的医学图像分割系统，其采用如实施例1的方法进行医学图像病变区域的分割。

本实施例还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。

本实施例还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例1的方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。