一种基于先验形状约束的BCA-UNet肝脏分割方法

摘要

本发明涉及计算机视觉技术领域，具体涉及一种基于先验形状约束的BCA‑UNet肝脏分割方法，包括以下步骤：输入肝脏CT图像，对肝脏CT图像进行预处理，得到预处理后的肝脏CT图像，将预处理后的肝脏CT图像输入训练好的肝脏分割模型中，得到肝脏分割结果。本发明采用优化的主动轮廓损失函数计算高维特征的损失，融合两个网络中间特征作为下一层注意力信号，用于约束分割网络(BCA‑UNet)，误差反向传播逐层优化，避免了边缘轮廓的丢失。此外，本发明的肝脏分割模型对图像边缘轮廓较敏感，提高了分割的精度，缩小了表面距离误差。

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于先验形状约束的 BCA-UNet肝脏分割方法。

背景技术

准确地肝脏分割在临床应用中至关重要，比如肝脏疾病的病理诊断、手术 计划和术后评估。但肝脏分割仍然是一项具有挑战性的任务。首先，肝脏图像 存在边缘模糊、灰度不均等问题；其次，基于深度卷积神经网络的肝脏分割， 存在池化运算和叠加的卷积运算造成的肝脏边缘轮廓信息丢失问题。最后，三 维肝脏数据分割方法存在消耗大计算资源的问题。

现有的肝脏分割方法可以分为基于模型驱动的传统方法和基于数据驱动的 深度学习方法。基于模型驱动的传统分割方法的主要思想是：通过构建能量模 型，设置初始轮廓，循环迭代，从而得到较好的分割结果。其具有代表性的方 法是基于水平集的肝脏分割方法。基于水平集的分割方法通过与活动轮廓模型 相结合，再通过求解模型的偏微分方程，完成肝脏轮廓的分割。随着数据量的 增加，深度学习在肝脏图像分割上日益引起研究者的关注。基于数据驱动的深 度学习方法的主要思想是：通过构建分割网络，使用数据进行训练、测试，便 可得到分割结果。其具有代表性的方法有： Unet,H-DenseUnet,BCDU-Net,Bottleneck feature Supervised U-Net network等。由 于肝脏图像存在边缘模糊、灰度不均等问题，使用经典的Unet二维分割网络对 上下文信息丢失问题有所改善，但是仍存在空间信息提取不充分问题。相比之 下，ConvLSTM与Unet相结合，利用ConvLSTM结构中的记忆单元，存储网络 中的信息，在一定程度上解决了空间信息丢失问题,但是会面临图像信息的冗余。 2017年，相关文章出现Attention Gate结构与Unet相结合的方法，因其网络参 数量小，分割步骤简单，能缓解信息冗余的方法。2018年，相关文章出现ConvLSTM与Unet集成的方法，能有效学习图像全局信息与局部信息的完整性。 因此，将AttentionGate以及ConvLSTM与Unet集成以分层的方式学习上下文 信息的研究思路受到了关注。此外，自编码网络能将图像高维空间隐藏的信息 映射到低维空间，从而能表达全局信息。近年来，一些研究者将自编码网络用 于抽取形状特征，作为形状先验知识，与分割网络相结合，通过损失函数最小 化反向传播误差，在一定程度上解决了边缘轮廓模糊问题。针对待分割图像与 周围组织存在的灰度不均匀、边缘模糊等挑战性问题，基于深度学习的分割方法虽然提出了许多改进思路，但边缘轮廓丢失问题依然是一个挑战性的难题。

发明内容

为了解决上述问题，本发明针对现有的Unet网络肝脏分割方法中存在的特 征信息提取不充分、肝脏边缘轮廓模糊等缺陷，提供一种基于先验形状约束的 BCA-UNet肝脏分割方法。

一种基于先验形状约束的BCA-UNet肝脏分割方法，包括以下步骤：输入 肝脏CT图像，对肝脏CT图像进行预处理，得到预处理后的肝脏CT图像，将 预处理后的肝脏CT图像输入训练好的边缘敏感特征融合的肝脏分割模型中，得 到肝脏分割结果。所述边缘敏感特征融合的肝脏分割模型先训练后使用，训练 过程包括：

S1、利用Xavier方法初始化BCA-UNet网络；

S2、将预处理后的肝脏CT图像输入肝脏分割模型中，在主分割网络中经过 7个卷积层和3个池化层进行特征提取，最终得到肝脏序列数据的第一高维特征； 在先验形状约束网络中抽取肝脏CT图像的形状信息，提取第二高维特征；

S3、将主分割网络提取的第一高维特征与先验形状约束网络提取的第二高 维特征进行融合，得到融合结果，即特征图；

S4、将特征图输入到主分割网络中进行肝脏分割网络的参数训练，具体地， 将第一高维特征输入一个分支经过3个双向卷积长短期记忆模块，得到第一预 测结果pred1，即pred1←BC-UNet(I

S5、根据第一预测结果pred1、第二预测结果pred2和标签图像G

S6、基于混合损失函数L

进一步的，所述预处理包括：

S01、使用HU值对灰度值进行调整变换去除不相关组织；

S02、使用MIN_MAX Scaling对肝脏CT图像进行归一化，归一化公式为：

其中，X是像素值，X

S03、对输入肝脏CT图像进行数据增广。

进一步的，所述边缘敏感特征融合的肝脏分割模型包括主分割网络和先验 形状约束网络，其中主分割网络采用基于双向卷积长短期记忆模块的神经网络 BCA-UNet，主分割网络中包括7个卷积层、3个池化层、3个双向卷积长短期 记忆模块；先验形状约束网络采用基于自编码的神经网络，先验形状约束网络 包括4个卷积块，4个反卷积块。

进一步的，BCA-UNet包括两个分支：BC-Unet分支和BCA-UNet分支，其 中，BC-Unet分支表示没有经过注意力机制处理的双向卷积长短期记忆网络分支， BCA-UNet分支表示经过注意力机制处理的双向卷积长短期记忆网络分支。

进一步的，肝脏分割模型预测肝脏分割结果的计算表达式为：

其中，Y表示预测的肝脏分割结果，n为测试图像的数量，W

进一步的，混合损失函数L

L

其中，L

进一步的，步骤S3中的融合方式采用L

其中，L

进一步的，步骤S6中，基于混合损失函数L

S61、计算总损失L

S62、利用Adam优化器更新肝脏分割模型的参数W

S621、计算t时间步的梯度g

S622、计算梯度的指数移动平均数，m

S623、计算梯度平方的指数移动平均数，v

S624、对梯度均值进行偏差纠正，纠正公式为：

S625、更新参数，即

S63、计算参数

S64、多次迭代进行上述的参数优化过程，当网络收敛到使得总损失(L

本发明的有益效果：

本发明方法通过优化的主动轮廓损失函数计算Shape-Net和BCA-UNet网络 高维特征的损失，融合两个网络中间特征作为下一层注意力信号，用于约束分 割网络(BCA-UNet)，误差反向传播逐层优化，避免了边缘轮廓的丢失。此外， 先验形状约束网络借鉴了自编码网络中的特征映射思想，对图像进行编码，获 得隐藏的空间信息。紧接着通过主动轮廓损失中的长度项与面积项计算向外一 侧轮廓与向内一侧轮廓的差值达到全局最小化，改进的主动轮廓损失函数增加 了二范数项用于计算相似度，弥补了主动轮廓损失，特征图中间像素约束丢失 的缺陷。整个过程对图像边缘轮廓较敏感，算法提高了分割的精度，缩小了表 面距离误差。

附图说明

下面结合附图和具体实施方式对本发明做进一步详细的说明。

图1为本发明提供优选实施例提供的种基于先验形状约束的BCA-UNet肝 脏分割方法流程图；

图2为本发明实施例构建的一种网络框架图；

图3为本发明实施例的一种形状约束的过程图；

图4为本发明实施例提供的图像边缘损失程度展示图；

图5为本发明实施例提供的一种损失函数权值对dice指标的变化影响图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本实施例提供的一种基于先验形状约束的BCA-UNet肝脏分 割方法流程图，包括但不限于如下步骤：

S1、输入肝脏CT图像，对肝脏CT图像进行预处理，得到预处理后的肝脏 CT图像。

预处理的实施过程包括：

S11、使用HU值对灰度值进行调整变换去除不相关组织：HU值范围调整 为[-150,250]；

S12、使用MIN_MAX Scaling对肝脏CT图像进行归一化，使得网络更快收 敛。归一化公式为：

其中，X是像素值，X

S13、对输入肝脏CT图像进行数据增广，包括采用旋转、缩放、裁剪等方 式同时处理CT图像及其对应的标签。

S2、将预处理后的肝脏CT图像输入训练好的肝脏分割模型中，得到肝脏分 割结果。

预处理后的肝脏CT图像中包括肝脏序列数据I和肝脏序列数据I对应的标 签图像G。

训练好的肝脏分割模型中保留了训练过程中训练的最优参数，可以直接使 用并能够直接输出较好的肝脏分割结果，使用方法是：将待分割的肝脏图像 T

其中，Y表示预测的肝脏分割结果，n为测试图像的数量。

如图2所示为本实施例提供的网络框架图，边缘敏感特征融合的肝脏分割 模型的训练过程包括但不限于如下步骤：

边缘敏感特征融合的肝脏分割网络(CFNet)中包括主分割网络和先验形状 约束网络Shape-Net，主分割网络采用基于双向卷积长短期记忆模块 (BidirectionalConvolution Long Short Term Memorys，Bidirectional ConvLSTM) 的神经网络(简称BCA-UNet)；主分割网络中包括7个卷积层、3个池化层、3 个双向卷积长短记忆模块；先验形状约束网络Shape-Net采用基于自编码的神经 网络，先验形状约束网络包括4个卷积块，4个反卷积块。

将预处理后的肝脏CT图像输入到BCA-UNet网络中进行训练，同时在先验 形状约束网络Shape-Net网络的约束下不断优化分割结果，最终得到训练好的肝 脏分割模型。

在下面的实施例中，BC-UNet网络表示没有经过注意力机制处理的双向卷 积长短期记忆网络，BCA-UNet网络表示经过注意力机制处理的双向卷积长短期 记忆网络。

边缘敏感特征融合的肝脏分割模型的具体训练实施过程如下所示：

S1、利用Xavier方法初始化BCA-UNet网络，设置网络训练的最大迭代次 数Epoch，设置批大小Batch，学习率lr，迭代次数Loop设置为从0开始；

S2、向初始化的BCA-UNet网络输入图像分割对(I,G)，其中，I表示肝脏 序列数据，用I

具体地，使用MIN_MAX Scaling对I

S3、归一化后的肝脏序列数据I

将标签图像G

将BCA-UNet网络提取的高维特征A'与Shape-Net网络的形状特征B'进行 融合，输出特征图。融合的过程避免了肝脏图像在分割时边缘轮廓的丢失，缩 小了与标准分割图像的表面距离误差。

如图3所示为本实验实施例提供的形状约束过程图，Shape-Net先验形状约 束网络高维的隐藏空间Z

进一步的，在一个实施例中，融合方法可以通过L

min(L

其中，L

改进的主动轮廓损失函数L

S31、BCA-UNet网络输出的高维特征图像为A'，Shape-Net网络输出的形状 特征图像为B'，图像A'中坐标(i,j)像素点，水平方向像素值为

其中，

S32、分别计算BCA-Unet网络输出的高维特征图像A'与Shape-Net网络输 出的形状特征图像B'边缘面积的差的最小值，

其中C

S33、构建一个二范数项Euclidean，

其中，BCA-UNet网络输出的高维特征图像像素值A'

S34、根据公式(2)(3)(4)得到新的函数，即改进的主动轮廓损失函数L

其中，Boundary表示肝脏图像边缘长度的最小值，Region表示图像区域边缘 轮廓面积的最小值，Euclidean表示BCA-UNet网络输出的高维特征图像与 Shape-Net网络输出的形状特征图像的距离大小，参数λ用于权衡肝脏边缘轮廓 与Shape-Net网络输出的形状特征图像的吻合程度，参数μ用于指导肝脏轮廓区 域与Shape-Net网络输出的形状特征图像轮廓区域的匹配度。

S4、将步骤S3得到的特征图前向传输到BCA-UNet网络中，进行肝脏分割 网络的参数训练：BCA-UNet网络中包括两个分支：BC-Unet分支和BCA-UNet 分支，其中，BC-Unet分支表示没有经过注意力机制处理的双向卷积长短期记忆 网络分支，BCA-UNet分支表示经过注意力机制处理的双向卷积长短期记忆网络 分支。将步骤S3中的第一高维特征图输入BC-Unet分支经过3个双向卷积长短 期记忆模块(每个双向卷积长短期记忆模块中包含3个反卷积层和7个卷积层)， 得到第一预测结果pred1，即pred1←BC-UNet(I

进一步的，在一个实施例中，BCA-UNet分支中的注意力机制模块基于 AttentionGate实现，根据输入图像X

S5、根据第一预测结果pred1、第二预测结果pred2和标签图像G

其中，L

S6、基于混合损失函数L

第一步，计算总损失(L

其中，L

第二步，利用Adam优化器更新肝脏分割模型的参数W

第三步，计算参数

多次迭代进行上述的参数优化过程，当网络收敛到使得总损失(L

为了验证本发明的效果，进行了以下实验：

实验数据库：LiTS、3DIRCADb、CHAOS.

实验方法：

1)在LiTS数据库上，使用带标签的数据集130例。其中以105例数据 作为训练集，剩下的25例作为测试集，测试了分割结果中的重叠率与表面体积 误差。分别在UNet、UNet+Bidirectional ConvLSTM(UNetBi)、UNet+Attention Gate(UNetAtten)、UNet+Bidirectional ConvLSTM+Attention Gate(U NetBiAtten)、UNet+BidirectionalConvLSTM+Attention Gate+ShapeNet (UNetBiAtten+ShapeNet)模块下的训练结果进行比较，对比结果如表1所 示，可以看出，本发明在模块UNetBiAtten+ShapeNet下，表面距离误差的 指标上有优势，但是均方根对称表面距离误差仍然较大。

表1各个模块在LiTS数据集上的误差对比

2)在3DIRCADb数据集上，以18例带标注的数据集作为训练集，2 例作为测试集，计算分割结果中重叠率与表面体积误差。分别在UNet、U Net+Bidirectional ConvLSTM(UNetBi)、UNet+Attention Gate(UNetAtten)、 UNet+Bidirectional ConvLSTM+Attention Gate(UNetBiAtten)、UNet+Bi directional ConvLSTM+Attention Gate+ShapeNet(UNetBiAtten+ShapeN et)模块下的训练结果进行比较，对比结果如表2，可以看出，本发明误差 在缩小。

表2各个模块在3DIRCADb数据集上误差对比

3)为了验证本发明中损失函数的权值对Dice指标的影响，在CHA OS数据集上，分别取(0,1)区间内的值α＝0.1,0.3,0.5对应β＝0.9,0.7,0.5对 网络训练结果的影响，如附图5所示为本实施例提供的一种损失函数权值 对dice指标的变化影响图，由实验结果Dice指标验证取值优选为α＝0.3， β＝0.7。

需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全 部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序 可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法 实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术 人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例 进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物 限定。