一种基于深度学习的CT序列图像肝脏肿瘤分割方法

摘要

本发明公开了一种基于深度学习的CT序列图像肝脏肿瘤分割方法，主要包括：(1)构建基于空洞空间金字塔卷积的U型2D卷积网络，并利用该网络分别从矢状面、冠状面和横切面三个视图方向对CT序列图像进行二维切片分割；(2)采用轻量级的3D卷积网络对不同视图方向获取的分割结果进行融合，获取CT序列各像素属于目标的概率及CT序列肝脏肿瘤三维分割结果；(3)根据所获取的概率和三维分割结果，构建图割能量函数，进一步优化分割结果。本发明通过结合2D、3D卷积网络以及图割算法，可在轻量化网络的情况下，有效提取CT序列的三维空间信息，提高肝脏肿瘤分割精度。

说明书

技术领域

本发明涉及医学图像处理技术领域，特别涉及一种基于深度学习的CT序列图像肝脏肿瘤分割方法。

背景技术

肝癌已经成为严重危害我国人民身体健康的癌症之一。据国家癌症中心数据显示，我国肝癌发病率在所有恶性肿瘤中排第5，且死亡率高居第2位。肝癌的早诊断、早分期和早治疗对于提高患者生存率和生活质量起着至关重要的作用。计算机断层扫描(Computed Tomography,CT)成像具有分辨率高、速度快、成本低等优点，被广泛应用于肝脏肿瘤的临床诊断。CT序列图像中的肝脏肿瘤区域的精确分割是进行肝癌计算机辅助诊疗的重要基础。肿瘤医师可根据分割结果获取肿瘤大小、形状、位置等详细信息，为患者制定合适的治疗方案。目前临床上，肝脏肿瘤分割通常由专业人员手动分割完成。由于CT扫描生成的切片数量巨大，手动分割耗时耗力，且分割结果质量高度取决于操作者的经验。因此，亟需开发腹部CT序列图像肝脏肿瘤区域的自动精确分割方法。

CT图像中肝脏肿瘤具有对比度低、边界模糊、形状不规则等特点，传统分割方法，如阈值、区域生长、水平集、图割等，通常需要人工交互，难以实现肿瘤的自动分割。近年来，随着人工智能技术在智能医疗领域的快速发展与广泛应用，国内外相关专家学者提出了一些基于深度学习的肝脏肿瘤分割方法。该类方法主要可分为基于2D和3D卷积的方法。基于2D卷积的分割网络未考虑CT序列图像的片间信息，无法有效提取三维空间特征，分割精度有限。而基于3D卷积的分割网络参数量巨大。受限于计算资源，现有基于3D卷积的分割网络通常无法直接对原始CT序列进行处理，需要预先将CT序列进行下采样或截取为小尺寸的三维数据，这将导致图像细节信息丢失、网络的分割精度降低。

发明内容

针对现有技术的缺点与不足，本发明将2D深度卷积网络、3D轻量网络和图割算法相结合，旨在提供一种可有效分割CT序列图像中肝脏肿瘤区域的方法，有效解决单纯采用2D卷积无法提取三维特征、3D卷积内存开销大的问题，并通过结合深度学习和图割算法可有效提高肿瘤分割精度。本发明成果可为肝脏肿瘤的临床诊疗和病理学研究提供技术支持和决策服务。

一种基于深度学习的CT序列图像肝脏肿瘤分割方法，包括以下步骤：

(1)建立包含原始CT序列图像和肝脏区域手动分割结果的原始训练数据集A和B；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层具体包括：采用n个具有不同采样半径{r

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

l＝l

其中，l

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L

R(v)＝β·R

其中，P

其中，R

其中

D(v,u)表示求体素v和u的欧氏距离，N

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。

附图说明

图1 ASPP-UNet网络结构示意图

图2空洞空间金字塔卷积层结构示意图

图3 LW-3DNet网络结构示意图

图4本发明实施方式的CT序列图像肝脏肿瘤分割流程示意图

图5本发明实施方式的肝脏肿瘤分割结果示例，其中5(a)～(c)为三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例

具体实施方式

一种基于深度学习的CT序列图像肝脏肿瘤分割方法，具体实施步骤如下：

(1)从LiTS公共数据库中随机挑选100个腹部CT原始序列图像和其对应的肝脏肿瘤区域手动分割结果，选取其中的50个病例，即50个腹部CT原始序列图像和其对应的肝脏肿瘤区域手动分割结果，作为训练数据集A，剩余的50个病例作为训练数据集B；手动分割结果中，肝脏肿瘤区域(即目标区域)标记为“1”，背景区域标记为“0”；

(2)构建基于空洞空间金字塔卷积的U型2D卷积网络，记作ASPP-UNet，结构如图1所示，具体包括：

(2-a)采用U形网络作为主干网络，该主干网络包含三个编码层、两个跳跃连接、一个空洞空间金字塔卷积层、三个解码层和和一个1×1卷积层，其中：第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接与第二个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接与第一个解码层相连作为该解码层的输入；第三个编码层的输出作为空洞空间金字塔卷积层的输入，且空洞空间金字塔卷积层的输出作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率，通过引入阈值ε

(2-b)在步骤(2-a)所述的主干网络中，每个编码层均由两个2D卷积模块连接组成，即2D双卷积模块，其中每个2D卷积模块包含一个大小为3×3的卷积层，一个批归一化层和一个Relu激活层；为了对图像进行下采样，第二和第三个编码层中，2D双卷积模块的末尾均增加1个大小为2×2的最大池化层；

(2-c)在步骤(2-a)所述的主干网络中，空洞空间金字塔卷积层，结构如图2所示，具体包括：采用n个具有不同采样半径{r

(2-d)在步骤(2-a)所述的主干网络中，第一和第二个解码层均由一个步骤(2-b)所述的2D双卷积模块、一个2×2反卷积层和一个拼接操作连接组成，第三个解码层仅由一个步骤(2-b)所述的2D双卷积模块组成，其中：第一个解码层中2D双卷积模块的输入为空洞空间金字塔卷积层的输出，此后，下一个解码层中2D双卷积模块的输入均为上一个解码层的输出；第一个解码层中的拼接操作用于拼接该解码层中反卷积结果和第二个编码层的输出，拼接结果作为该解码层的输出；第二个解码层中的拼接操作用于拼接该解码层中反卷积结果和第一个编码层的输出，拼接结果作为该解码层的输出；

(3)构建轻量级的3D卷积网络，记作LW-3DNet，结构如图3所示，该网络涉及三个输入和一个输出，网络具体结构包括：首先采用三个3D双卷积模块，分别对三个输入进行卷积，然后采用拼接操作将卷积结果进行拼接，并采用一个3D双卷积模块对拼接结果进行卷积，得到特征图F，最后，采用一个1×1×1卷积层对特征图F进行卷积，1×1×1卷积层的输出为各体素属于目标的概率，通过引入阈值ε

(4)利用ASPP-UNet，训练多个可用于分割不同视图方向二维切片的网络模型，具体步骤包括：对于训练数据集A中的每一个CT序列，首先分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

l＝l

其中，l

(5)利用LW-3DNet，训练一个可用于融合不同视图方向分割结果的网络模型，具体包括：

(5-a)构建LW-3DNet网络的训练数据集C，具体包括：首先，对于原始训练数据集B中的每一个CT序列，分别从矢状面、冠状面和横切面三个视图方向重构二维切片，获取不同视图方向的二维切片，分别记作

(5-b)将训练数据集C输入LW-3Dnet网络进行训练，损失函数优选Dice损失函数，得到训练好的网络模型LW-3DNet

(6)对于待检测的CT序列T，首先分别从矢状面、冠状面和横切面三个视图方向进行二维切片重构，获取CT序列图像不同视图方向的二维切片，分别记作T

(7)构建图割能量函数，进一步优化分割结果，得到精确的肝脏肿瘤分割结果，具体包括：

(7-a)对于待检测的CT序列T，构建如下图割能量函数：

其中，v表示CT序列图像T中的体素，L

R(v)＝β·R

其中，P

其中，R

其中

D(v,u)表示求体素v和u的欧氏距离，N

(7-b)采用最大流/最小割算法最小化能量函数E(T)，即可得到精确的肝脏肿瘤分割结果。图4为本发明实施方式的CT序列图像肝脏肿瘤分割流程示意图。

图5给出了肝脏肿瘤三维分割结果分别在矢状面、冠状面和横切面三个视图方向下的二维切片结果示例，其中白色封闭曲线所示区域为本实施例得到的肝脏肿瘤分割结果，可以看到，图像中的肝脏肿瘤区域均被有效分割。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。