基于3D全连接卷积神经网络的CT图像肺结节检测系统

摘要

本发明公开了一种基于3D全连接卷积神经网络的CT图像肺结节检测系统。该检测系统包括训练数据集构建、3D卷积神经网络分类网络训练、3D全连接卷积分割网络训练、假阳性抑制及用训练完成的分割网络与假阳性抑制网络，进行肺结节检测这五个步骤。采用本发明技术方案可以实现全自动检测，无需任何人工干预，同时能有效提高结节检测的召回率，大幅降低假阳性病灶，获得肺结节病灶区域的像素级定位、定量、定性结果。

说明书

技术领域

本发明涉及医学影像计算机辅助诊断技术领域，尤其涉及基于3D全连接卷积神经网络的CT图像肺结节检测系统。

背景技术

肺癌是全球患病率最高、致死人数最多的癌症。肺癌的早期筛查与治疗能极大够提高病人的术后5 年存活率。而肺癌早期大部分表现为结节性病变，因此肺结节的检测对肺癌早期筛查至关重要。而CT图像分辨率高、成本低廉、对病患无危害，已成为肺部筛查的主要手段。现有的CT图像肺结节检测方法可分为传统方法、深度学习方法、传统与深度学习相结合的方法。传统方法主要采用经典的图像处理方法提取候选区域(如[1] K. Murphy,B. van Ginneken, A. M. R. Schilham, B. J. de Hoop, H. A. Gietema, and M.Prokop, “A large scale evaluation of automatic pulmonary nodule detection inchest CT using local image features and k-nearest-neighbour classification,”Medical Image Analysis, vol. 13, pp. 757–770, 2009. [2] C. Jacobs, E. M. vanRikxoort, T. Twellmann, E. T. Scholten, P. A. de Jong, J. M. Kuhnigk, M.Oudkerk, H. J. de Koning, M. Prokop, C. Schaefer-Prokop, and B. van Ginneken,“Automatic detection of subsolid pulmonary nodules in thoracic computedtomography images,” Medical Image Analysis, vol. 18, pp. 374–384, 2014. [3]A. A. A. Setio, C. Jacobs, J. Gelderblom, and B. van Ginneken, “Automaticdetection of large pulmonary solid nodules in thoracic CT images,” MedicalPhysics, vol. 42, no. 10, pp. 5642–5653, 2015.)，然后对候选区域提取特征(如灰度均值方差、SIFT、GLCM、EHD等)，利用提取的特征，经过传统分类算法(如SVM、决策树等)得到检测区域。传统方法检测速度慢，而且精度较低。随着近年深度学习技术的飞速发展，已有许多学者采用传统与深度学习相结合的方法，即用深度卷积网络替代传统的特征提取与分类算法(如Dou, Qi, et al. "Multi-level contextual 3D CNNs for false positivereduction in pulmonary nodule detection." IEEE Transactions on BiomedicalEngineering (2016))，以提高检测精度。但候选区域仍采用传统算法提取，造成提取速度仍较慢，而且候选区域数量极大，精度仍有所限制。全卷积神经网络最早应用于自然图像的分割，它计算速度快，并且能得到像素级分割效果( Jonathan, Evan Shelhamer, andTrevor Darrell. "Fully convolutional networks for semantic segmentation."Proceedings of the IEEE Conference on Computer Vision and PatternRecognition. 2015.)然而，迄今为止，尚未见到该项技术直接应用于肺结节检测。主要问题在于，原算法使用了其他2D分类网络的卷积核 (如VGG/GoogleNet),并应用于2D图像分割。然而CT图像没有公开的3D卷积分类网，而且，肺结节目标过小，样本极不平衡，难以训练，导致目前还没有3D全卷积网络应用于CT图像诊断。

发明内容

本发明所要解决的技术问题是有效提高结节检测的召回率，同时大幅降低假阳性病灶，获得肺结节病灶区域的像素级定位、定量、定性结果。为解决上述技术问题，本发明提出了以训练一个有效的3D全卷积神经网络模型，应用于3D肺部CT图像的肺结节检测的技术方案，其具体步骤如下：

（1）训练数据集构建，包括：数据预处理、训练区域选取、数据增强等；

其中，所述训练区域选取包括原始训练数据集和区域训练数据集；所述原始训练数据集为固定空间分辨率的CT影像序号，用于测试模型和补充区域训练数据；所述区域训练数据集，由原始训练数据集采样固定大小的立方块形成，分为分类训练与分割网络训练数据集，分别用于训练3D卷积神经网络分类网与3D全连接卷积分割网络；

（2）3D卷积神经网络分类网(简称分类网)训练，使用分类训练数据集训练构建卷积网络，得到分类网；

（3）3D全连接卷积分割网络(简称分割网)训练，包括分割初训练和数据补充与分割网修正；

（4）假阳性抑制：用（3）训练的分割网络提取病灶候选区，将肺结节病灶候选区分为正负样本，训练分类网；

（5）网络训练完成，用训练的分割与假阳性抑制网络，进行肺结节检测，得到最终的肺结节检测区域。

进一步地，所述步骤（1）中，所述分割网络的训练数据集图像是分类网络训练数据集图像的2-3倍，对应的分类标签为其正中心区域立方块（小于等于60×60×60 mm³）对应的像素标定，对区域训练数据集的图像以记标签的方式分为负样本（无结节）和正样本（有结节）；同时对所有正样本经过平移、旋转、缩放、镜像进行增强。

进一步地，所述步骤（3）的训练方法包括：

a）分割网初训练：在分类网的基础上添加多个3D反卷积跳跃结构，利用分割网络数据集对每个跳跃结构逐层训练分割网，得到分割模型；

b）数据补充与分割网修正：首先，使用a）训练的分割模型，对原始训练数据集进行前向检测，得到病灶概率图；然后，对检测结果进行病灶概率阈值估算：即选取一系列阈值，对检测的病灶概率图进行阈值化与连通域分析，根据精度需求选取适当的阈值。再，通过估算的病灶概率阈值，二值化病灶概率图并连通域分析，可得到一系列病灶候选区域；最后，判断分割网的精度是否满足需求，若是，进行（4）步骤，若否，将其中新增的错误候选区，添加到全卷积网络分割训练集中，重复（3） 步骤直到满足条件。

本发明与现有技术相比，具有如下优点：

（1）本发明可以产生像素级检测结果，可对结节进行定量分析；

（2）本发明采用了区域训练的方法，解决了肺结节这种因目标太小，导致样本极不平衡而难以训练的问题；

（3）本发明不需要进行肺分割，从而消除了因为肺分割造成的错误检测；

（4）本发明提供的胸部CT影像的肺结节自动检测系统，召回率与假阳性率均优于传统算法及传统算法与深度学习结合的算法；

（5）本发明在应用部署中，前向检测可实现全自动检测，无需任何人工干预。

附图说明

图1 为基于3D全连接卷积神经网络的CT图像肺结节检测系统流程图。

图2为基于3D全连接卷积神经网络的CT图像肺结节检测系统实施例。

具体实施方式

本发明的发明思想为：采用全卷积分割网络进行像素级检测与定位，用卷积分类网络进行假阳性目标抑制。下面结合附图和实施实例对本发明作进一步的描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施的限制。图1 为本发明基于3D全连接卷积神经网络的CT图像肺结节检测系统流程图。

包括：步骤 S01训练数据集构建。包括：数据预处理、训练区域选取、数据增强等。训练数据集分为两部分：原始训练数据集与区域训练数据集。原始训练数据集为固定空间分辨率的CT影像序列，用于测试模型与补充区域训练数据。区域训练数据集，由原始训练数据集采样固定大小的立方块而形成。区域训练数据集分为分类训练与分割训练数据集，分别用于训练3D卷积神经网络分类网(简称分类网)与3D全连接卷积分割网络(简称分割网)。其中，分类训练数据的标签为0与1的数字，分别表示整个立方块为负样本(没有结节)与正样本(有结节)。分割训练数据集图像立方块的长宽高为分类预训练数据的2-3倍，对应的分类标签为其正中心区域立方块(立方块大小与分类训练数据大小相同)对应的像素标定。所有正样本经过平移、旋转、缩放、镜像进行增强。

步骤S02分类网训练。构建分类网：网络结构包括多次3D卷积、池化、BatchNormalization层等。使用分类训练数据集训练构建的卷积网络，直至网络收敛，取得满足要求的精度。

步骤S03分割网训练。此步分为两小步：分割网初训练和数据补充与分割网修正：

分割网初训练：在分类网的基础上添加多个3D反卷积跳跃结构(skip>

数据补充与分割网修正：经过训练的分割模型，对分割数据集，有着较高的分类精度，然而并不能代表对图像所有部位的分割定位精度。因此，需要使用原始训练数据集对分割训练数据集进行补充。使用训练的分割网，对原始训练数据集进行前向检测，得到病灶概率图。对检测结果进行病灶概率阈值估算：即选取一系列阈值，对检测的病灶概率图进行阈值化与连通域分析，根据精度需求选取适当的阈值。使用估算的病灶概率阈值，二值化概率图并连通域分析，可得到一系列病灶候选区域。将其中新增的错误候选区，添加到全卷积网络分割训练集中。重复、直到分割网络精度满足要求。

步骤S04假阳性抑制

使用步骤S03训练的分割网，对原始训练数据集进行前向检测，并对检测结果进行病灶概率阈值估算及连通域分析，得到一系列病灶候选区域。将病灶候选区分为正负样本，重新训练分类网络。

步骤S05前向检测流程

当训练完毕，整个肺结节前向检测流程如下：输入待检测图像，经过数据预处理（分辨率重采样、灰阶归一化等），送入步骤S03得到的分割模型，经概率阈值二值化及连通域分析，得到候选区。候选区经过步骤S04的分类模型，得到最终的肺结节检测区域。统计可得肺结节诊断的定位、定量、定性结果。

以上仅是对流程图进行简单的陈述，现结合图2实施例，对本发明进行详细描述。

其具体步骤包括：

（1）构建训练数据集

a)将输入CT序列及对应的肺结节掩膜文件，重采样成空间分辨率(0.7，0.7，1.4)(顺序x,y,z，单位：mm)，作为原始训练数据；

b)分类训练数据集的构建：样本立方块的大小设为64×64×32(顺序x,y,z，单位：像素)。以各个肺结节为中心获取立方块，经过数据增强作为分类训练数据的正样本。数据增强的方式包括：平移（随机平移2-20像素）、旋转(随机5-30度)、缩放(0.7-1.3倍)、镜像(0.5概率随机)。所有数据增强，均需要90%以上的肺结节像素落在64×64×32的立方内，否则舍弃相应的增强样本。负样本数据由假阳性样本与其他负样本构成。采用背景技术中的经典图像处理的方法检测结节，以其中错误检测的目标作为中心取64×64×32的立方块，形成假阳性样本。其中，包含肺结节像素的假阳性样本，予以舍弃。其他负样本，在原始训练数据中随机取样不包含肺结节像素的立方块。所有立方块中的Hu值均归一化到[-1150,350]的窗口中。正样本标定为1，负样本标定为0；

c)分割训练数据集的构建：样本立方块的大小设为192×192×96。正样本、负样本的选取和增强方式与分类训练相同。每个样本中心64×64×32的立方块对应的肺结节掩膜，为该样本对应的像素标定。

（2）3D卷积神经网络分类网(简称分类网)训练

构建分类网：以C表示卷积，P表示池化，S表示Softmax层。构建的网络结构为C1→P1→C2→P2→C3→C4→P3→C5→C6→C7→C8→C9→S。其中，C1卷积核大小为：5×5×3，C2-6为3×3×3，C7-9为1×1×1；C1-9的核数目依次为：64, 64, 128, 128, 256, 256, 512, 512,2；所有卷积步长均为1；每次卷积后接一层Batch Normalization。所有池化均为最大池化，P1步长为2×2×1，P2-3步长为2×2×2。其主要训练参数包括：优化器为ADAM；学习率为0.001；损失函数为交叉熵与权重L2正则项之和；L2正则项权重为0.001。用分类训练数据集训练分类网，直到测试数据正负样本的分类精度分别高于95%与99%。

（3）3D全连接卷积分割网络(简称分割网)训练

分割网初训练：首先，构建分割网：在分类网的基础上添加3D反卷积跳跃结构，详细结构图如图2所示。其中，虚线方框中的部分为分类网结构，虚线框外为添加的跳跃结构。UP1-3层为上采样层(即反卷积层)，其步长与P1-3层一致，核大小为步长的两倍；SC1-3层均为核大小为1×1×1、核数目为2的卷积层；A1-3为UP1-3与SC1-3的求和结果。最终检测结果可由A1或A2与A3分别经过2×2×1与4×4×2倍上采样得到。其主要训练参数：初始权重继承分类网的权重，学习率为5e-4，损失函数中肺结节像素的权重为非结节区域的5倍，其他与分类网保持一致。训练过程先以A3上采样结果为检测结果训练，直到正负像素的分割精度分别高于85%与98%；再以A2上采样结果为检测结果继续训练，直到正负像素的分割精度分别高于90%与99%，最终以A1为检测结果训练，直到正负像素的分割精度分别高于92%与99%；

数据补充与分割网修正：

首次，使用中训练的分割网，对原始训练数据集进行前向检测，得到病灶概率图；

然后，对检测结果进行病灶概率阈值估算。在[0.1,0.5]区间中，以0.05为步长，取不同的阈值，分别对病灶概率图进行阈值化。对不同阈值化后的病灶图进行连通域分析，计算相应的召回率与假阳性率。综合考虑召回率与假阳性率(如召回率高于95%，假阳性率<100FP/S等)，选取合适的阈值；

再，使用选取的概率阈值，对病灶概率图进行阈值化和连通域分析，得到一系列病灶候选区域。将其中新增的错误候选区，添加到全卷积网络分割训练集中；

最后，重复步骤、或满足特定条件(召回率高于95%，假阳性率<50FP/S)，进入下一步。

（4）假阳性抑制

使用步骤(3)训练的分割网及概率阈值，对原始训练数据集进行前向检测，得到病灶候选区域。将病灶候选区分为正负样本，重新训练分类网络。样本选取、处理方法、分类网络模型及参数与步骤(2)一致。

（5）前向检测流程

当训练完毕，整个肺结节前向检测流程如下：输入待检测图像，经过数据预处理（分辨率重采样、灰阶归一化等），送入步骤(3)得到的分割模型，经概率阈值二值化，得到候选区。候选区经过步骤(4)的分类模型，得到最终的肺结节检测区域。统计可得肺结节诊断的定位、定量、定性结果。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。