Brain Tumor Image Segmentation based on Convolutional Neural Network

摘要

在现阶段，恶性肿瘤是悬在人民的健康上面的一把利剑。在恶性肿瘤的诊断过程中，磁共振影像技术是常见的辅助检查手段。医生可以根据医疗影像可以对患者做出临床诊断，以此来决定的后续的治疗方案。但是，由于国情限制，患者人数多，医疗资源紧张，从医生角度来看，通过手工分割大量的肿瘤图像，是沉重的负担，患者等待时间也非常长。并且由于肿瘤形状的多样性，肿瘤位置不固定，以及医生个人的经验差异，导致分割出来的肿瘤图像都有一定的差异。　　深度学习的发展让多种深度学习的相关技术被应用到医学领域中。其中，卷积神经网络(ConvolutionalNeuralNetwork，CNN)在医学影像处理中具有优秀的表现。可以有效减轻医生的工作量，辅助医生进行分割，患者可快速获得影像结果，有助于改善医疗资源紧张的局面。　　但是，深度学习的成功，需要有很多被标注过的数据集。医学影像不同于自然图片，自然图的标注，通过外包，普通人可以产生大量标注，但是医学影像的标注，依赖于放射科医生的知识，而培养一个合格放射科医生，需要经过数年的教育。实际上，医疗影像并不稀缺，但是却非常缺医生对这些医疗影像进行数据标注。所以，肿瘤图像的分割问题就转变成，如何在数据标注稀缺的情况下尽可能提高模型的分割性能，如何在数据标注比较充足的情况下能高质量的分割肿瘤图像。　　在此背景下，选择UNet作为基准线(baseline)，引进多种结构来改进UNet，并且探究各种结构的相互组合对UNet性能的提升程度，本论文主要完成了以下的工作:　　①提出了一种新的自监督学习任务，基于γ校正的图像恢复，完成自监督学习任务后，得到一些模型参数。当进行图像分割的训练时，用这些参数来初始化图像分割模型，可以在数据标注不充足的时候，使UNet性能下降幅度比较小，在数据标注充足的时候，小幅度提升UNet性能。　　②对UNet模型进行改进，在UNet的Decoder阶段引入了Attention机制，这个机制可以针对不同的采样特征给不同的权重，可以更加深入利用提取到的信息，并对上下文浅层和深层信息融合使得分割结果更加精确。探究Attention机制对UNet分割性能的改进幅度。　　③借鉴了RFBNet的设计思想，对UNet模型进行改进。在UNet最深的一层，用ReceptiveFieldBlock(RFB)代替了常规卷积层，在Encoder阶段采用多分支输入，在Decoder阶段采用多特征输出，探究三种结构分别对UNet分割性能改进幅度　　④将②和③中提出的四种基础结构，互相组合，探究各种结构互相组合对UNet分割性能的改进幅度。得到最好的改进方式MIMO-Attention-UNet。　　下文来详细介绍相关工作　　数据集是BraTS2018，包括285个病人，其中包括210个高级肿瘤和75个低级肿瘤，每个病人有四个模态的数据，T1，T2，T1C，flair，与一个数据集标注。每个模态的数据在水平面有155张切片，每张切片的数据容量是240×240，数据预处理采用切片，去除无肿瘤切片，裁剪，标准化等操作。然后把同一病人的相同坐标的四个模态切片进行叠加，形成四通道的输入数据.在Enhance，Whole和Core三个区域采用Dice，Sensitivity和Specificity三个评价指标来评价训练后模型优劣，其中其中Enh在评价指标中的比较重要，在肿瘤切除时，主要切除目标就是Enh。　　自监督学习，这是一个可行的用于提高深度学习性能的方法。严格来说，自监督学习其实可以归类到监督学习中，但是自监督学习与监督学习有挺大的不同，监督学习的数据集一般都是由人进行标注，但是自监督的数据集标注，是神经网络根据数据集的一些特点，自动构建出来的，然后在这个标注下让神经网络去完成某些任务，神经网络完成任务后，可以获得数据集的特征，从而得到一些网络设置的参数，在后面的对神经网络进行训练时，对参数时的初始化不是采用随机初始化，而是采用之前在自监督学习任务中获得的参数来进行初始化　　由上所述，自监督学习最核心就问题就是怎么制定恰当的任务，任务有以下三个特点，任务要基于数据集，任务应该可以用后续训练任务的神经网络完成，并且任务应该容易实现。后续的训练任务是基于UNet进行的，UNet有编码和解码两部分，适用于图像重建这一类的自监督任务。　　一种新的基于γ校正的图像恢复的自监督任务被提出，因为MRI图像都是灰度图，图像的灰度值经过γ校正会改变，从而变“暗”或者变“亮”。将经过γ校正后图像输入神经网络中，再用原始图作为标注，让神经网络把γ校正后的图恢复成原图，损失函数采用均方误差(MSE)，虽然MSE会导致图像变模糊，但是其训练速度快，作为自监督学习任务的损失函数非常适合。　　对自监督任务的评价没有一个统一标准，因此在这设定评价标准为经过自监督学习任务的神经网络和没经过自监督学习任务的神经网络，使用相同数量的同一数据集训练，看指标是否有提升。从实验结果看，在采用100％数据集时，完成自监督任务后，UNet的Dice分数在Whole，Core和Enh区域都有所提升，其中Enh的区域提升幅度最大，说明基于γ校正的自监督学习任务对分割比较细小的物体有一定的帮助。但是提升的性能比较有限。当训练数据集只有33.3％的时候，UNet经过γ矫正的自监督学习任务的UNet，Dice分数下降幅度比较小。Sen分数在Et和Core部分，还略有提升　　说明在缺少有标注的数据集时，完成基于γ矫正的自监督学习任务后，再进行训练，能够减小UNet的性能下降幅度。因为医疗图像的数据标注非常稀缺，这对于医疗图像的分割非常有意义。　　注意力机制(AttentionMechanism)，是一种模拟人类认知的机制，由于人脑处理能力有限，人类在面对繁多的信息时，一般只能留意到与目标最相关的信息，而忽略其余信息。在神经网络的角度来说，就是让神经网络对待分割物体的语义特征的优先级最高。　　注意力机制是可提高神经网络性能的一种方法，本论文在解码阶段引入SE注意力机制来改进UNet。之所以选择在解码(Decoder)部分引入注意力模块，是因为上采样阶段有非常多语义信息，不仅有下采样阶段的同一层网络的语义信息，还有更深的网络层通过上采样传递来的的语义信息，在此处插入SENet模块，可以给通道分配权重，让模型更加关注相关的通道，给后续的语义分割的精度带来提升。SE有两个分支，在第一条分支，输入数据的每个通道都全局池化，得到相应的全局特征，然后经过两个全连接层，获得C个权重，C为输人数据的通道数，再用这些权重对输入数据每个通道进行相乘，这相当于让神经网络的注意力放在权重大的通道上，SENet认为权重大的通道对分割更有用。　　单独引入SE注意力机制来探究UNet的性能提升程度，实验采用Pytorch框架，用Adam优化器，标准反向传播训练，参数用自监督回归的模型进行加载。Batchsize是30，Epoch为50，所有实验在一张GTX1080显卡上完成。　　实验表明SE注意力模块在ET区域提升明显，Core区域也有一定程度提升，Whole区域提升幅度不大，通过给多通道赋予权重，在重建图像时，高权重通道的作用更大，提升了UNet的精细化分割能力。　　ReceptiveFieldBlock(RFB)Net是一个以SSD网络为基础，集成了RFB，采用多尺度输出来的目标检测网络。本论文采用了ReceptiveFieldBlockNet的设计思路来改进Unet　　RFBNet的核心部分就是RFB模块，RFB模块有两种类型，RFB和RFBs，将这两种模块分别引入UNet中，将最深层的卷积层替换成RFB模块。　　RFBNet的一个主要设计思想就来源于Inception，这是一种多分支结构，用这个思想来改进UNet，在编码(Encoder)阶段用多分支输入，并且加入空洞卷积，可以模型增加感受野。　　RFBNet有多尺度特征输出的思想，UNet只有一个输出，在对小的物体进行分割时，不够准确，因此可以将RFBNet中的多尺度输出引入到UNet中，在UNet的解码部分，在上采样前进行输出，除UNet的最深一层，每一层在上采样都进行输出，输出后先进行1×1的卷积，然后上采样到最大尺寸，在相同的尺寸下进行融合。　　单独引入以上三种结构来改进UNet，实验采用Pytorch框架，用Adam优化器，标准反向传播训练，参数用自监督回归的模型进行加载。Batchsize是30，Epoch为50，所有实验在一张GTX1080显卡上完成。　　RFBs的性能超过RFB，RFBs的Dice分数在Enh，Whole，和Core区域均有提升，Sen分数在Enh区域大幅度提升。RFBs拥有更多的分支结构，有多种空洞卷积率，能有更大的感受野，对肿瘤的整体的位置信息把握的更加全面，同时感受野中心区域的语义特征更加被强调出来，也就是肿瘤的细节部分。　　多尺度输入(Multi-ScaleInput，MI)在WHole区域的Dice与Sen分数提升幅度比较大，在Enh区域的也有小幅度提升，Core区域变化不大。原因是编码阶段，UNet的感受野比较小，多尺度的输入与空洞卷积增大了UNet的感受野，让UNet能够整合多尺度信息，掌握肿瘤整体结构保证了分割的准确性。　　多尺度输出(Multi-ScaleOutput，MO)融合了多尺度的特征，Dice分数在三个区域均有提高，其中Enh区域提升的最多，Sen分数在Enh区域也是提升幅度明显。说明了模型的精度大幅度提升，对于细小的物体图像分割能力增强，多尺度特征融合输出对细小物体的分割有明显增强作用。　　单独引入以上三种结构到UNet中，均能提升UNet性能。　　对以上四种基础结构，RFB，MI，MO，Attention互相组合，探究其对UNet和单独结构的性能提升强度。实验采用Pytorch框架，用Adam优化器，标准反向传播训练，参数用自监督回归的模型进行加载。Batchsize是30，Epoch为50，所有实验在一张GTX1080显卡上完成。　　MI与MO组合起来后组成MIMO，实验结果表明，相对于MI，Whole区域的性能有小幅度下滑，在Enh和Core区域，评价指标提升明显。相对于MO，Whole区域的分数差不多，在Enh区域中，Dice分数提升了2％，Sen分数提升了12％，在MIMO的结构中，MO的多尺度输出占主要作用，MI提供了多尺度输入信息，MI提供了更大的感受野，提供肿瘤的更多的位置信息，通过UNet的跳跃连接(skipconnection)结构，将这些信息传递给网络中Decoder部分，再通过卷积，进行多尺度特征融合输出，因此在各个区域中的分数提升都比较可观。　　由章节5.3.1中，实验结果表明，RFBs结构的多项评价指标强于RFB。由章节6.1中，实验结果表明，相对于单独的MI，MO结构，MIMO结构综合性能更强，为了得到效果最好的肿瘤图像分割模型，所以采用MIMO与RFBs组合成MIMO-RFBs，探究UNet的性能的提升幅度。Enh指标相对于MIMOU明显下降，Whole指标相对于RFB下降明显，两者的组合结构并没有带来两种结构的优点，反而带来性能指标的下滑。但是与原始UNet相比，指标还是有所提升。总体性能指标介于MIMOU和RFBs中间。　　MIMO，RFBs这两个结构对UNet的性能均有较大的提升，RFBs对Whole区域的分数提升明显，MIMO对Enh区域的分数提升明显，将这两种模块与Attention互相组合，组成MIMO-Attention，RFBs-Attention，MIMO-RFBs-Attention研究分数会如何提升。　　经实验表明，MIMO-Attention的分数在Enh区域提升最明显，是在整个研究提升最高的模块组合，相对于UNet，提升了接近8％，在Core区域的提升也不错。MI能够给模型提供更大的感受野，对肿瘤整体有更加清晰的认识，MO能够多尺度输出，融合多尺度的语义特征，能够实现对细小物体的精细化分割，Attention能够对各个通道分配权重，让权重大的通道在重建图像时发挥更大的作用。　　相对于Attention来说，RFBs-Attention的分数在Enh区域和Core区域都下降了，Whole区域的分数增加幅度比较小。RFBs的多分支卷积并没有取得理想的进步，还导致了分割性能的下降。　　MIMO-RFBs-Attention的每一项评价指标都比Attention要低，不能简单的堆砌结构，否则的话，不仅不会提升模型性能，还会降低。　　总体来说，以上介绍的多种结构，无论是单独加入UNet，还是互相组合后加入UNet，相对于基准线UNet来说，分割性能都有进步，其中表现最好的是MIMO-Attention，融合了MI，MO与Attention三种基础结构的优点，达到了本论文中最好的分割性能。　　对以上的模分割性能进行排序。排序的权重如下，各区域的权重从高到低依次是Enh＞Core＞Whole，各种评价指标的分数的权重从高到低依次是Dice＞Sen＞Spe.当相同权重的分数非常接近时，视为性能一样，比较下一个指标。　　经过排序，得到模型分割性能的排序，UNet＜RFB＜MI＜RFBs＜RFBs-Attention＜MO-RFBS-Attention＜MO＜Attention＜MIMO-RFBa＜MIMO＜MIMO-Attention

目录