级联神经网络下医学图像特征提取和分类方法

摘要

本发明提供了一种级联神经网络下医学图像特征提取和分类方法，步骤如下：步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3DCNN和2DCNN的级联方式；步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。本发明提高了分类精度和效率。

说明书

技术领域

本发明属于医学影像特征的深度学习技术领域，尤其涉及到一种卷积神经网络用于提取医学图像特征并对其进行分类技术。

背景技术

近年来随着医疗技术水平的发展，磁共振图像(Magnetic Resonance Imaging，MRI)、计算机断层扫描(Computed Tomography,CT)、正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)等各种影像学采集设备被越来越多的运用，这些手段的运用，对于可以对医学图像进行特征提取和异常分类。

机器学习的分类和预测方法在过去十几年中已经用于分析复杂结构的神经影像，在AD(阿尔兹海默病)相关轻度认知障碍(MCI)的图像特征提取与预测中也取得了一些成果。传统的机器学习框架对于早期AD的研究主要可分为选择与提取图像的结构特征(如感兴趣区、体素等)，以及基于特征和维度的分类与预测两个方面。但是特征的选择还是依赖于设计者的手工提取，需要足够的先验知识，存在着一定的主观性。而且不同图像数据之间存在着种类、维度的差异，在进行预处理之后一般会出现缺失与变形等问题，将手工提取特征的难度进一步加深。

深度学习起源于神经网络，有多个单层而非线性的网络叠加而成，神经网络依赖于层与层的关系，每一层都是上一层的更高级的抽象，可将海量数据进行训练，通过学习一种深层的非线性网络结构实现复杂函数的逼近，展现学习数据集本质特征的能力。

近年来，深度学习模型在图像识别领域的大量创新应用，被认为是一种极具潜力的分类与预测方法。在医学图像的分类与疾病预测中，也得到了原来越多的关注。

目前比较流行的采用深度学习的方式包含有：采用卷积神经网络(CNN)；采用增强的AlexNet网络模型；采用StackedAuto-Encoder(SAE)“堆叠自动编码器”的方式，来提取神经影像学的特征，来对AD的图像进行特征提取和分类等形式来进行对AD的分类。

但是，根据以上几种方式进行的分类情况，可以了解到存在一些问题。无论采用哪一种模型，由于医学影像本身的一些特点：难以获取、数据库数量稀少、采用人工标注难度大等特点，极大的限制了模型训练和最后的分类结果。因此，如何提高最后的分类精度，仍然是现有技术中需要攻克的技术问题。

发明内容

有鉴于此，本发明为了克服医学影像数据少、人工标记工作量大和分类精度不高等技术问题，提供了一种基于3D CNN和2D CNN级联神经网络下医学图像特征提取和分类方法，以此提高分类精度和效率。

本发明的技术解决方案是，提供了一种级联神经网络下医学图像特征提取和分类方法，包括以下步骤：

步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3D CNN和2D CNN的级联方式；

步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；

步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；

步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；

步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。

可选的，所述步骤1中的三维影像为多模态的医学影像数据，包含结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像三种模态的图像，输出的三种类别分别是正常对照组、第一异常组和第二异常组。

可选的，所述步骤2中的对多模影像数据进行预处理操作，包括对结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像完成原点校正、分割、强度归一化、去除颅骨、颈骨、图像配准和前连合和后连合对齐处理，并进行数据增强，将影像数据进行变形、裁剪、旋转翻转、缩放，同时采用除冠状图以外的矢状图和轴状图模式图像作为样本数据，划分出训练集和测试集。

可选的，所述步骤3中，对数据进行特征提取，通过级联神经网络分别对多模态数据进行特征提取操作，3D卷积神经网络模型中卷积运算求解式为：

其中，x、y和z表示给定3D图像的像素位置，

2D卷积神经网络模型中卷积运算求解式为：

其中，b为偏置量，(i,j)∈{0,1,2,...L

可选的，所述步骤5中，将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层，经过第二层全连接层，设置全连接权重；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，在三组二分类的情况下，所述分类结果包括正常对照组、第一异常组和第二异常组。

可选的，所述步骤5中，结合卷积神经网络CNN和支持向量机SVM的二分类方法，在三组二分类的情况下，采用全连接层和支持向量机SVM组合的方式进行，所述分类结果包括正常对照组、第一异常组和第二异常组。

本发明与现有技术相比，具有如下优点：本发明利用3D神经网络和2D神经网络级联的方式形成级联神经网络，并通过多模态医学图像的特征提取和分类，提高分类精度和效率，克服了数据量不足的问题。

附图说明

图1为不同观测角度MRI结构图。

图2为多模(SMRI、FMRI、PET)影像图。

图3为3D CNN网络结构图。

图4为3D CNN、2D CNN级联网络结构图。

图5为多模态级联神经网络结构图。

图6为本发明的流程示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。

为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

本发明的级联神经网络下医学图像特征提取和分类方法，包括以下步骤：

步骤1：以三种不同类别的三维影像作为网络输入，以三种类别的分类概率值作为网络输出，构建级联神经网络模型；所述级联神经网络模型为基于3D CNN和2D CNN的级联方式；

步骤2：将三种已具有标签标注的影像数据进行数据预处理操作，准备好训练样本数据和测试所需数据样本；

步骤3：将训练样本数据送入级联神经网络进行训练，分析并提取样本特征；

步骤4：对训练网络进行参数优化，经优化后的模型，获得最优网络参数的深度级联神经网络模型；

步骤5：对经处理后的影像数据送入训练好的最优参数的级联神经网络模型，并通过分类器输出最终分类结果。

所述步骤1中的三维影像为多模态的医学影像数据，包含结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像三种模态的图像，输出的三种类别分别是正常对照组、第一异常组和第二异常组。

所述步骤2中的对多模影像数据进行预处理操作，包括对结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像完成原点校正、分割、强度归一化、去除颅骨、颈骨、图像配准和前连合和后连合对齐处理，并进行数据增强，将影像数据进行变形、裁剪、旋转翻转、缩放，同时采用除冠状图以外的矢状图和轴状图模式图像作为样本数据，划分出训练集和测试集。

所述步骤3中，对数据进行特征提取，通过级联神经网络分别对多模态数据进行特征提取操作，3D卷积神经网络模型中卷积运算求解式为：

其中，x、y和z表示给定3D图像的像素位置，

2D卷积神经网络模型中卷积运算求解式为：

其中，b为偏置量，(i,j)∈{0,1,2,...L

所述步骤5中，将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层，经过第二层全连接层，设置全连接权重；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，在三组二分类的情况下，所述分类结果包括正常对照组、第一异常组和第二异常组。也可以采用另外一种方式，结合卷积神经网络CNN和支持向量机SVM的二分类方法，在三组二分类的情况下，采用全连接层和支持向量机SVM组合的方式进行，所述分类结果包括正常对照组、第一异常组和第二异常组。

图1中，自左往右是冠状图(Coronal)、矢状图(Sagittal)、轴状图(Axial)。图2中，自左往右是SMRI图像、FMRI图像、PET图像，即结构核磁共振图像、功能磁共振图像和正电子发射型计算机断层显像。

本发明更具体的实施例子如下：

第一：数据集获取，数据集为公开数据集，来源于ADNI(Alzheimer’s DiseaseNeuroimaging Initiative)。获取数据类型有：SMRI影像,FMRI影像,PET影像。本发明所采用的是ADNI数据集中的MRI数据和PET数据。我们共采用了400名受试者的数据，具体分类情况如下：正常对照组(NC)有100名，轻度认知障碍组(200)名，作为第一异常组，剩余100名为阿尔兹海默病(AD)患者组，作为第二异常组。这里的分类只是本发明的一个应用，根据本发明的教导也可以用于其他的分类。

第二：获取到原始数据后，接下来进行数据预处理操作。获取的数据属于原始数据，包含了由核磁共振设备和正电子发射型计算机断层扫描设备采集的原始影像。这里我们需要对图像进行原点校正、分割(分割出灰质、白质脑组织)、强度归一化、去除颅骨、颈骨、图像配准和前连合(AC)和后连合(PC)对齐处理预处理后操作。

由于受试者在采集SMRI、FMRI和PET影像时，不能全部保证头部完全一样的姿势，或者头部后仰，低头、颈部歪曲，甚至还会在采集的时候动头。诸多现象，最后导致所采集到的图像会出现各种样式。实际操作中，往往还会在脑部影像中出现颈骨，这些对于本发明来说是不需要的。同时在采集到的脑部影像还包含有颅骨存在，和之前的颈骨一样，对于本发明来说，同样属于噪声信号，应在图像预处理的过程中给予去除。

好的分类结果和合理的预处理是分不开的，为充分筛选出和AD病变可能相关的脑部区域，如海马、颞叶、杏仁体等某些特定部位，对所训练的SMRI、FMRI、PET等影像图片进行脑组织分割，去除如脑皮、头骨等非脑组织，最终将大脑组织分为白质、灰质、脑脊液三个部分，可分别用Bwm、Bbm、Bcsf表示。以此方法，为后续更好的特征提取做铺垫。

第三：完成上述预处理操作后，对处理后的数据进行数据增强。即影像数据进行变形、裁剪、旋转翻转、缩放。同时采用除冠状图(Coronal)以外的矢状图(Sagittal)和轴状图(Axial)模式图，填充为整体数据集的一部分，扩大数据集影像数量。人大脑几乎是左右对称，对上一步预处理后的图片进行水平翻转，那么结合不同观测角度面的影像就可以扩充到原来的三倍。再加上对影像数据进行变形、裁剪、旋转、缩放等操作，数据量会更加提高，数据增强的目的就可以达到,并划分出训练集和测试集。

第四：分别将不同模式的影像图(SMRI、FMRI、PET)送入3D CNN网络进行训练，提取影像特征，由于MRI和PET图像本身三维特性，增加时间维度的卷积网络模型能在保证图像信息最大化减少损失的情况下，保持最佳的特征提取效果。首先进行卷积运算。

三维卷积运算定义如下：

其中，x、y和z表示给定3D图像的像素位置，

由于ADNI影像数据来源不同，原始图像尺寸也不同，在进行训练之前，将对不同模态的图像大小进行统一化处理。对图像重采样到256*256*256大小，去除非脑体素，最终使达到128*106*106像素。分别对SMRI模式、FMRI和PET模式下的影像数据进行训练，并划分好训练集、测试集，比例分别为90％和10％，送入模型开始训练。

第五：预处理后的图像送入到3D CNN网络训练，该网络分别有卷积层，池化层交替结构和最后的全连接层构成。整个网络共计有七层卷积层五层池化层和两层全连接层构成。每一层卷积层之后添加激活函数如下：

引入该非线性函数Tanh函数表达式作为激励函数，为各个卷积层的激活函数。如图(5)所示，分别有卷积层和池化层以及全连接层。这里的池化层采用最大池化(poolinglayer)，特征降维，去除冗余信息，把最重要的特征抽取出来，夹在连续的卷积层中间，用于压缩数据和参数的量，减小过拟合。输入图像为128*106*106大小，经过第一层卷积后变为126*104*104，经过第一层池化层(pooling layer)后变为63*52*52，卷积核超参数(kernelsize)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量25；之后进行第二层卷积，图像经过特征提取后变为63*52*52，卷积核超参数(kernel size)为1*1*1，步长(stride)为1,padding为0；卷积核数量25；第三层卷积后，图像变为61*50*50，经过pooling layer后为30*25*25，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量50；之后进行第四次卷积后变为28*23*23，经过pooling layer后为14*11*11，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量50；经过第五层卷积，图像经过特征提取后变为14*11*11，卷积核超参数(kernel size)为1*1*1，步长(stride)为1,padding为0，卷积核数量50；进行第六层卷积，图像变为12*9*9，经过pooling layer后为6*4*4，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量100；最后经过第七次卷积，卷积后变为4*2*2，经过pooling layer后变为2*1*1，卷积核超参数(kernel size)为3*3*3，步长(stride)为1,padding为0，pooling layer的超参数为(kernel size)为2*2*2,padding为0,步长stride 2，卷积核数量100。卷积核大小多采用3*3*3的大小，保证较好的特征提取效果，步长(stride)为1,padding为0。pooling layer的超参数为(kernel size2*2*2,padding 0,stride 2)。在第二层卷积和第五层卷积时，采用卷积核大小1*1*1，减少模型参数，减少模型过拟合的情况。由于经过每一层卷积层，特征被提取，随着层数的增加，所提取的特征也更加抽象，feature map的长宽尺寸缩小，本卷积层的每个map提取的特征越具有代表性，后一层卷积层需要增加feature map的数量，更充分的提取出前一层的特征，一般是成倍增加，本发明设置的卷积核(filter)的数量分别是25、25、50、50、50、100、100个。

第六：经过以上的卷积层、池化层(pooling layer)，捕获更多更紧凑、更高效的特征，减少中间特征的自适应和过拟合，提高模型泛化能力，本发明中采用dropout策略，设置dropout为0.50。

第七：经过以上步骤的卷积层、池化层之后，对所学习的从SMRI、FMRI和PET图像所提取的特征进行多模态特征结合，融合不同模态脑图像的信息，级联2D卷积神经网络方法，将学习到的多模态特征更好结合起来。通过2D CNN网络模型进行训练，进一步融合学习两种模式的相关特征。输入二维卷积神经网络的输入尺寸2*2，特征图数量100，经过第一层卷积层，输出1*1，卷积核数量100，卷积核超参数(kernel size)为3*3，步长(stride)为1,padding为0；经过第二层卷积层，输出1*1，卷积核数量100。通过再次学习更高级特征，提取多模态的相关特征的同时，亦可对多模态特征之间高级特征的相关性进行学习、提取。

第八：在通过2D CNN网络时，同样首先需要采取卷积操作。2D卷积神经网络模型中卷积运算求解式为：

式中b为偏置量，(i,j)∈{0,1,2,...L

通过卷积运算提取特征后，通过激活函数、池化操作，更好、更高效的提取多模态特征和不同模态之间的相关性特征。这里依然选择最大池化(Max pooling)操作，依然采用dropout策略，同时可以提高模型泛化能力，防止过拟合，设置dropout为0.50。

第九：将上一步获得的各种模态数据特征扁平化成一维矩阵，构成全连接层(Full-connection)，输出数据维度1*100；经过第二层全连接层，输出数据维度1*40，需设置全连接权重为100*40；再将该层的特征映射到具有SoftMax函数的所有类标签的概率分数，如此作出NC/MCI/AD分类、基于NC/AD、NC/MCI、AD/MCI的二分类情况。

对第九形成替换的方式为：在通过全连接后，结合SVM(Support VectorMachines)算法，通过以上步骤所提取的不同模态影像特征，做出基于SVM算法的NC/AD、NC/MCI、AD/MCI的二分类情况。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。