基于显著性学习卷积神经网络的脑部图像分割方法及系统

摘要

本发明公开了基于显著性学习卷积神经网络的脑部图像分割方法及系统，首先提出了一种显著性学习方法，来获取MR图像的显著性映射图。基于显著性映射图，进行显著性增强变换，获得显著性增强的图像。将显著性增强的图像分成若干图像块，训练卷积神经网络，作为最后的分割模型。在本发明中，显著性学习模型能够产生显著性映射图，该类信息是基于目标的空间位置获取的，与图像的灰度信息无关，显著性信息能够明显的加强目标的显著性，提高目标类和背景类的区分性，对于灰度不同质性具有一定的鲁棒性。因此，基于显著性增强图训练出的卷积神经网络能够学到显著性增强图的区分性信息，从而较为有效地解决脑部MR图像中的灰度不同质性问题。

说明书

技术领域

本发明涉及医学图像上分割技术领域，特别是涉及基于显著性学习卷积神经网络的脑部图像分割方法及系统。

背景技术

脑部疾病由于其严重的危害性已成为当今社会关注的焦点。核磁共振图像(MR，magnetic resonance)具有对比度高、显示信息丰富等优点，已成为辅助诊断脑疾病的主要成像方式。利用计算机对医学图像进行自动分析已成为辅助临床诊断的重要手段。医学图像分割技术能将目标区域提取出来，是对病灶区进行量化分析与诊断的基础。因此，发明一种脑部MR图像的分割方法对于提高脑疾病诊断的精度和效率具有重要的意义。

现有的脑部MR分割方法主要包括阈值法、基于活动轮廓模型以及基于学习模型的方法等等。然而，脑部MR图像存在灰度不同质性问题，使得现有的方法分割效果较差。例如，单一的阈值法对于脑部MR图像中的噪声较为敏感，很难将灰度差异性较大的同一区域分割出来。虽然已有相关研究对活动轮廓模型进行了改进使其能够在一定程度上处理灰度不同质性问题，然而，当灰度变化较大时，活动轮廓模型仍然不能取得令人满意的性能。

基于学习模型分割方法的思路是将分割问题转化成对像素的分类问题。现有的学习模型可以分为浅层学习模型和深度学习模型。近年来，深度学习模型在图像识别、语音识别、自然语言处理等领域都取得了突破性进展。相比较浅层学习模型，深度学习模型具有以下优点：(1)对于目标具有更强大的表达能力。(2)是端到端的模型，不需要进行繁琐的人工定义特征。鉴于深度学习模型的以上优点，利用深度学习模型对复杂的脑部MR图像进行分割是一种行之有效的思路。然而，灰度不同质性问题往往会造成训练样本难以区分。即同类样本差异性较大，不同类样本差异性小。这种样本的差异性分布使得很难训练出一个有效的深度学习模型。

基于以上分析，直接利用现有的深度学习模型很难取得较好的分割效果。因此，如何设计一种有效的方法来增强目标区域与背景区域的区分性，并将这类区分性信息融入到学习模型中，有望提高脑部MR图像的分割性能。

发明内容

为了解决现有技术的不足，本发明提供了一种基于显著性学习卷积神经网络的脑部图像分割方法，该方法首先提出了显著性学习模型，获取显著性映射图。基于显著性映射图，进行图像变换，获得显著性增强图。在获得的显著性增强图像中，目标的显著性得到了增强，从而提高了目标区域与背景区域的区分性。基于显著性增强图像，将该图像分成若干图像块，获得训练集。利用卷积神经网络进行训练，训练获得的模型即为分割模型。新建立的分割模型能够较好地处理灰度不同质性问题，提高了脑部MR图像分割的准确性和鲁棒性。

一种基于显著性学习卷积神经网络的脑部图像分割方法，分为训练和分割两个阶段：

训练阶段：

步骤(11)：获取核磁共振图像MR图像作为训练图像；

步骤(12)：对训练图像进行超像素分割，得到若干个训练超像素；

步骤(13)：对获取的训练超像素提取平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征；将平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征采用串联方式进行特征融合，得到融合之后的特征；

步骤(14)：基于步骤(13)得到的融合之后的特征构造训练阶段的字典，然后利用训练阶段的字典和基于稀疏表达的分类方法SRC(sparse representation basedclassification)对步骤(12)得到的训练超像素进行分类，获得初始分割结果；基于获得的初始分割结果，利用高斯概率密度函数获得每个训练超像素的分类概率，作为学习到的训练阶段显著性映射图；

步骤(15)：基于训练阶段显著性映射图，进行图像变换，获得训练阶段显著性增强图像；

步骤(16)：将训练阶段显著性增强图像分成若干训练图像块；基于获得的训练图像块对卷积神经网络进行训练；

分割阶段；基于与训练阶段步骤(12)-步骤(15)同样的步骤，对待分割图像进行处理，最后得到分割阶段显著性增强图像，将分割阶段显著性增强图像分成若干分割阶段图像块，利用步骤(16)训练得到的卷积神经网络对分割阶段图像块进行分类，得到最终的分类结果。

分割阶段：

步骤(21)：获取一幅待分割的核磁共振图像MR图像；

步骤(22)：对待分割核磁共振图像MR图像进行超像素分割，得到若干个分割阶段的超像素；

步骤(23)：对获取的分割阶段的超像素提取平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征；将平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征采用串联方式进行特征融合，得到融合之后的特征；

步骤(24)：利用训练阶段的字典和基于稀疏表达的分类方法SRC(sparserepresentation based classification)对步骤(22)得到的分割阶段的超像素进行分类，获得初始分割结果；基于获得的初始分割结果，利用高斯概率密度函数获得每个分割阶段的超像素的分类概率，作为学到的分割阶段的显著性映射图；

步骤(25)：基于分割阶段的显著性映射图，进行图像变换，获得分割阶段的显著性增强图像；

步骤(26)：将分割阶段的显著性增强图像分成若干分割阶段的图像块；基于获得的分割阶段的图像块，利用已经训练好的卷积神经网络进行分类，分类结果即为最后的分割结果。

所述步骤(12)中，采用SLIC超像素分割算法对图像进行超像素分割，得到M个超像素S_p{p＝1,2,…,M}。

所述步骤(14)中，基于步骤(13)得到的融合之后的特征，采用K-means方法对超像素进行聚类，构造字典：

假设在训练集中有N个病人的数据，则对每个病人的病灶区类和背景类均使用K-means聚成K类，则N个病人的数据共聚成2KN类，获得2KN个聚类中心；所述聚类中心组成字典D，如公式(1)所示：

D＝[C_1，1,C_1，2,...,C_1K,B_1，1,B_1，2,...,B_1，K,...,C_z,v,...,B_z,v,...,C_N,1,...C_N,K,B_N,1,...,B_N,K](1)

其中，

C_z,v表示第z个病人的来自病灶区区域的第v个聚类中心；

B_z,v表示第z个病人的来自背景区域的第v个聚类中心；

字典构建完成后，利用字典和基于稀疏表达的分类方法SRC对超像素进行分类，使用稀疏表达对训练阶段的超像素进行分类的过程：

公式(2)中，f_c是稀疏系数，f_L是步骤(13)得到的融合之后的特征；通过最小化L₁范数||f_c||₁，得到f_c的值；使用MATLAB的SLEP工具箱对公式(2)进行求解，获得f_c的解后，使用公式(3)获得超像素的分类结果r_m(f_L)，其中，f_c-m表示稀疏系数向量f_c中用于表达第m类的权重值。

r_m(f_L)＝||f_L-Df_c-m||₂，m＝1,2,…2KN>

根据公式(3)计算得到2KN个r_m(f_L)，当r_m(f_L)的值最小时，对应类别就是超像素的类别。

获得超像素的类别即可获得目标区域的初始分割区域，基于初始分割区域的空间位置信息，利用高斯概率密度函数计算显著性映射图。

利用高斯概率密度函数计算每个像素的概率，基于所有像素的概率获得脑部图像中待分割目标区域的显著性映射图，如公式(11)所示：

公式(11)，P(l|x)表示像素点x属于脑部图像中待分割目标区域的概率，l是像素x的标记,当x属于脑部图像中待分割目标区域，l的值是1，否则是0；像素c是检测到的脑部图像中待分割目标区域的中心点，cord(x)表示像素x的空间位置，cord(c)是像素c的空间位置，σ近似表示脑部图像中待分割目标区域的直径，Ω_C表示探测到的脑部图像中待分割目标区域，Ω_B表示探测到的背景区域，所述背景区域是指脑部图像除去带分割目标区域以外的区域。

所述步骤(15)，对脑部图像中待分割目标区域的显著性映射图进行图像变换，获得显著性增强图像：

I_s＝MI₀>

其中，I_s是获得的显著性增强图，M是步骤(14)获得的显著性映射图，I₀是原始图像。

所述步骤(16)，将图像分成若干个块。

每个图像块的提取方法：以图像中任意一个像素点a为中心，提取一个边长b的方块区域。像素的类标记是图像块的类标记。

卷积神经网络由卷积层、池化层和全连接层构成。卷积层通过对图像进行卷积运算学习到图像中不同层次的局部特点，卷积层后面加池化层，卷积层的输出是池化层的输入，池化层采用最大池化法对输入映射进行降采样，经过后面若干个卷积层与池化层循环之后，最后接一个全连接层，全连接层将池化层的所有输出映射转换为一个列向量，全连接层后面连接一个输出层，输出层经过一个softmax函数输出样本属于每个类的概率，选择概率最大的作为输入图片的类别，使用随机梯度下降法对卷积神经网络的权重进行求解。

所述步骤(22)采用与步骤(12)相同的方法。

所述步骤(24)采用与步骤(14)相同的方法。

所述步骤(23)采用与步骤(13)相同的方法。

所述步骤(25)采用与步骤(15)相同的方法。

所述步骤(26)采用与步骤(16)相同的方法。

一种基于显著性学习卷积神经网络的脑部图像分割系统，包括：存储器、处理器以及存储在存储器上同时通过处理器运行的计算机程序，所述计算机程序被处理器运行时，执行以下步骤：分为训练和分割两个阶段：

所述训练阶段：

步骤(11)：获取核磁共振图像MR图像作为训练图像；

步骤(12)：对训练图像进行超像素分割，得到若干个训练超像素；

步骤(13)：对获取的训练超像素提取平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征；将平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征采用串联方式进行特征融合，得到融合之后的特征；

步骤(14)：基于步骤(13)得到的融合之后的特征构造训练阶段的字典，然后利用训练阶段的字典和基于稀疏表达的分类方法SRC(sparse representation basedclassification)对步骤(12)得到的训练超像素进行分类，获得初始分割结果；基于获得的初始分割结果，利用高斯概率密度函数获得每个训练超像素的分类概率，作为学习到的训练阶段显著性映射图；

步骤(15)：基于训练阶段显著性映射图，进行图像变换，获得训练阶段显著性增强图像；

步骤(16)：将训练阶段显著性增强图像分成若干训练图像块；基于获得的训练图像块对卷积神经网络进行训练；

分割阶段；基于与训练阶段步骤(12)-步骤(15)同样的步骤，对待分割图像进行处理，最后得到分割阶段显著性增强图像，将分割阶段显著性增强图像分成若干分割阶段图像块，利用步骤(16)训练得到的卷积神经网络对分割阶段图像块进行分类，得到最终的分类结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行以下步骤：分为训练和分割两个阶段：

所述训练阶段：

步骤(11)：获取核磁共振图像MR图像作为训练图像；

步骤(12)：对训练图像进行超像素分割，得到若干个训练超像素；

步骤(13)：对获取的训练超像素提取平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征；将平均灰度值、基于共生矩阵的纹理特征以及局部灰度特征采用串联方式进行特征融合，得到融合之后的特征；

步骤(14)：基于步骤(13)得到的融合之后的特征构造训练阶段的字典，然后利用训练阶段的字典和基于稀疏表达的分类方法SRC对步骤(12)得到的训练超像素进行分类，获得初始分割结果；基于获得的初始分割结果，利用高斯概率密度函数获得每个训练超像素的分类概率，作为学习到的训练阶段显著性映射图；

步骤(15)：基于训练阶段显著性映射图，进行图像变换，获得训练阶段显著性增强图像；

步骤(16)：将训练阶段显著性增强图像分成若干训练图像块；基于获得的训练图像块对卷积神经网络进行训练；

分割阶段；基于与训练阶段步骤(12)-步骤(15)同样的步骤，对待分割图像进行处理，最后得到分割阶段显著性增强图像，将分割阶段显著性增强图像分成若干分割阶段图像块，利用步骤(16)训练得到的卷积神经网络对分割阶段图像块进行分类，得到最终的分类结果。

与现有技术相比，本发明的有益效果是：

提出一种基于显著性学习的卷积神经网络的脑部MR图像分割方法，首先提出了一种显著性学习方法，来获取显著性映射图。然后基于显著性映射图，进行图像变换，获得显著性增强图。然后基于显著性增强图像的图像块，利用卷积神经网络进行训练，建立分割模型。在本发明中，获得的显著性映射是基于目标的空间位置获取的，与图像的灰度信息无关，因此，对于灰度不同质性具有一定的鲁棒性。基于显著性映射，获取显著性增强图，使得目标的显著性被明显增强，提高了目标图像块和背景图像块的区分性，从而能有效提高卷积神经网络的分类性能，改善脑部MR图像的分割结果。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为卷积神经网络基本架构；

图2为本发明的流程图；

图3(a)为脑部MR图像；

图3(b)为本发明分割的白质结果。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

图2中，本发明的流程如下：

1、超像素分割

超像素是指图像中包含同质像素(灰度相似)的一个区域。相比较像素级操作，超像素具有计算速度快、对噪声鲁棒、能够合理利用上下文信息等优点，因此，本发明利用超像素作为基本的处理单位。本发明利用简单线性迭代聚类方法(Simple Linear IterativeClustering,SLIC)进行超像素分割。该方法联合利用局部邻近像素点的颜色信息和空间位置信息将整幅图像分成一个个形状、大小相对均一的超像素；另外，SLIC方法只需输入预期超像素的个数便能将整幅图像过分割为指定分割粒度的超像素。

2、超像素特征提取

为了对超像素进行分类，首先要对超像素进行特征提取。综合考虑到脑部图像灰度、纹理以及局部特性，本发明提取每个超像素的平均灰度特征、基于灰度共生矩阵的纹理特征以及局部灰度特征。具体表示如表1和表2所示。

表1给出了一个超像素S的灰度特征、基于灰度共生矩阵的纹理特征以及局部特征。

表1特征描述

在表1中，S(i)表示超像素S中的第i个像素。Ns表示超像素S的邻居超像素集合。Ns(i)该超像素的i个邻居的值。g(i,j)是灰度共生矩阵中第(i,j)个元素。表2列出了灰度共生矩阵中变量的表达形式。

表2灰度共生矩阵中的变量表达形式

3、显著性学习

超像素特征提取完成后，将超像素作为分割模型处理的基本单元。本发明首先使用基于字典学习和稀疏表达方法对目标区域进行检测，然后利用高斯概率密度函数计算目标的概率图，该概率是基于像素的空间位置信息获得的，与像素的灰度特性无关，因此对于灰度不同质性具有一定的鲁棒性。

(1)字典构造。本发明采用K-means方法对超像素方法进行聚类，构造字典。假设在训练集中有N个病人的数据，则对每个病人的每一类(病灶区类或者背景类)使用K-means聚成K类，则N个病人的数据共可聚成2KN类，可以获得2KN个聚类中心。这些聚类中心组成字典D，如下式所示

D＝[C_1，1,C_1，2,...,C_1K,B_1，1,B_1，2,...,B_1，K,...,C_z,v,...,B_z,v,...,C_N,1,...C_N,K,B_N,1,...,B_N,K](1)

其中，

C_z,v表示第z个病人的来自病灶区区域的第v个聚类中心；

B_z,v表示第z个病人的来自背景区域的第v个聚类中心；

(2)初始目标区域检测。本发明通过利用SRC(sparse representation basedclassification)对超像素进行分类，完成对初始目标区域的检测。字典构建完成后，使用稀疏表达对每个超像素进行分类。对于一个测试超像素,使用稀疏表达对其进行分类的过程可以形式化为公式(2)所示

公式(2)中，f_c是稀疏系数，f_L是步骤(13)得到的融合之后的特征。通过最小化L₁范数||f_c||₁，得到f_c的值。使用MATLAB的SLEP工具箱进行求解，获得f_c的解后，使用公式(3)获得超像素的分类结果r_m(f_L)，其中，f_c-m表示稀疏系数向量f_c中第m类的权重值。

r_m(f_L)＝||f_L-Df_c-m||₂，m＝1,2,…2KN>

根据公式(3)计算得到2KN个r_m(f_L)，当r_m(f_L)的值最小时，对应类别就是超像素的类别。

(3)显著性映射计算。基于获得目标的初始区域的空间位置信息，本发明利用高斯概率密度函数计算每个像素的概率。如公式(11)所示

在上式中，P(l|x)表示像素点x属于目标的概率.l是像素x的标记,当x属于目标，l的值是1，否则是0.像素c是检测到的目标的中心点。Cord(x)表示像素x的空间位置.σ近似表示目标的直径.Ω_C表示探测到的目标的区域，Ω_B表示探测到的背景的区域。

4、显著性增强图像变换

获得显著性映射图后，利用公式(4)对图像进行显著性增强变换，获得显著性增强的图像。

I_s＝MI₀(4)

在公式(4)中，I_s是获得的显著性增强图，M是获得的显著性映射图，I₀是原始图像。

5、基于显著性学习卷及神经网络的分割

在训练阶段，获得显著性增强的图像后，将图像分成若干图像块。利用卷积神经网络进行训练。

在分割阶段，获得显著性增强的图像后，将图像分成若干图像块。利用卷积神经网络进行分类。分类结果即为分割结果。

所使用的卷积神经网络基本架构如图1所示。一般来说，卷积神经网络由卷积层、池化层全连接层等构成。卷积层通过对图像进行卷积运算学到图像中不同层次的局部特点。为了减少计算量，卷积层后面一般会加池化层，卷积层的输出是池化层的输入。池化层一般采用最大池化法对输入映射进行降采样，即在一个邻域内选择该邻域内最大的点来代表该邻域。池化层能够减少映射的大小，从而降低计算复杂度。经过后面几层的卷积层-池化层循环之后，会接一个全连接层。该层将池化层的所有输出映射转换为一个列向量。一般一个全连接层后面连接一个输出层，输出层经过一个softmax函数输出样本属于每个类的概率，选择概率最大的作为该输入图片的类别。通常使用随机梯度下降法对卷积神经网络的权重进行求解。

本发明的方法进行了初步的实验，图3(a)为待分割的脑部MR图像，实验结果如图3(b)所示，利用本发明的方法实现了脑部MR图像中的白质分割。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。