一种基于图像补全的肿瘤图像脑区分割方法及系统

摘要

本发明公开了一种基于图像补全的肿瘤图像脑区分割方法及系统。该方法包括：获取待分割肿瘤图像和肿瘤掩膜；将待分割肿瘤图像和肿瘤掩膜输入至补全网络中，得到补全后的待分割图像；补全网络是以正常脑图像和随机掩膜作为训练集，以整体损失函数最小为目标，对PconvUnet网络进行训练得到的；将补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区；分割网络是以正常脑图像和对应的图像标签作为训练集，以相似性测度损失函数或交叉熵损失函数最小为目标，对Unet网络进行训练得到的。本发明能提高肿瘤图像脑区分割的准确性。

说明书

技术领域

本发明涉及图像分割领域，特别是涉及一种基于图像补全的肿瘤图像脑区分割方法及系统。

背景技术

脑部肿瘤多生长在颅腔，又称颅内肿瘤、脑癌，可起源于脑、脑膜、神经、血管及脑附件，或由身体的其他组织或脏器转移侵入颅内形成。脑瘤的发生率约为1.9～5.4人/(年·10万人)，占全身各种肿瘤的1％～3％。临床主要使用CT(电子计算机断层扫描)和MRI(磁共振成像)得到的脑影像数据进行医学图像处理。

医学图像(如MRI图像)由于图像获取设备的影响，会出现对比度低、信噪比低、光强低等问题；且器官本身存在运动和形变(如心脏)，个体之间也有差异。这些因素导致了医学图像分割的难度和其自身的算法设计特点。脑肿瘤图像由于肿瘤部分及其周围发生的形变使得分割变得尤为困难。

现有的肿瘤图像脑区分割方法有以下几种：1)手动标注肿瘤脑区。2)通过传统的脑分区模型进行分割：该方法利用正常脑图像训练得到的脑区分模型进行肿瘤图像脑区分割。3)通过配准进行分割：该方法利用正常脑图像训练得到的配准模型或软件对肿瘤图像进行配准后再分割。4)训练肿瘤图像脑分区网络：该方法使用肿瘤图像和肿瘤图像脑区标注进行训练，得到模型用于分割。

现有的肿瘤图像脑区分割方法具有如下缺点：1)手动标注肿瘤脑区：手动标注肿瘤脑区面临着人工成本高、主观性较强的问题。2)通过传统的脑分区模型进行分割：该方法由于肿瘤图像和正常脑图像在肿瘤部分差距较大，造成肿瘤部分分割结果较差。3)通过配准进行分割：脑肿瘤图像的配准由于肿瘤部分的存在导致与正常脑图像的差距较大，配准的效果差，进而影响分割效果。4)训练肿瘤图像脑分区网络：该方法由于肿瘤的位置和形态较为多样，肿瘤数据较少等问题，导致网络学习肿瘤图像脑区分割较为困难。因此，如何实现高精度的肿瘤图像脑区分割成为目前亟待解决的问题。

发明内容

基于此，有必要提供一种基于图像补全的肿瘤图像脑区分割方法及系统，以提高肿瘤图像脑区分割的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于图像补全的肿瘤图像脑区分割方法，包括：

获取待分割肿瘤图像和肿瘤掩膜；

将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中，得到补全后的待分割图像；所述补全网络是以正常脑图像和随机掩膜作为训练集，以整体损失函数最小为目标，对PconvUnet网络进行训练得到的；所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的；

将所述补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区；所述分割网络是以所述正常脑图像和对应的图像标签作为训练集，以相似性测度损失函数或交叉熵损失函数最小为目标，对Unet网络进行训练得到的。

可选的，所述补全网络的确定方法为：

获取正常脑图像；

随机生成二值掩膜，得到随机掩膜；

将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像；

构建PconvUnet网络；所述PconvUnet网络包括部分卷积层、编码层和解码层；所述解码层的连接方式为跳跃连接；当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入；

以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入，以所述正常脑图像作为所述PconvUnet网络的输出，以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到补全网络。

可选的，所述分割网络的确定方法为：

获取正常脑图像和对应的图像标签；

构建Unet网络；

以所述正常脑图像作为所述Unet网络的输入，以所述图像标签作为所述Unet网络的输出，以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到分割网络。

可选的，所述整体损失函数为：

其中，

可选的，所述获取待分割肿瘤图像和肿瘤掩膜，具体包括：

获取待分割肿瘤图像；

对所述待分割肿瘤图像进行纵向切片，得到真实形状2D掩膜数据；

对所述真实形状2D掩膜数据依次进行二值化和膨胀操作，得到肿瘤掩膜。

可选的，所述将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像，具体包括：

对所述正常脑图像沿纵向进行切片，得到横断位2D正常脑图像数据；

对所述横断位2D正常脑图像数据进行归一化处理，得到2D脑图像；

将所述2D脑图像与所述随机掩膜相结合得到带孔洞脑图像。

本发明还提供了一种基于图像补全的肿瘤图像脑区分割系统，包括：

图像获取模块，用于获取待分割肿瘤图像和肿瘤掩膜；

补全图像确定模块，用于将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中，得到补全后的待分割图像；所述补全网络是以正常脑图像和随机掩膜作为训练集，以整体损失函数最小为目标，对PconvUnet网络进行训练得到的；所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的；

脑区分割模块，用于将所述补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区；所述分割网络是以所述正常脑图像和对应的图像标签作为训练集，以相似性测度损失函数或交叉熵损失函数最小为目标，对Unet网络进行训练得到的。

可选的，所述基于图像补全的肿瘤图像脑区分割系统还包括：补全网络确定模块；所述补全网络确定模块具体包括：

第一图像获取单元，用于获取正常脑图像；

随机掩膜生成单元，用于随机生成二值掩膜，得到随机掩膜；

孔洞图像生成单元，用于将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像；

第一网络构建单元，用于构建PconvUnet网络；所述PconvUnet网络包括部分卷积层、编码层和解码层；所述解码层的连接方式为跳跃连接；当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入；

第一训练单元，用于以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入，以所述正常脑图像作为所述PconvUnet网络的输出，以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到补全网络。

可选的，所述基于图像补全的肿瘤图像脑区分割系统还包括：分割网络确定模块，所述分割网络确定模块具体包括：

第二图像获取单元，用于获取正常脑图像和对应的图像标签；

第二网络构建单元，用于构建Unet网络；

第二训练单元，用于以所述正常脑图像作为所述Unet网络的输入，以所述图像标签作为所述Unet网络的输出，以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到分割网络。

可选的，所述补全图像确定模块中的所述整体损失函数为：

其中，

与现有技术相比，本发明的有益效果是：

本发明提出了一种基于图像补全的肿瘤图像脑区分割方法及系统，将待分割肿瘤图像和肿瘤掩膜输入至补全网络中，得到补全后的待分割图像，将补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区，这样使用补全网络和分割网络的串联系统，可以用同一批数据训练两个网络，无需用肿瘤数据重新训练模型，能够很好地实现肿瘤图像脑区分割，提高了肿瘤图像脑区分割的准确性，分割效果好；本发明将待分割肿瘤图像补全为正常脑图像，进一步进行分割，适用于一般传统分割模型，适应性好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于图像补全的肿瘤图像脑区分割方法的流程图；

图2为本发明实施例提供的PconvUnet网络的结构示意图；

图3为本发明实施例提供的补全网络的训练过程示意图；

图4为本发明实施例提供的Unet网络的结构示意图；

图5为本发明实施例提供的分割网络的训练过程示意图；

图6为本发明实施例提供的补全网络和分割网络的串联系统的示意图；

图7为以包含肿瘤的T2图像作为待分割肿瘤图像的分割方法的流程图；

图8为本发明实施例提供的基于图像补全的肿瘤图像脑区分割系统的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例提供的基于图像补全的肿瘤图像脑区分割方法，通过部分卷积Unet网络(PconvUnet网络)，同时更新待分割肿瘤图像(待补全图像)和肿瘤掩膜，将待分割肿瘤图像补全为正常脑图像，再将补全后的图像输入分割模型得到待分割肿瘤图像的脑区分割图像。

图1为本发明实施例提供的基于图像补全的肿瘤图像脑区分割方法的流程图。

参见图1，本实施例中的基于图像补全的肿瘤图像脑区分割方法，包括：

步骤101：获取待分割肿瘤图像和肿瘤掩膜。

所述步骤101，具体包括：获取待分割肿瘤图像；对所述待分割肿瘤图像进行纵向切片，得到真实形状2D掩膜数据；对所述真实形状2D掩膜数据依次进行二值化和膨胀操作，得到肿瘤掩膜。

步骤102：将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中，得到补全后的待分割图像；所述补全网络是以正常脑图像和随机掩膜作为训练集，以整体损失函数最小为目标，对PconvUnet网络进行训练得到的；所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的。

其中，所述补全网络的确定方法为：

1)获取正常脑图像。

2)随机生成二值掩膜，得到随机掩膜。

3)将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像。具体为：对所述正常脑图像沿纵向进行切片，得到横断位2D正常脑图像数据；对所述横断位2D正常脑图像数据进行归一化处理，得到2D脑图像；将所述2D脑图像与所述随机掩膜相结合得到带孔洞脑图像。

4)构建PconvUnet网络；所述PconvUnet网络包括部分卷积层、编码层和解码层；所述解码层的连接方式为跳跃连接；当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入。对PconvUnet网络的具体描述如下：

PconvUnet网络结构在U-net网络的基础上，将传统卷积层替代为部分卷积层，在网络的解码层(上采样层)使用最近邻上采样(在待求像素的四邻像素中，距离待求像素最近像素的灰度即为待求像素的灰度)，解码层输入采用跳跃连接，将上一卷积层的输出与对应的编码层(下采样层)输出结合作为下一层的输入，在该网络中分别将特征映射和掩膜进行连接，作为下一部分卷积层的输入。最后一个部分卷积层的输入包含初始的带孔洞图像以及初始掩膜，由此模型可以学习到输入图像非孔洞部分的像素。动态地使得不同层的掩膜对损失函数表现出不同的贡献，使得训练学习过程表现出从孔洞外面逐渐缩小孔洞学习的机制。底层网络学习孔洞外围，高层网络学习孔洞内侧。PconvUnet网络结构如图2所示。

下面对部分卷积层进行详细的描述：

部分卷积层(Partial Convolutional Layer)存在图像的部分卷积运算以及掩膜的更新两个部分。

在图像的部分卷积运算中每一层的部分卷积为：

W为卷积核权重，b是与W对应的卷积核偏置，X表示当前卷积窗的特征值，M是与X相对应的二值掩膜(其中1为有效值，0为孔洞)，sum(1)中的1代表一个与M形状相同的全1数组，sum(1)表示全1数组中元素的和，sum(M)表示M中元素的和，⊙表示逐元素相乘，sum(1)/sum(M)是对未遮挡部分输入的权重调整。

在掩膜更新部分，每一层的掩膜为：

即在当前卷积核的范围内，若M存在一个或一个以上有效值，更新后的掩膜在该位置被视为有效。

5)以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入，以所述正常脑图像作为所述PconvUnet网络的输出，以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到补全网络。补全网络的训练过程如图3所示。

整体损失函数的具体确定方法为：

本实施例中损失函数的设计主要考虑孔洞值是否能平滑的过渡到周围像素，因此损失函数包括每个像素的重建效果以及孔洞部分和原始非孔洞部分的结合。

其中，M为二值掩膜(其中1为有效值，0为孔洞值)，I

L

上述L

其中，

R为孔洞部分向外膨胀一个像素所得区域，i、j为当前像素所在位置的横纵坐标，当前像素分别与该像素横向和纵向的下一个像素进行差值后计算L1损失，

由上述几个损失函数分别加上不同的权重进行结合，即可得到整体损失函数，其计算公式为：

其中，

步骤103：将所述补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区；所述分割网络是以所述正常脑图像和对应的图像标签作为训练集，以相似性测度损失函数或交叉熵损失函数最小为目标，对Unet网络进行训练得到的。

其中，所述分割网络的确定方法为：

1)获取正常脑图像和对应的图像标签。

2)构建Unet网络。

本实施例采用Unet作为分割网络，医疗影像语义较为简单、结构较为固定。器官本身结构固定和语义信息没有特别丰富，所以图像的高级语义信息和低级特征都显得很重要。Unet网络进行了4次下采样，4次上采样将。下采样层将上采样得到的高级语义特征图恢复到原图片的分辨率。并使用了跳跃连接，保证最后恢复出来的特征图融合了更多的下层特征，使得分割图恢复边缘等信息更加精细。Unet网络具体结构如图4所示。

3)以所述正常脑图像作为所述Unet网络的输入，以所述图像标签作为所述Unet网络的输出，以相似性测度损失函数(例如集合相似度度量损失函数)或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到分割网络。分割网络的训练过程如图5所示。

分割网络训练过程中采用的损失函数主要为集合相似度度量损失函数(diceloss)或者交叉熵损失函数(Cross Entropy Loss)。

a.集合相似度度量损失函数(dice loss)

通常用于计算两个样本的相似度，取值范围在[0,1]，具体公式为：

其中|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数，其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素。

b.交叉熵损失函数(Cross Entropy Loss)

交叉熵描述了两个概率分布之间的距离，当交叉熵越小说明二者之间越接近。具体计算公式为：

其中x为输入，通常为多维矩阵。class为类别，通常为数。x[k]为x中类别为k的像素，x[class]为x中类别为class的像素。

本实施例的补全网络和分割网络的串联系统如图6所示。该方法基于图像补全的肿瘤图像脑区分割方法，采用PconvUnet网络结构，采用部分卷积层(PartialConvolutional Layer)代替传统卷积层，部分卷积层包含生成掩膜和重新归一化，能在不改变输入掩膜的情况下分析图像信息。动态地使得不同层的掩膜对损失函数表现出不同的贡献，使得训练学习过程表现出从孔洞外面逐渐缩小孔洞学习的机制。底层网络学习孔洞外围，高层网络学习孔洞中心。这样使用补全网络和分割网络的串联系统，可以用同一批数据训练两个网络，无需用肿瘤数据重新训练模型；将肿瘤图像补全为正常脑图像，进一步进行分割，适用于一般传统分割模型。

下面以包含肿瘤的T2图像作为待分割肿瘤图像，对基于图像补全的肿瘤图像脑区分割方法进行说明，整个过程通过补全模型和分割模型的串联系统即可实现，无需对肿瘤图像进行训练。其大体思路如下：a.原始数据，采用无肿瘤T2磁共振影像。b.对原始数据进行预处理。c.生成二值掩膜，包括随机圆、椭圆和真实肿瘤掩膜。d.使用T2磁共振影像、二值掩膜作为训练集，通过反向传播及梯度下降算法对PconvUnet网络进行训练学习，选取预测精度高，泛化性能强的模型参数进行保存，得到补全模型。e.将T2带掩膜肿瘤图像输入补全模型得到补全后的T2肿瘤图像。f.使用T2磁共振影像和图像标签作为训练集，通过反向传播及梯度下降算法对Unet网络进行训练学习，选取预测精度高，泛化性能强的模型参数进行保存，得到分割模型。g.将补全后的T2肿瘤图像输入分割模型得到肿瘤图像脑分区。

如图7所示，以包含肿瘤的T2图像作为待分割肿瘤图像的分割方法的具体实现过程如下：

S1：构建原始输入。原始输入影像为T2磁共振影像。

S2：生成二值掩膜。

生成随机大小、随机位置的椭圆或圆作为掩膜，由于脑室部分灰度变化较大且存在细节偏多，因此脑室部分的掩膜数量可相应增多。生成真实掩膜，对3D肿瘤标签图像进行纵向切片，得到真实形状2D掩膜数据，对该数据进行二值化和膨胀的操作，得到真实掩膜。真实掩膜和椭圆掩膜的数量比例为1：1。二值掩膜中1为有效值，0为孔洞。

S3：对原始输入图像进行预处理操作并利用预处理后的原始输入图像构建训练集；所述预处理操作包括对3D正常脑图像数据沿纵向进行切片，得到横断位2D正常脑图像数据。对切片所得的数据进行归一化处理。生成带孔洞图像，将生成的2D脑图像与二值掩膜相结合得到带孔洞2D脑图像。

S4：构建肿瘤补全模型PconvUnet。PconvUnet模型在此不在赘述。

S5：将正常人T2磁共振影像和二值掩膜作为输入，在整体损失函数的基础上，通过反向传播和梯度下降算法对PconvUnet网络进行训练学习，选取预测精度高、泛化性能强的模型保存为补全模型。

S6：将T2带肿瘤的图像和肿瘤二值掩膜作为补全模型的输入得到补全后的T2肿瘤图像。

S7：构建肿瘤脑区分割模型Unet。Unet模型在此不在赘述。

S8：将正常人T2磁共振影像和脑图像分区标签作为输入，在交叉熵损失函数的基础上，通过反向传播和梯度下降算法对Unet网络进行训练学习，选取预测精度高、泛化性能强的模型保存为分割模型。

S9：将补全后的T2肿瘤图像作为分割模型的输入得到T2肿瘤图像脑分区。

上述基于图像补全的肿瘤图像脑区分割使用补全模型和分割模型的串联系统来进行肿瘤图像脑区分割，可以仅通过对正常脑图像的学习来进行肿瘤图像脑区分割；通过深度学习的方法使用部分卷积层，仅对有效值部分进行卷积，提高了有效像素的利用率；采用同一批数据训练补全模型和分割模型，减少了对数据量的需求；使用将肿瘤图像补全后分割的方法，不仅适用于Unet的分割网络，对一般分割模型均有效。

本发明还提供了一种基于图像补全的肿瘤图像脑区分割系统，图8为本发明实施例提供的基于图像补全的肿瘤图像脑区分割系统的结构图。

参见图8，本实施例的基于图像补全的肿瘤图像脑区分割系统包括：

图像获取模块201，用于获取待分割肿瘤图像和肿瘤掩膜。

补全图像确定模块202，用于将所述待分割肿瘤图像和所述肿瘤掩膜输入至补全网络中，得到补全后的待分割图像；所述补全网络是以正常脑图像和随机掩膜作为训练集，以整体损失函数最小为目标，对PconvUnet网络进行训练得到的；所述整体损失函数是由感知损失函数、风格损失函数、全变分损失函数以及网络输出预测图像与真实图像的损失函数确定的。

脑区分割模块203，用于将所述补全后的待分割图像输入至分割网络中，得到待分割肿瘤图像的脑分区；所述分割网络是以所述正常脑图像和对应的图像标签作为训练集，以相似性测度损失函数或交叉熵损失函数最小为目标，对Unet网络进行训练得到的。

作为一种可选的实施方式，所述基于图像补全的肿瘤图像脑区分割系统还包括：补全网络确定模块；所述补全网络确定模块具体包括：

第一图像获取单元，用于获取正常脑图像。

随机掩膜生成单元，用于随机生成二值掩膜，得到随机掩膜。

孔洞图像生成单元，用于将所述正常脑图像和所述随机掩膜结合生成带孔洞脑图像。

第一网络构建单元，用于构建PconvUnet网络；所述PconvUnet网络包括部分卷积层、编码层和解码层；所述解码层的连接方式为跳跃连接；当前卷积层的输出和对应的编码层的输出均作为下一解码层的输入。

第一训练单元，用于以所述带孔洞脑图像和所述随机掩膜作为所述PconvUnet网络的输入，以所述正常脑图像作为所述PconvUnet网络的输出，以整体损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到补全网络。

作为一种可选的实施方式，所述基于图像补全的肿瘤图像脑区分割系统还包括：分割网络确定模块，所述分割网络确定模块具体包括：

第二图像获取单元，用于获取正常脑图像和对应的图像标签。

第二网络构建单元，用于构建Unet网络。

第二训练单元，用于以所述正常脑图像作为所述Unet网络的输入，以所述图像标签作为所述Unet网络的输出，以相似性测度损失函数或交叉熵损失函数最小为目标采用反向传播及梯度下降算法进行训练学习，得到分割网络。

作为一种可选的实施方式，所述补全图像确定模块中的所述整体损失函数为：

其中，

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。