基于生成式对抗网络的胃癌病理切片图像分割预测方法

摘要

本发明公开了一种基于生成式对抗网络的胃癌病理切片图像分割预测方法，该方法包括下述步骤：基于图像增强技术提取图像的形态特征和感兴趣的区域；基于多尺度全卷积网络的分割模型M‑FCN对图像进行分割，在单个全卷积网络设置卷积层、池化层和反卷积层，池化层操作和卷积层操作交替组合进行，通过卷积池化操作，提取不同尺度细胞组织特征，通过反卷积层恢复图像大小；基于空洞卷积原理得到优化的分割模型M‑DFCN；基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M‑DFCN做更高阶的约束与判断，进行对抗训练；基于动态交替训练的对抗训练进行结果预测，区分分割图和分割标签图。本发明提高分割模型的性能，使得分割图更真实。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于生成式对抗网络的胃癌病理切片图像分割预测方法。

背景技术

由于病理切片可以用扫描仪扫描为数字病理切片，并能够储存在计算机中，因此利用计算机的方法对数字病理切片进行诊断也成为了可能，同时还能够减轻医生的工作量。目前，基于UNet等的分割网络已经能够利用深度学习技术对数字病理切片实现较为精确的分割，但是普遍存在以下问题：

(1)网络复杂度高，分割网络会含带大量参数，在训练阶段时需要耗费大量硬件资源和时间，同时预测结果的运行效率也不够高；

(2)存在假阳性的现象，许多早期恶性肿瘤的病理切片中只包含了很少癌变区域，早期恶性肿瘤病理切片中癌变区域的稀疏性导致了预测结果中假阳性的问题偏多；

(3)多尺度信息未能充分捕捉，病理切片中病灶大小、形态往往存在巨大差异。这需要神经网络可以同时捕捉粗粒度的腺体特征和细粒度的细胞特征。但现有的分割网络对不同尺度的信息挖掘依然不够充分。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于生成式对抗网络的胃癌病理切片图像分割预测方法，解决分割标签图和分割图(预测值)之间的高阶不一致性，通过更高阶的约束，利用分割标签图对初步分割的图像进行对比校正，构建对抗训练的网络，以此来优化分割网络，从而提高分割模型的性能，能够让分割图看起来尽可能的真实。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于生成式对抗网络的胃癌病理切片图像分割预测方法，包括下述步骤：

基于图像增强技术提取图像的形态特征和感兴趣的区域；

基于多尺度全卷积网络的分割模型M-FCN对图像进行分割，采用具有不同尺寸的卷积核的全卷积网络模型，对胃癌病理切片图像同时进行卷积，在单个全卷积网络上设置卷积层、池化层和反卷积层，池化层操作和卷积层操作交替组合进行，通过卷积池化操作，提取不同尺度的细胞组织特征，通过反卷积层恢复图像大小；

基于空洞卷积原理得到优化的分割模型M-DFCN；

基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M-DFCN做更高阶的约束与判断，进行对抗训练；

基于动态交替训练的对抗训练进行结果预测，区分分割图和分割标签图。

作为优选的技术方案，基于图像增强技术提取图像的形态特征，具体步骤包括：

使用限制对比度自适应直方图均衡化算法去除噪声和增强图像；

基于图像的灰度统计对图像执行自定义非线性调整；

采用图像增强对数据集进行扩充。

作为优选的技术方案，所述基于空洞卷积原理得到优化的分割模型M-DFCN，具体步骤包括：

采用tanh激活函数，并在第一层和第四层网络中去掉池化操作，设置空洞率；

在第五层通过反卷积，使图像恢复到与原始图像大小相同的分割图像；

通过Softmax激活函数，对于不同尺度的全卷积网络得到的分割结果，将多个神经元输出，映射到(0，1)区间内，从而进行分类，得到每一个像素分类的标签的概率；

通过等权重融合方式，选择最终分割的标签，得到分割结果。

作为优选的技术方案，所述基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M-DFCN做更高阶的约束与判断，进行对抗训练，具体步骤包括：

采用交替训练的方式，分别训练分割模型M-DFCN和判别网络；

训练判别网络，定义损失函数为：

设置参数使得第一项D(X

训练分割模型M-DFCN，定义损失函数为：

调整参数使得损失函数最小化。

作为优选的技术方案，所述基于动态交替训练的对抗训练进行结果预测，具体步骤包括：

分别绘制训练集和数据集的模型损失、分割准确率和分割Dice系数的折线图，采用边训练边测试的方式进行，通过准确率和Dice系数判断训练结果。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于生成式对抗网络的胃癌病理切片图像分割预测系统，包括：数据预处理模块、图像分割模块、模型优化模块、对抗训练模块和预测模块；

所述数据预处理模块用于基于图像增强技术提取图像的形态特征和感兴趣的区域；

所述图像分割模块用于基于多尺度全卷积网络的分割模型M-FCN对图像进行分割，采用具有不同尺寸的卷积核的全卷积网络模型，对胃癌病理切片图像同时进行卷积，在单个全卷积网络上设置卷积层、池化层和反卷积层，池化层操作和卷积层操作交替组合进行，通过卷积池化操作，提取不同尺度的细胞组织特征，通过反卷积层恢复图像大小；

所述模型优化模块用于基于空洞卷积原理得到优化的分割模型M-DFCN；

所述对抗训练模块用于基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M-DFCN做更高阶的约束与判断，进行对抗训练；

所述预测模块用于基于动态交替训练的对抗训练进行结果预测，区分分割图和分割标签图。

为了达到上述第三目的，本发明采用以下技术方案：

一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现上述基于生成式对抗网络的胃癌病理切片图像分割预测方法。

为了达到上述第四目的，本发明采用以下技术方案：

一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于生成式对抗网络的胃癌病理切片图像分割预测方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)针对图像背景模糊不清、特征难以提取、检索精度低的问题，本发明使用了多尺度卷积核的全卷积网络进行计算，面对大小尺度不一的图像时可以更好地进行特征提取；

(2)针对卷积神经网络在计算过程中使用池化层扩大感受野的同时会损失像素信息，然而这些像素信息又对分割结果非常重要，本发明使用了多尺度全卷积网络，并结合空洞卷积，能够有效的改善池化过程中像素信息的丢失；

(3)针对黄金分割标签图与分割图之间的高阶不一致性，本发明使用了生成式对抗网络的方法，通过更高阶的约束，利用分割标签图对初步分割的图像进行对比校正，构建对抗训练的网络，以此来优化分割网络，从而提高分割模型的性能，能够让分割图看起来尽可能的真实。

附图说明

图1为本发明基于生成式对抗网络的胃癌病理切片图像分割预测方法的流程示意图；

图2为本发明全卷积网络的网络模型示意图；

图3为本发明生成式对抗训练网络整体架构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种基于生成式对抗网络的胃癌病理切片图像分割预测方法，包括下述步骤：

S1：基于图像增强技术提取图像的形态特征和感兴趣的区域(ROI)，进行相关的预处理和数据集的扩充操作，提供高质量的图像信息；

在本实施例中，基于图像增强技术提取图像的形态特征，具体步骤包括：

首先使用限制对比度自适应直方图均衡化算法去除噪声和增强图像；

然后再基于图像的灰度统计对图像执行自定义非线性调整，这里主要使用的方法为指数变换；

再进一步执行图像增强的功能。

S2：基于多尺度全卷积网络的分割模型M-FCN，对拥有复杂背景的图像进行第一步的分割，具体步骤包括：

如图2所示，采用具有不同尺寸的卷积核的四个全卷积网络模型，对胃癌病理切片图像同时进行卷积，使得提取的特征层次更加丰富；

在单个全卷积网络上设置卷积层、池化层和反卷积层，四个全卷积网络的卷积核大小有所差别，每一个单个的全卷积网络要单独设置；

做四层的池化操作，和卷积层交替组合进行，通过卷积池化操作，提取不同尺度的细胞组织特征；

通过反卷积层，恢复图像大小。

S3：基于空洞卷积原理，得到优化的分割模型M-DFCN，减轻全卷积网络在计算过程中的像素信息丢失，具体步骤包括：

采用tanh激活函数，并在第一层和第四层网络中去掉池化操作，设置空洞率，以此来代替池化层作用；

在第五层通过反卷积，使图像恢复到与原始图像大小相同的分割图像；

通过Softmax激活函数，对于四个不同尺度的全卷积网络得到的分割结果，将多个神经元输出，映射到(0，1)区间内，从而进行分类，得到每一个像素分类的标签的概率；

通过等权重融合方式，选择最终分割的标签，得到分割结果。

S4：基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M-DFCN做更高阶的约束与判断，进行对抗训练，具体步骤包括：

如图3所示，采用交替训练的方式，分别训练分割网络和判别网络(其中的分割网络为前文所述的M-FCN和M-DFCN模型，判别网络用于区分分割图和分割标签图)；

首先训练判别网络，定义损失函数：

设置参数使得第一项D(X

其次训练分割网络，定义损失函数：

同上调整参数使得损失函数最小化；

多次训练分割网络后，再训练一次判别网络。在多次训练判别网络之后，固定判别网络的参数，再次训练分割网络。但此时仍然要确保分割网络损失函数的第一项越来越小，接下来固定分割网络参数，再来训练判别网络，使其在能够更好地区分分割图和分割标签图；

重复上述步骤，直到判别器不能够容易地区分分割标签图和分割网络的输出图；同时分割网络也能够生成可以迷惑判别器的分割图。

S5：基于动态交替训练的对抗训练进行结果预测，具体步骤包括：

分别绘制训练集和数据集的模型损失、分割准确率和分割Dice系数的折线图。由于对抗训练的存在，即分割网络和判别网络交替训练，实现过程中会存在分割网络参数固定和判别网络参数固定的阶段，故应该采用边训练边测试的方式进行，通过观察准确率和Dice系数可以评判训练结果的好坏程度。

其中准确率为：

Dice系数为：

式中：TP：真正例，即真实值和预测值均为1；

FP：假正例，即真实值为0而预测值为1；

TN：真反例，即真实值和预测值均为0；

FN：假反例，即真实值为1而预测值为0。

实施例2

本实施例提供一种基于生成式对抗网络的胃癌病理切片图像分割预测系统，包括：数据预处理模块、图像分割模块、模型优化模块、对抗训练模块和预测模块；

在本实施例中，数据预处理模块用于基于图像增强技术提取图像的形态特征和感兴趣的区域；

在本实施例中，图像分割模块用于基于多尺度全卷积网络的分割模型M-FCN对图像进行分割，采用具有不同尺寸的卷积核的全卷积网络模型，对胃癌病理切片图像同时进行卷积，在单个全卷积网络上设置卷积层、池化层和反卷积层，池化层操作和卷积层操作交替组合进行，通过卷积池化操作，提取不同尺度的细胞组织特征，通过反卷积层恢复图像大小；

在本实施例中，模型优化模块用于基于空洞卷积原理得到优化的分割模型M-DFCN；

在本实施例中，对抗训练模块用于基于生成式对抗网络的博弈思想，通过对抗训练对分割模型M-DFCN做更高阶的约束与判断，进行对抗训练；

在本实施例中，预测模块用于基于动态交替训练的对抗训练进行结果预测，区分分割图和分割标签图。

实施例3

本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的基于生成式对抗网络的胃癌病理切片图像分割预测方法。

实施例4

本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于生成式对抗网络的胃癌病理切片图像分割预测方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。