一种基于SENet的胃癌病理切片图像分割预测方法

摘要

本发明公开了一种基于SENet的胃癌病理切片图像分割预测方法，该方法的步骤包括：基于大津算法与密铺算法生成图像块和对应真实标签；基于SENet模块组成多路卷积单元；基于多路卷积单元和跨层跳跃连接搭建网络模型；基于随机抽样方法训练网络模型；基于密铺算法重建预测结果。本发明可以将特征图谱进行组合，获取更丰富、维度更高的特征信息来表征图像，防止遗漏较小的特征区域，同时由于SENet模块的引入，可使网络学习利用全局信息执行特征重新校准，从而增强整个网络的表答能力，有效避免在训练过程中模型易忽略较小特征区域的情况，提高整体预测的正确率。

说明书

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于SENet的胃癌病理切片图像分割预测方法。

背景技术

近年来深度学习被广泛的用于病理学图像研究中，目前已有基于CNN和基于UNet等网络的模型实现了对胃癌数字病理切片分割，但这些方法仍存在一些问题：

(1)模型复杂度高。分割网络包含庞大的参数量，训练模型需要耗费大量硬件资源和时间成本，导致预测时效率不高；

(2)已有模型对病灶宏观检测效果较好，但对微小病灶检测效果较差，导致模型整体检测率偏低。而早期恶性肿瘤病理切片中往往只包含很少的癌变区域，晚期的切片中病灶已经非常明显。模型如果检测不出微小病灶，就做不到“早发现”，导致错过“早治疗”的黄金时间。

(3)多尺度信息未能得到充分捕捉。病理切片中病灶的大小、形态往往存在很大的差异，腺体、细胞形态也是很重要的特征。现有分割网络对不同尺度信息的挖掘仍然不够充分。

发明内容

为了克服现有技术存在的缺陷与不足，本发明提供一种基于SENet的胃癌病理切片图像分割预测方法，解决已有模型存在的复杂度高、对微小病灶检测效果不好的问题，可以对胃癌全视野病理切片图像实现分割。

本发明的第二目的在于提供一种基于SENet的胃癌病理切片图像分割预测系统。

本发明的第三目的在于提供一种计算机可读存储介质。

本发明的第四目的在于提供一种计算设备。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于SENet的胃癌病理切片图像分割预测方法，包括下述步骤：

基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；

基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；

基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；

基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。

作为优选的技术方案，所述基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，具体步骤包括：

根据标注文件生成阳性区域标注掩码图，基于大津算法在病理切片上提取前景组织生成组织掩码图，再将标注掩码图和组织掩码图做与运算得到滤除空腔的标注掩码图。

作为优选的技术方案，所述基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：

在原切片和标注掩码图左上角设定一正方形滑动窗口，以窗口边长为步长开始滑动；

窗口触碰图片右边缘时向左回溯，并以窗口边长为距离向下滑动一次，再向右滑动，重复操作至窗口滑动到右下角；

分别将原切片和标注掩码图中滑动窗口选中区域保存为图像块和图像块对应标签。

作为优选的技术方案，所述基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：

级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块；

将特征图谱h

将串联第一输出与特征图谱h

将特征图谱h

将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出。

作为优选的技术方案，所述在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接，多路卷积单元内部分两路进行，第一路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元第一路的输入，第二路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元第二路进行串联；

第一路、第二路获取的特征图谱再进行串联作为下一卷积单元第二路的输入；

将得到的图谱依次通过GAP层、Dropout层和Dense层。

作为优选的技术方案，所述训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集，具体步骤包括：

根据预处理得到的输入图片数据集生成数据集掩码；

统计数据集中阳性样本数量，用总样本数减去阳性样本数得到纯阴性样本数，若纯阴性样本多于阳性样本，则随机抽样与阳性样本相同数量的阴性样本；

若阴性样本数量少于阳性样本数量，则保留阴性样本；

从所得阴性样本中随机抽样得到与阳性样本数量相同的阴性样本，并与阳性样本合并作为训练集；

每次迭代结束后，从阴性样本集合中再次随机抽样得到与阳性样本数量相同的阴性样本，将所得阴性样本与阳性样本合并构成新的训练集，直到训练结束。

作为优选的技术方案，所述基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像，具体步骤包括：

设定一矩形窗口在原病理切片上向右滑动，若滑动窗口右边界未超过切片右边界则持续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口右边界超出切片右边界，则令滑动窗口向左回溯，使窗口左边界与切片左边界重叠；

滑动窗口向下滑动时，若窗口下边界未超过切片下边界则继续滑动，同时记下滑动窗口所选切片区域坐标，若滑动窗口下边界超出切片下边界，则停止滑动；

生成一个与原始病理切片大小相等的0矩阵作为图像a；

按一定大小设定一个滑动矩形窗口及滑动步长，令该矩形窗口在原始切片上按规定步长滑动，记录窗口坐标，并将窗口所选中图像块读入图像a中；

根据所记录的坐标及窗口大小从原始切片中生成待预测图像块，将图像块输入已训练好的模型中得到预测值，并根据坐标信息将预测值添加到图像a中得到预测结果。

为了达到上述第二目的，本发明采用以下技术方案：

一种基于SENet的胃癌病理切片图像分割预测系统，包括：图像预处理模块、多路卷积单元构建单元、网络模型构建模块、训练模块和预测模块；

所述图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

所述多路卷积单元构建单元用于基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；

所述网络模型构建模块用于基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；

所述训练模块用于基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；

所述预测模块用于基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。

为了达到上述第三目的，本发明采用以下技术方案：

一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现如上述基于SENet的胃癌病理切片图像分割预测方法。

为了达到上述第四目的，本发明采用以下技术方案：

一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述基于SENet的胃癌病理切片图像分割预测方法。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用了深度可分离卷积的技术方案，解决了当前模型参数量过大的技术问题，达到了减少模型训练时间、解决计算资源的技术效果；

(2)针对当前网络不易识别微小病灶的问题，本发明采用了基于SENet模块构建多路卷积单元，使网络学习利用全局信息执行特征重新校准，达到了提高检测准确率的技术效果；

(3)针对现有分割网络对多尺度信息挖掘不充分的问题，本发明采用了堆叠卷积单元的结构和跨层跳跃连接的技术方案，增加网络的表征深度，充分捕捉多尺度信息，同时降低网络参数和计算量，达到了使用更高维度的特征信息表示图像的技术效果。

附图说明

图1为本发明基于SENet的胃癌病理切片图像分割预测方法的流程示意图；

图2为本发明多路卷积单元结构示意图；

图3为本发明网络整体框架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种基于SENet的胃癌病理切片图像分割预测方法，包括下述步骤：

S1：基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签，具体步骤包括：

根据标注文件生成阳性区域标注掩码图，基于大津算法在病理切片上提取前景组织生成组织掩码图，再将标注掩码图和组织掩码图做与运算得到滤除空腔的标注掩码图；

在原切片和标注掩码图左上角设定一正方形滑动窗口，以窗口边长为步长开始滑动；窗口触碰图片右边缘时向左回溯，并以窗口边长为距离向下滑动一次，再向右滑动，重复操作至窗口滑动到右下角；

分别将原切片和标注掩码图中滑动窗口选中区域保存为图像块和图像块对应标签。

S2：基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元，具体步骤包括：

级联全局平均池化层、全连接层、ReLu激活函数、全连接层和Sigmoid激活函数构成SENet模块，通过引入SENet模块强调重要特征同时抑制不重要的特征；

标准卷积对每个卷积核和输入图片的通道与区域同时操作，实现空间相关性与通道相关性的联合映射。深度可分离卷积使用卷积核进行区域卷积提取特征后再进行1×1卷积的通道卷积，实现通道相关性和区域相关性的分开映射。将标准卷积与深度可分离卷积融合以获得不同粒度和更高维度的特征图像；

使用加和操作将两幅特征图谱在同一维度相加，即信息量增加。通过加和操作可以避免模型忽略较小特征区域，即避免忽略病理切片的微小病灶。使用串联操作将两幅特征图谱在通道上串联，即维度增加。通过串联操作可以级联不同粒度的特征信息，有利于图像准确分类。

如图2所示，将多路卷积单元的输入(特征图谱h

将h

将SENet模块输出与加和第二输出做串联操作得到串联第二输出，串联第二输出即为多路卷积单元输出(特征图谱h

在本实施例中，标准卷积对每个卷积核和输入图片的通道与区域同时操作，实现空间相关性与通道相关性的联合映射。深度可分离卷积使用卷积核进行区域卷积提取特征后再进行1×1卷积的通道卷积，实现通道相关性和区域相关性的分开映射。将标准卷积与深度可分离卷积融合以获得不同粒度和更高维度的特征图像；

使用加和操作将两幅特征图谱在同一维度相加，即信息量增加。通过加和操作可以避免模型忽略较小特征区域，即避免忽略病理切片的微小病灶。使用串联操作将两幅特征图谱在通道上串联，即维度增加。通过串联操作可以级联不同粒度的特征信息，有利于图像准确分类。

S3：基于多路卷积单元搭建网络模型，在模型中堆叠3个多路卷积单元并使用跨层跳跃连接以获得更高维度、更丰富的特征数据用以表征图像，从而避免训练过程中模型忽略微小病灶的情况，提高预测准确率，具体步骤包括：

如图3所示，调整输入图谱尺寸，将其通过3个多路卷积单元；

模型堆叠3个多路卷积单元，卷积单元内部分两路进行。A路做标准卷积和SENet模块获取特征图谱，作为下一层卷积单元A路的输入；B路做深度可分离卷积获取特征图谱，通过跨层跳跃连接与下一卷积单元B路进行串联；A、B路获取的特征图谱再进行串联作为下一卷积单元B路的输入；

将得到的图谱依次通过GAP层、Dropout层和Dense层。

S4：基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集，具体步骤包括：

根据预处理得到的输入图片数据集生成数据集掩码；

统计数据集中阳性样本数量，用总样本数减去阳性样本数得到纯阴性样本数，若纯阴性样本多于阳性样本，则随机抽样与阳性样本相同数量的阴性样本；若阴性样本数量少于阳性样本数量，则保留阴性样本；

从所得阴性样本中随机抽样得到与阳性样本数量相同的阴性样本，并与阳性样本合并作为训练集；

每次迭代结束后，从阴性样本集合中再次随机抽样得到与阳性样本数量相同的阴性样本，将所得阴性样本与阳性样本合并构成新的训练集，直到训练结束。

S5：基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像，具体步骤包括：

设定一矩形窗口在原病理切片上向右滑动，若滑动窗口右边界未超过切片右边界则持续滑动，同时记下滑动窗口所选切片区域坐标；若滑动窗口右边界超出切片右边界，则令滑动窗口向左回溯，使窗口左边界与切片左边界重叠；

滑动窗口向下滑动时，若窗口下边界未超过切片下边界则继续滑动，同时记下滑动窗口所选切片区域坐标；若滑动窗口下边界超出切片下边界，则停止滑动；

生成一个与原始病理切片大小相等的0矩阵作为图像a；

按一定大小设定一个滑动矩形窗口及滑动步长，令该矩形窗口在原始切片上按规定步长滑动，记录窗口坐标，并将窗口所选中图像块读入图像a中；

根据所记录的坐标及窗口大小从原始切片中生成待预测图像块，将图像块输入已训练好的模型中得到预测值，并根据坐标信息将预测值添加到图像a中得到预测结果。

实施例2

本实施例提供一种基于SENet的胃癌病理切片图像分割预测系统，包括：图像预处理模块、多路卷积单元构建单元、网络模型构建模块、训练模块和预测模块；

在本实施例中，图像预处理模块用于基于大津算法提取前景组织区域并利用前景掩码图和切片级真实标签做与运算滤除空腔和背景，基于密铺算法生成图像块和对应图像块级的真实标签；

在本实施例中，多路卷积单元构建单元用于基于SENet模块使用深度可分离卷积、标准卷积、串联操作与加和操作构建多路卷积单元；

在本实施例中，网络模型构建模块用于基于多路卷积单元搭建网络模型，在网络模型中堆叠多个多路卷积单元并使用跨层跳跃连接；

在本实施例中，训练模块用于基于随机抽样训练网络模型，基于随机抽样生成统计正样本和负样本池，训练时通过随机抽样从负样本池中抽取与正样本相同数量的负样本，形成数据集；

在本实施例中，预测模块用于基于密铺算法重建预测结果，得到与原始病理切片大小相同的图像。

实施例3

本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的基于SENet的胃癌病理切片图像分割预测方法。

实施例4

本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的基于SENet的胃癌病理切片图像分割预测方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。