基于卷积神经网络的杯状细胞语义分割方法及系统

摘要

本发明属于医学图像识别领域，提供了一种基于卷积神经网络的杯状细胞语义分割方法及系统，包括获取原始杯状细胞图像并进行预处理；对预处理后的原始杯状细胞图像进行非病理学区域消除，得到病理学杯状细胞图像；读取病理学杯状细胞图像的三通道色彩信息，并对其进行直方图均衡化，得到病理学杯状细胞图像的彩色图像；基于病理学杯状细胞图像的彩色图像，采用训练好的基于卷积的杯状细胞语义分割模型中进行杯状细胞的语义分割。本发明利用语义分割网络模型实现了细胞病理切片图像中病变细胞区域的精确分割，该语义分割网络在获取细胞形状信息的基础上，能有效捕获病变细胞周围信息，提高了细胞语义分割的精度。

说明书

技术领域

本发明属于医学图像识别技术领域，具体涉及一种基于卷积神经网络的杯 状细胞语义分割方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在 先技术。

在我国，胃癌的发病率和病死率目前仍居恶性肿瘤的前列，早期发现及诊 断是提高生存率的关键。目前普遍认为胃癌是由慢性胃炎、萎缩性胃炎、肠上 皮化生、上皮内瘤变发展而来的。这一系列变化在胃癌发生学中称为Correa序 列，而胃黏膜的肠上皮化生(Gastric Intestinal Metaplasia，GIM)作为Correa序列 中胃癌发生多步骤假设的中间步骤，已被视为癌前病变。肠上皮化生阶段的显 著特征是胃黏膜中的部分细胞发生病变，形成肠化细胞。在临床领域，肠上皮 化生阶段的病变细胞称为杯状细胞(Goblet Cell，GC)，杯状细胞的分布特征 可作为早期胃癌的重要判断依据。

共聚焦激光显微内镜(Confocal Laser Endomicroscopy，CLE)是近几年开发出来的新型内镜，其将共聚焦激光显微镜整合到传统的可视内镜的头端，是共聚 焦激光显微镜和传统电子内镜的有机结合体。共聚焦激光显微内镜除可作为标 准电子内镜进行普通胃肠镜检查外，还可对黏膜组织进行共聚焦激光显微扫描， 获得黏膜表面下结构细胞层面的组织学模拟图像。共聚焦激光显微内镜能使内 镜医师在内镜检查的同时获得消化道上皮及上皮下高度放大的横切面图像，对 黏膜和黏膜下层做即时的高分辨率的组织学诊断，达到光学活检的目的，被认 为是“虚拟组织病理学”。共聚焦显微内镜具有可以直接清晰辨认组织结构、 细胞及亚细胞结构，做即时的高分辨率的组织学诊断的优势，因此共聚焦激光 显微内镜可以对消化系统的多种病变如胃黏膜肠上皮化生、上皮内瘤变、早期 癌症等做出实时诊断，并进行靶向活检。共聚焦激光显微内镜的使用能有效减 少活检次数，实时高效地诊断早期消化道肿瘤。多项研究表明，利用共聚焦显 微内镜对胃黏膜肠上皮化生进行诊断具有较高的准确性和敏感性，并可达到快 速诊断、实时诊断的效果。

近年来，共聚焦显微内镜技术在早期胃癌的预防检测领域受到广泛关注。 通过共聚焦显微内镜，获得消化道上皮及上皮下高度放大的横切面图像，并标 记杯状细胞区域来作为病情评估依据。但是由于共聚焦激光显微内镜成像的特 点，其图像的正确识别需要内镜医师拥有一定程度的组织病理学知识，这对于 初学者来说具有一定的难度，学习时间较长。同时，内镜图像分辨率较高，医 师在分析时需投入大量精力，工作强度较高。这就面临着一个问题，即如何有 效的识别出杯状细胞区域。

共聚焦显微内镜技术在早期胃癌的预防检测领域受到广泛关注，如何从共 聚焦显微内镜中快速有效的识别出杯状细胞区域是进行早期胃癌预防检测的关 键。然而，在共聚焦激光显微内镜图像中，识别杯状细胞区域并非易事。在共 聚焦显微内镜成像中，部分正常细胞会与杯状细胞相同的颜色特性，纤毛末端 也会呈现出与杯状细胞相似的边缘特性，作为判断依据之一的纤毛分布也影响 着杯状细胞的判断。由于上述共聚焦激光显微内镜中杯状细胞的分布特点，使 得杯状细胞的准确语义分割变得十分困难。

现有技术中存在以下技术问题：

目前基于卷积的神经网络具有学习局部连接结构并发展形成多尺度分层模 式的能力，提高了图像处理、视频处理和声音识别任务的效率，但基于卷积的 神经网络识别准确率相对较低，主要原因包括：(1)受到感受野的限制，模型 无法捕获长距离依赖，识别出的细胞包含部分正常脱落的细胞结构；(2)数据 量相对较小，模型过拟合几率增大；(3)提取的细胞特征对细胞状态的贡献较 小。

发明内容

为了解决上述问题，本发明提出了一种基于卷积神经网络的杯状细胞语义 分割方法及系统，本发明利用语义分割网络模型实现了细胞病理切片图像中病 变细胞区域的精确分割。该语义分割网络在获取细胞形状信息的基础上，能有 效捕获病变细胞周围信息，提高了细胞语义分割的精度。在临床应用中，减轻 了医生在共聚焦显微内镜下标注杯状细胞的负担。

根据一些实施例，本发明的第一方案提供了一种基于卷积神经网络的杯状 细胞语义分割方法，采用如下技术方案：

基于卷积神经网络的杯状细胞语义分割方法，包括：

获取原始杯状细胞图像并进行预处理；

对预处理后的原始杯状细胞图像进行非病理学区域消除，得到病理学杯状 细胞图像；

读取病理学杯状细胞图像的三通道色彩信息，并对其进行直方图均衡化， 得到病理学杯状细胞图像的彩色图像；

基于病理学杯状细胞图像的彩色图像，采用训练好的基于卷积的杯状细胞 语义分割模型中进行杯状细胞的语义分割；

其中，所述基于卷积的杯状细胞语义分割模型包括依次连接的输入层、三 个编码层、三个解码层、通道映射层以及输出层；

在三个编码层两两之间分别设置一个下采样层，在三个解码层两两之间分 别设置一个上采样层。

进一步地，所述获取原始杯状细胞图像并进行预处理，包括：

初始化输入共聚焦显微内镜原始杯状细胞数据集；

利用共聚焦显微内镜截取原始杯状细胞数据集中的杯状细胞图像，得到原 始杯状细胞图像；

对原始杯状细胞图像进行标注，标注出杯状细胞图像中的病变细胞区域；

基于标注后的原始杯状细胞图像进行旋转、位移以及加噪声的样本增强变 换处理，得到预处理后的原始杯状细胞图像。

进一步地，所述对预处理后的原始杯状细胞图像进行非病理学区域消除， 得到病理学杯状细胞图像，包括：

读取预处理后的原始杯状细胞中的图像信息和关注区域图像；

通过关注区域图像删除预处理后的原始杯状细胞中的图像信息中的非病理 学区域信息，公式如下：

其中，S

进一步地，所述读取病理学杯状细胞图像的三通道色彩信息，并对其进行 直方图均衡化，得到病理学杯状细胞图像的彩色图像，包括：

(a)获取离散的像素数为n的病理学杯状细胞图像的三通道色彩图像{I}， n

(c)定义积累分布函数P

(d)构建O＝T(I)的变换；

(e)将O的累计概率函数在范围值域内进行线性变换cdf

(f)对函数K进行逆分布变换，cdf

(g)将直方图映射回最初的阈，O′＝(max{I}-min{I})+min{I}；

(h)分别对红色分量与蓝色分量进行(a)-(g)的直方图均衡化；

直方图均衡化后的色彩信息作为图像特征，得到病理学杯状细胞图像的彩 色图像。

进一步地，所述输入层的作用是接收病理学杯状细胞图像的彩色图像；

所述编码层的作用是提取病理学杯状细胞图像的彩色图像的图像信息，捕 获图像的深层信息；

所述解码层的作用是基于病理学杯状细胞图像的彩色图像的深层信息还原 病理学杯状细胞图像的彩色图像，获取图像的表层信息。

进一步地，所述下采样层设置在两个编码层之间的作用是为了加强图像之 间的依赖，捕获图像的深层信息；

所述上采样层设置在两个解码层之间的作用是还原图像，用于捕获图像的 表层信息；

所述通道映射层的作用是将图像像素级的分类特征还原至图像的通道特征 信息，并将通道特征还原成概率信息传输给输出层，输出层以最终输出像素级 的分类结果。

进一步地，所述基于卷积的杯状细胞语义分割模型还包括全连接层，

所述全连接层的作用是为了将浅层信息与深层信息进行连接以传递图像特 征，将表层信息传递至深层信息。

根据一些实施例，本发明的第二方案提供了一种基于卷积神经网络的杯状 细胞语义分割系统，采用如下技术方案：

基于卷积神经网络的杯状细胞语义分割系统，包括：

杯状细胞图像采集模块，被配置为获取原始杯状细胞图像并进行预处理；

非病理学区域消除模块，被配置为对预处理后的原始杯状细胞图像进行非 病理学区域消除，得到病理学杯状细胞图像；

杯状细胞图像处理模块，被配置为读取病理学杯状细胞图像的三通道色彩 信息，并对其进行直方图均衡化，得到病理学杯状细胞图像的彩色图像；

杯状细胞语义分割模块，被配置为基于病理学杯状细胞图像的彩色图像， 采用训练好的基于卷积的杯状细胞语义分割模型中进行杯状细胞的语义分割；

其中，所述基于卷积的杯状细胞语义分割模型包括依次连接的输入层、三 个编码层、三个解码层、通道映射层以及输出层；

在三个编码层两两之间分别设置一个下采样层，在三个解码层两两之间分 别设置一个上采样层。

根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行 时实现如上述第一个方面所述的基于卷积神经网络的杯状细胞语义分割方法中 的步骤。

根据一些实施例，本发明的第四方案提供了一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上 运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的 基于卷积神经网络的杯状细胞语义分割方法中的步骤。

与现有技术相比，本发明的有益效果为：

1、本发明利用语义分割网络模型实现了细胞病理切片图像中病变细胞区域 的精确分割，该语义分割网络在获取细胞形状信息的基础上，能有效捕获病变 细胞周围信息，提高了细胞语义分割的精度。在临床应用中，减轻了医生在共 聚焦显微内镜下标注杯状细胞的负担。

2、本发明提出的方法及系统，利用人工智能的方式实现了共聚焦显微内镜 图像中杯状细胞的语义分割，在共聚焦显微内镜中实现通过人工智能网络的实 时杯状细胞区域分割。

3、本发明提出的杯状细胞语义分割网络在提取到细胞形状特征的同时、能 使模型关注到周围的背景区域信息，大大提高准确率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例所述的基于卷积神经网络的杯状细胞语义分割方法的 流程图；

图2是本发明实施例所述的基于卷积的杯状细胞语义分割模型结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的 普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例提供了一种基于卷积神经网络的杯状细胞语义分割 方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法 也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服 务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器 构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、 云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、 以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手 机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接， 本申请在此不做限制。本实施例中，该方法包括以下步骤：

获取原始杯状细胞图像并进行预处理；

对预处理后的原始杯状细胞图像进行非病理学区域消除，得到病理学杯状 细胞图像；

读取病理学杯状细胞图像的三通道色彩信息，并对其进行直方图均衡化， 得到病理学杯状细胞图像的彩色图像；

基于病理学杯状细胞图像的彩色图像，采用训练好的基于卷积的杯状细胞 语义分割模型中进行杯状细胞的语义分割；

其中，所述基于卷积的杯状细胞语义分割模型包括依次连接的输入层、三 个编码层、三个解码层、通道映射层以及输出层；

在三个编码层两两之间分别设置一个下采样层，在三个解码层两两之间分 别设置一个上采样层。

对本实施例公开的基于三维特征图和卷积神经网络的情绪识别方法进行详 细说明，本实施例公开的基于，如图1所示，具体包括以下步骤：

S1：通过共聚焦激光显微内镜系统，获取共聚焦显微内镜杯状细胞图像。

在具体实施时，使用日本Pentax公司生产的EC.3870CIK共聚焦激光显微 内镜系统。其构成与普通内镜系统基本类似，组成包括：共聚焦显微内镜、共 聚焦显微内镜的触摸屏显示器、普通内镜影像显示器、影像处理机、光学单元 和共聚焦控制单元等。

共聚焦的显微内镜的末端直径为12.8mm。其末端包含水气喷嘴、两个光导 束、一个辅助孔道和一个2.8ram的工作孔道，其远端可上下弯转1300，左右弯 转1200。操作手柄上的两个按钮可对成像平面的深度进行调节。

初始化输入原始共聚焦显微内镜杯状细胞数据集D，对于数据集D中的原 始待识别样本图像的每个被试患者S

存储被试患者信息S与截取到的图像S

在共聚焦显微内镜图像上S

建立训练样本集；

对样本进行旋转、位移、加噪声等样本增强变换处理；

S2：采用基于规则的病理学图像重构。针对临床病理学图像收感光源捕获 限制，采用基于规则的方式针对非病理学领域进行非病理学区域消除，具体操 作为：

读取共聚焦显微内镜图像信息S

S3：读取处理后共聚焦显微内镜图像的信息。

读取处理后共聚焦显微内镜图像的三通道色彩信息，每张重构图像image

(a)考虑一个离散的像素数为n的彩色图像{I}，让n

(c)定义积累分布函数P

(d)构建O＝T(I)的变换；

(e)将y的累计概率函数在范围值域内进行线性变换cdf

(f)对函数K进行逆分布变换，cdf

(g)将直方图映射回最初的阈，O′＝(max{I}-min{I})+min{I}；

(h)分别对红色分量与蓝色分量进行(a)-(g)的直方图均衡化；

直方图均衡化后的色彩信息作为图像特征，输入至语义分割网络模型中进 行特征识别。

S4：将直方图均衡化后的病理学图像信息输入训练好的基于卷积的杯状细 胞语义分割模型中进行杯状细胞的语义分割。

在具体实施时，针对处理杯状细胞特点构建用于语义分割的网络，如图2 所示，在本模型中设计了1个输入层、3个编码层、3个解码层、3个上采样层、 3个下采样层、3个全连接层、1个通道映射层与1个输出层。输入层的作用是 接收临床影像信息；编码层的作用是用于提取图像信息，捕获图像的深层信息； 解码层的作用是还原图像，获取图像的表层信息；下采样层的作用是为了加强 图像之间的依赖，捕获图像的深层信息；上采样的作用是还原图像，用于捕获 图像的表层信息；全连接层的作用是为了将浅层信息与深层信息进行连接以传 递图像特征，将表层信息传递至深层信息；通道映射层的作用是将图像像素级的分类特征还原至图像的通道特征信息，并将通道特征还原成概率信息以最终 输出像素级的分类结果。

对基于卷积的杯状细胞语义分割网络的各层功能进行设计：

(1)输入层(L1)：每个样本的输入是l

(2)编码层(L2)：该层的主要功能是对输入层传入的原始图像进行浅层上 的提取，输入为K∈R

激活函数的公式为sigmoid(v)＝1/(1+e

(3)编码层(L3)：该层的主要功能是整合L2的新特征并实现捕获更深层结 构的效果。信息依次经过一个3*3卷积核步长为1输入通道为128输出通道为 256的卷积、一个输入通道为256输出通道为1024卷积核大小为7*7的卷积与 一个输入通道为1024输出通道为256卷积核大小为1*1的卷积与一个sigmoid 激活层。卷积的公式为

(4)编码层(L4)：该层的主要功能是整合L3的新特征并实现捕获更深层结 构的效果。信息依次经过一个3*3卷积核步长为1输入通道为256输出通道为 512的卷积、一个步长为1输入通道为512输出通道为2048卷积核大小为7*7 的卷积与一个输入通道为2048输出通道为512卷积核大小为1*1的卷积与一个 sigmoid激活层。卷积的公式为

(5)解码层(L5)：此层输入为L5的输出特征。解码层L5的主要作用对深 层特征的进一步提取，此时输入特征图的尺寸为原始图像的1/4。此层通过深层 语义信息的特征提取有利于对细胞进行更精确的分类。输入信息依次经过一个 3*3卷积核步长为1输入通道为512输出通道为256的卷积、一个步长为1输入 通道为256输出通道为1024卷积核大小为7*7的卷积与一个输入通道为1024 输出通道为256卷积核大小为1*1的卷积与一个sigmoid激活层。卷积的公式为

(6)解码层(L6)：此层输入为L13的输出特征与L3输出

(7)解码层(L7)：此层输入为L13的输出特征

(8)通道映射层(L8)：此层将特征数为64的特征通过卷积池化的方式降维 至3通道，包含一次输入通道为64输出通道为3步长为1的卷积一次最大池化 与sigmoid激活函数，此层实现了对特征进行像素层面的表达。

(9)下采样层(L9)：对L2的输出进行2倍随机下采样输入到L3中。

(10)下采样层(L10)：对L3的输出进行2倍随机下采样输入到L4中。

(11)上采样层(L11)对L5的输出进行2倍双线性插值上采样输入到L6 中，上采样过程使用公式

(12)上采样层(L12)对L6的输出进行2倍上采样并输入到L7中，上采 样操作采用的公式为：

本实施例构建的CNN模型的损失函数定义如下：

Loss＝cross_entropy(p,l) (8)

其中，p是模型的输出值，l为标记数据。

为了加快网络收敛的速度，上述网络各层的权重和偏差随机化为正态分布， 均值为0，方差为1/N

本实施例公开的方法由4部分组成：

获取共聚焦显微内镜杯状细胞图像；

从临床诊断中获得的医学图像进行非病理学区域消除；

采用三通道(RGB通道)的特征读取对图像进行信息化处理，并对读取到 的图像色彩信息进行直方图均衡化；

将经过信息化处理的图像输入训练好的语义分割网络中进行语义分割。

本发明采用共聚焦显微内镜系统捕获共聚焦显微内镜图像，通过基于规则 的方式，消除非关注区域部分，使用直方图均衡化突出图像的边界纹理信息， 最后进行基于杯状细胞的语义分割。

实施例二

本实施例提供了一种基于卷积神经网络的杯状细胞语义分割系统，包括：

杯状细胞图像采集模块，被配置为获取原始杯状细胞图像并进行预处理；

非病理学区域消除模块，被配置为对预处理后的原始杯状细胞图像进行非 病理学区域消除，得到病理学杯状细胞图像；

杯状细胞图像处理模块，被配置为读取病理学杯状细胞图像的三通道色彩 信息，并对其进行直方图均衡化，得到病理学杯状细胞图像的彩色图像；

杯状细胞语义分割模块，被配置为基于病理学杯状细胞图像的彩色图像， 采用训练好的基于卷积的杯状细胞语义分割模型中进行杯状细胞的语义分割；

其中，所述基于卷积的杯状细胞语义分割模型包括依次连接的输入层、三 个编码层、三个解码层、通道映射层以及输出层；

在三个编码层两两之间分别设置一个下采样层，在三个解码层两两之间分 别设置一个上采样层。

上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施 例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一 组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部 分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例 仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现 时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个 系统，或一些特征可以忽略，或不执行。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程 序被处理器执行时实现如上述实施例一所述的基于卷积神经网络的杯状细胞语 义分割方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实 施例一所述的基于卷积神经网络的杯状细胞语义分割方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和 硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器 等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框 图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他 可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程 数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明 保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明 的保护范围以内。