一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法

摘要

本申请实施例公开一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：搭建网络结构，网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，特征聚合池化模块FAPM设置于编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，深监督模块设置于解码器的除底层以外的各层中，用于引导网络生成更具有代表性的特征图；实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对网络结构的输出进行验证。本申请的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法实现视网膜OCT图像中的RBCC损伤和近视牵引纹的自动分割，提高了小目标分割性能。

说明书

技术领域

本申请涉及视网膜图像分割方法技术领域，具体是一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法。

背景技术

目前最常用的医学分割网络U-Net的结构比较简单，如说明书附图中的图2所示，图中左边的编码器部分的作用是特征提取，右边解码器部分用作上采样，把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名U-Net。U-Net与其他常见的分割网络有一点非常不同的地方：U-net采用了完全不同的特征融合方式，即通过跳跃连接，以拼接的方式将特征在通道维度合并在一起，形成更多的特征图。全卷积网络(Fully Convolutional Network，FCN)在特征融合时使用的特征图对应点相加，并不会产成更多的特征图。因此,U-Net在医学分割任务中性能普遍比FCN网络更好。

但是，原始U-Net对于小目标的分割效果不理想，存在丢失信息和分割错误等问题。主要原因是编码器采用最大池化方式进行下采样，易丢失小目标信息，且由于卷积核尺寸较小导致网络视野有限，不能充分利用目标的上下文信息，容易导致小目标的漏分割和误分割。目前已有一些方法尝试解决这个问题，比如条纹池化下采样方式采用竖直条纹池化结合横向条纹池化采集上下文信息，使得下采样后得以保留更多上下文信息；局部重要性池化下采样方式通过学习自适应权重来增强下采样过程中的判别性信息，从而保证局部信息中每一个像素都能被学习到。但是，下采样过程中同时保留整体上下文信息和局部信息的方法未见报道。同时，原始U-Net网络只在解码器的最底层进行了监督学习，这会导致解码器中间层以及顶层产生的很多无效特征图影响目标的分割效果。

发明内容

本申请旨在解决上述技术问题，提供一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，实现视网膜OCT图像中的RBCC损伤和近视牵引纹的自动分割，解决现有技术中U型结构深度学习网络存在的上下文信息缺失而导致的小目标分割性能不佳的问题。

为实现上述目的，本申请公开了一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：搭建网络结构，所述网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，所述特征聚合池化模块FAPM设置于所述编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，所述深监督模块设置于所述解码器的底层以外的各层中，用于引导网络生成更具有代表性的特征图；实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对所述网络结构的输出进行验证。

作为优选，所述编码器模块与所述特征聚合池化模块FAPM结合后的结构包括自顶层至底层依次设置的编码第一层结构单元、编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元，所述编码第一层结构单元包括依次设置的输入端、第一3×3卷积层、第二3×3卷积层；所述编码第二层结构单元、所述编码第三层结构单元、所述编码第四层结构单元、所述编码底层结构单元均包括依次设置的特征聚合池化模块FAPM、第一3×3卷积层、第二3×3卷积层；所述编码第一层结构单元中的第二3×3卷积层与所述编码第二层结构单元中的特征聚合池化模块FAPM相连；所述编码第二层结构单元中的第二3×3卷积层与所述编码第三层结构单元中的特征聚合池化模块FAPM相连；所述编码第三层结构单元中的第二3×3卷积层与所述编码第四层结构单元中的特征聚合池化模块FAPM相连；所述编码第四层结构单元中的第二3×3卷积层与所述编码底层结构单元中的特征聚合池化模块FAPM相连。

作为优选，所述解码器模块与所述深监督模块结合后的结构包括自底层至顶层依次设置的解码第一层结构单元、解码第二层结构单元、解码第三层结构单元、解码第四层结构单元，所述解码第一层结构单元包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、1×1卷积层、输出端，所述解码第二层结构单元、所述解码第三层结构单元、所述解码第四层结构单元均包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、深监督模块；所述解码第一层结构单元中的合并与反卷积层与所述解码第二层结构单元中的第二3×3卷积层相连；所述解码第二层结构单元中的合并与反卷积层与所述解码第三层结构单元中的第二3×3卷积层相连；所述解码第三层结构单元中的合并与反卷积层与所述解码第四层结构单元中的第二3×3卷积层相连；所述解码第四层结构单元中的合并与反卷积层与所述编码底层结构单元中的第二3×3卷积层连接；所述编码第一层结构单元中的第二3×3卷积层与所述解码第一层结构单元中的合并与反卷积层跳跃连接，所述编码第二层结构单元中的第二3×3卷积层与所述解码第二层结构单元中的合并与反卷积层跳跃连接，所述编码第三层结构单元中的第二3×3卷积层与所述解码第三层结构单元中的合并与反卷积层跳跃连接，所述编码第四层结构单元中的第二3×3卷积层与所述解码第四层结构单元中的合并与反卷积层跳跃连接。

作为优选，所述特征聚合池化模块FAPM包括第一支路、第二支路、第三支路，所述第一支路包括垂直条纹池化、设置于所述垂直条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述垂直条纹池化后接入条纹池化之后的1×3卷积层，用于将输入特征图的大小从H×W变换为1×W，然后通过双线性插值将特征图大小更改为H/2×W/2；所述第二支路包括横向条纹池化、设置于所述横向条纹池化之后的1×3卷积层，所述特征聚合池化模块FAPM通过所述横向条纹池化后接入条纹池化之后的1×3卷积层，将输入特征图的大小从H×W更改为H×1，然后通过双线性插值将大小更改为H/2×W/2；将所述第一支路和所述第二支路的输出特征图相加聚合得到全局上下文信息；所述第三支路包括7×7卷积层，所述特征聚合池化模块FAPM将输入特征图经过一个7×7卷积层提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半进行下采样获取局部信息；将所述全局上下文信息与所述局部信息进行相加聚后的结构作为所述特征聚合池化模块FAPM的输出。

作为优选，所述深监督模块具体包括设置于所述解码器模块中除最底层外的其他层的输出特征图后的1×1卷积层，所述深监督模块将特征图的通道数降为1，再经过双线性上采样将特征图恢复成与金标准相同的尺寸，并与金标准计算损失函数，通过损失函数的反向传播，以对每一个所述深监督模块输出的特征图进行监督。

作为优选，所述损失函数为交叉熵损失和Dice损失之和。

本申请的有益效果：

1、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，是一种基于特征聚合池化模块下采样方式的改进U型分割网络，并辅以深监督模块加快网络收敛，提升分割性能。适用于视网膜光学相干断层扫描成像OCT图像中RBCC损伤和近视牵引纹病变区域的分割，分割性能良好，可为后续的定量分析奠定基础。

2、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，减少了下采样过程中信息丢失，同时聚合上下文信息和局部特征信息，即每次下采样得到的特征图中不仅包括了来自上一层特征图的局部信息，同时还聚合了全局的上下文信息。特征聚合池化模块FAPM中采用竖直条纹状池化下采样方式提取上下文信息，由于竖直条纹池化的形状与RBCC损伤相似，能更好地实现RBCC损伤的识别与分割。

3、本发明的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，通过在解码器模块中引入深监督模块，用于在网络训练过程中判断隐藏层特征图的质量，实现网络的有效和快速训练。并能够快速有效地重建高分辨率特征图。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例中网络结构的示意图。

图2是现有技术中U-Net的网络结构的示意图。

图3是本申请实施例中特征聚合池化模块FAPM的示意图。

图4是本申请实施例中深监督模块的示意图。

图5是现有技术中RBCC损伤和牵引纹分割结果的示意图(a)。

图6是本申请实施例中RBCC损伤和牵引纹分割结果的金标准图(b)。

图7是本申请实施例中RBCC损伤和牵引纹分割结果的U-Net分割结果示意图(c)。

图8是本申请实施例中RBCC损伤和牵引纹分割结果的分割结果示意图(d)。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例：一种基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法，该方法包括：

搭建网络结构，网络结构包括编码器模块、特征聚合池化模块FAPM、解码器模块、深监督模块，特征聚合池化模块FAPM设置于编码器模块的编码器通道中，用于进行下采样聚合全局上下文信息以及局部信息，深监督模块设置于解码器的最底层以外的各层中，用于引导网络生成更具有代表性的特征图；

实验，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对网络结构的输出进行验证。

基于上次方法，本申请设计了特征聚合池化模块FAPM(Feature AggregationPooling Module，FAPM)并应用于U-Net分割网络，旨在减少下采样过程中信息丢失的同时聚合上下文信息和局部特征信息，即每次下采样得到的特征图中不仅包括了来自上一层特征图的局部信息，同时还聚合了全局的上下文信息。本发明采用的深监督模块是为了在深度神经网络的中间层增加辅助的分类模块，用于解决梯度消失和收敛速度过慢等问题，引导网络生成有效的特征图以提升分割效果。

将本实施例提出的改进U型分割网络应用于视网膜OCT图像中RBCC损伤和近视牵引纹的分割任务获得了良好的分割性能，消融实验表明提出的特征聚合池化模块FAPM与深监督模块的结合有效提升了分割网络对小目标病变区域的分割性能。

作为本实施例的一种优选地实施方式，参考图1所示，编码器模块与特征聚合池化模块FAPM结合后的结构包括自顶层至底层依次设置的编码第一层结构单元、编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元。

编码第一层结构单元包括依次设置的输入端、第一3×3卷积层、第二3×3卷积层。编码第二层结构单元、编码第三层结构单元、编码第四层结构单元、编码底层结构单元均包括依次设置的特征聚合池化模块FAPM、第一3×3卷积层、第二3×3卷积层。

编码第一层结构单元中的第二3×3卷积层与编码第二层结构单元中的特征聚合池化模块FAPM相连；编码第二层结构单元中的第二3×3卷积层与编码第三层结构单元中的特征聚合池化模块FAPM相连；编码第三层结构单元中的第二3×3卷积层与编码第四层结构单元中的特征聚合池化模块FAPM相连；编码第四层结构单元中的第二3×3卷积层与编码底层结构单元中的特征聚合池化模块FAPM相连。

在本实施例中，结合图1和图2所示，编码器模块的其它部分与现有技术中的U-Net网络结构保持一致，采用3×3卷积以得到各层特征图，编码器的每一层都通过跳跃连接与解码器的对应层进行连接以保留更多信息。

为了能获取具有代表性的特征图，本实施例在编码器模块的编码器通道中采用特征聚合池化模块FAPM进行下采样聚合全局上下文信息以及局部信息，使小目标的信息在网络的深层更好地保留下来，减少特征图中小目标特征信息的丢失。同时，为了克服传统最大池化方式下采样模式造成的信息丢失、视野小等问题，在特征聚合池化模块FAPM模块中，通过竖直条纹池化和横向条纹池化实现上下文信息的提取。为了实现局部信息的提取，首先采用卷积操作和激活函数使每一个像素均学习到相应的权重，再将权重与输入特征图相乘，最后再将特征图通过双线性插值缩小，充分有效地考虑每一个像素点的重要性。最后将上下文信息与局部信息两者相加聚合，实现一个信息丢失较少的下采样模块。

作为本实施例的一种优选地实施方式，解码器模块与深监督模块结合后的结构包括自底层至顶层依次设置的解码第一层结构单元、解码第二层结构单元、解码第三层结构单元、解码第四层结构单元。

解码第一层结构单元包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、1×1卷积层、输出端；解码第二层结构单元、解码第三层结构单元、解码第四层结构单元均包括依次设置的合并与反卷积层、第一3×3卷积层、第二3×3卷积层、深监督模块。

解码第一层结构单元中的合并与反卷积层与解码第二层结构单元中的第二3×3卷积层相连；解码第二层结构单元中的合并与反卷积层与解码第三层结构单元中的第二3×3卷积层相连；解码第三层结构单元中的合并与反卷积层与解码第四层结构单元中的第二3×3卷积层相连；解码第四层结构单元中的合并与反卷积层与编码底层结构单元中的第二3×3卷积层连接；编码第一层结构单元中的第二3×3卷积层与解码第一层结构单元中的合并与反卷积层跳跃连接，编码第二层结构单元中的第二3×3卷积层与解码第二层结构单元中的合并与反卷积层跳跃连接，编码第三层结构单元中的第二3×3卷积层与解码第三层结构单元中的合并与反卷积层跳跃连接，编码第四层结构单元中的第二3×3卷积层与解码第四层结构单元中的合并与反卷积层跳跃连接。

本实施例在解码器模块的解码器通道采用了仅包含3×3卷积和2×2反卷积的上采样解码器模块，并在除最底层外的各层中加入深监督模块以提升最终的分割性能，并能够快速有效地重建高分辨率特征图。同时，通过深监督模块的设置，能够解决随着神经网络深度的增加，逐渐出现的深层特征图质量变差、梯度消失或者梯度爆炸等问题，提高小目标区域的分割效果。

作为本实施例的一种优选地实施方式，参考图3所示，特征聚合池化模块FAPM包括第一支路、第二支路、第三支路。

第一支路包括垂直条纹池化、设置于垂直条纹池化之后的1×3卷积层，特征聚合池化模块FAPM通过垂直条纹池化后接入1×3卷积层，用于将输入特征图的大小从H×W变换为1×W，然后通过双线性插值将特征图大小更改为H/2×W/2。

第二支路包括横向条纹池化、设置于横向条纹池化之后的1×3卷积层，特征聚合池化模块FAPM通过横向条纹池化后接入1×3卷积层，将输入特征图的大小从H×W更改为H×1，然后通过双线性插值将大小更改为H/2×W/2；将第一支路和第二支路的输出特征图相加聚合得到全局上下文信息。

第三支路包括7×7卷积层，特征聚合池化模块FAPM将输入特征图经过一个7×7卷积层提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半进行下采样获取局部信息；将全局上下文信息与局部信息进行相加聚后的结构作为特征聚合池化模块FAPM的输出。

在视网膜OCT图像中，近视牵引纹主要呈现为隆起的细胞团，由于近视牵引纹具有尺寸小且形特征独特的特点，因此图像的这一局部特征信息对于近视牵引纹的分割非常重要，而原始U-Net中采用的最大池化方式下采样，会由于2×2卷积的小视野引起视野缺失、全局上下文特征缺失等问题，因此本发明首先将输入特征图经过一个7×7卷积提取特征，再经过一个sigmoid函数使每一个像素学习到一个权重，将权重与输入特征图相乘，再将特征图尺寸减半达到下采样的目的。最终，FAPM模块将全局上下文信息与局部信息进行相加聚合，构成一种新的下采样方式

作为本实施例的一种优选地实施方式，参考图4所示，深监督模块具体包括设置于解码器模块中除最底层外的其他层的输出特征图后的1×1卷积层，深监督模块将特征图的通道数降为1，再经过双线性上采样将特征图恢复成与金标准相同的尺寸，并与金标准计算损失函数，通过损失函数的反向传播，以对每一个深监督模块输出的特征图进行监督。深监督机制的核心思想是在深度神经网络的中间层加入辅助的分类模块，来解决梯度消失和收敛速度过慢等问题。因此，本实施例在分割网络的解码器模块部分加入三个深监督模块。

作为本实施例的一种优选地实施方式，损失函数为交叉熵损失和Dice损失之和。交叉熵损失是采用卷积神经网络实现语义分割的常见损失函数，主要反映金标准与预测结果之间的相似性。由于RBCC损伤和近视牵引纹病变区域较小，在OCT图像中占比很小,这会导致数据类型不平衡问题，Dice损失函数使得网络更多关注和学习小目标的特征。这样设置的好处是，采用交叉熵损失和Dice损失之和作为损失函数，可以有效地解决训练过程中数据类型不平衡的问题。

在试验过程中，为了验证本申请的基于改进U型网络的视网膜OCT图像中近视性黄斑病变区域分割方法的有效性和通用性，采用光学相干断层扫描OCT图像中RBCC损伤和近视牵引纹病变区域的联合分割任务对本方法进行了验证。

在验证的数据库中，采用的OCT图像来自20只高度近视眼睛，每只眼睛的OCT图像有193张二维B扫描图像。

综合考虑病变区域占比、图像质量等因素，最终选取667张二维OCTB扫描图像作为实验数据。在实验过程中将数据根据病人分成3份，采用3折交叉验证方法。验证时，采用了随机左右翻转、上下翻转、-30度到30度旋转以及增加加性高斯噪声等在线方式进行数据扩增。为了客观评估本发明方法的性能，采用了Jaccard指标(Jaccard Index)、Dice系数和敏感度(Sensitivity)三个评价指标。最终获取了如表1所示的结果。并在表1中展示了相关消融实验和对比实验的结果与比较。

表1

在消融实验中，为了验证本发明提出的特征聚合下采样模块和深监督模块的有效性，将这两种模块分别嵌入到原始U-Net中。由表1可见，随着这两种模块的加入，对应网络的分割性能有效提升，说明本发明提出的特征聚合池化模块和深监督模块能增强U-Net网络对小目标分割的性能。在对比实验中，本发明方法与目前性能较好的分割网络如PSPNet、SegNet以及本发明的基本网络U-Net进行了性能比较。从附表1可见，本发明方法的性能优于上述其他方法。

参考图5～8所示，分别展示了采用不同方法分割RBCC损失和近视牵引纹的结果，根据图5～8显示的结果，表明本实施例提出的基于特征聚合池化模块和深监督模块的改进U型网络在OCT图像中RBCC损伤和近视牵引纹的分割性能良好。至此，用于分割OCT图像中RBCC损伤和近视牵引纹的改进U型网络模型已经实现并进行验证。

综上所述，基于本发明提出的特征聚合池化模块和深监督模块的应用，减少了有用信息的丢失，较好地提升了U型卷积神经网络对小目标分割的性能。

以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本教导的范围不应该参照上述描述来确定，而是应该参照所附权利要求以及这些权利要求所拥有的等价物的全部范围来确定。出于全面之目的，所有文章和参考包括专利申请和公告的公开都通过参考结合在本文中。在前述权利要求中省略这里公开的主题的任何方面并不是为了放弃该主体内容，也不应该认为申请人没有将该主题考虑为所公开的申请主题的一部分。