基于非对称卷积神经网络双通道的视网膜血管分割方法

摘要

本发明公开了基于非对称卷积神经网络双通道的视网膜血管分割方法。该方法对数据进行预处理，在血管方向最佳匹配角下利用多尺度的Gabor滤波器提取主血管特征图和细血管特征图。针对性地构建主、细血管特征提取非对称卷积神经网络双通道，其中主血管分割网络引入逐级连接策略进行采样，以卷积层级间的信息互补来减少特征丢失，快速定位和精准分割主血管；细血管补偿网络的编‑解码器结合了跳跃连接模块，低层特征图经过不同扩张率的并联空洞卷积块与对应解码器的高层特征图逐级结合，提升细小血管的分割精度。最后将双通道血管分割图融合，从而获取精细的血管分割图。解决了视网膜血管图像中目标方向复杂、细小血管末梢难以识别的问题。

说明书

技术领域

本发明属于机器学习与医学图像处理领域，具体涉及一种基于非对称卷积神经网络双通道的视网膜血管分割方法。

背景技术

通过分析视网膜血管的形态结构有助于诊断和预测包括青光眼在内的典型眼科疾病，但现有技术采集得到的眼底图像通常存在光照不均匀和血管粗细、对比度不均衡的情况。因此在眼底图像处理中，由于无法有效区分细小血管与复杂背景的干扰，经常会发生细小血管分割精度过低的问题，视网膜血管分割技术已成为提升眼底图像分析性能和效率的重要因素。

近年来视网膜血管分割研究陆续产生了一些新算法，例如基于多路径网络分割模型，提高血管图像的特征提取性能；还有研究提出一种基于频域分级的眼底图像血管分割方法，将高低频信息分别输入到多路径卷积神经网络中进行特征提取，进而融合高低维特征得到视网膜血管分割图。上述方法虽然考虑到了多路径网络分割的优势，但仍然存在如下问题：(1)血管分割过程中未考虑到血管方向错综复杂且宽度不一，弱化了视网膜血管图像的方向选择和多尺度预处理；(2)网络训练过程中对于层级间的关联性考虑不充分，尤其是多路径网络对于输入差异性的针对性不足，通常单纯地利用通道数合并来实现特征融合，不可避免的在卷积和采样操作过程中损失血管的细节信息。

发明内容

为解决上述存在的问题，本发明提出基于非对称卷积神经网络双通道的视网膜血管分割方法。首先在数据预处理阶段，在求出血管方向最佳匹配角的基础上，利用多尺度的Gabor滤波器自适应地提取表征整体特性的主血管特征图和保留细小血管末梢的细血管特征图。针对主、细血管特征图的特点构建非对称卷积神经网络双通道，包含主血管分割网络和细血管补偿网络。最后将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中丢失的细小血管末梢，提高网络分割精度。

基于非对称卷积神经网络双通道的视网膜血管分割方法，具体包括以下步骤：

步骤一、获取主、细血管特征图

选取视网膜血管图像的绿色通道分量图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为H、W。

由于血管粗细和对比度特征不均衡，因此引入二维Gabor函数

其中，

由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180°)，以15°为间隔，选取12个不同的方向，记为θ

其中，*表示卷积运算。

将卷积响应

其中，

由于血管方向对尺度参数σ不敏感，因此在σ＝2.5的条件下提取不同方向θ

其中，θ

设置Gabor滤波核响应的尺度σ∈(σ

然后获取最大熵值ENT

计算细血管特征图

作为优选，设置γ＝0.5、λ＝3.5；σ

步骤二、分割主血管特征图

构建主血管分割网络，将步骤一得到的主血管特征图

Q

其中，pool表示2×2最大池化操作；conv

引入逐级连接策略，对特征图Q

其中，unsampling表示采用双线性内插值法的上采样操作，Q

步骤三、分割细血管特征图

构建细血管补偿网络，将步骤一得到的细血管特征图

P

其中，Res2表示两次残差块操作；conv

将特征图P

在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n

n

其中，d

将编码器的三个低层特征图P

作为优选，k＝3。

步骤四、获得血管分割图

对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

其中，

步骤五、网络训练优化

计算步骤四得到的视网膜血管预测分割图F

其中，z

对非对称卷积神经网络进行反复的迭代训练，使用Adam优化函数对非对称卷积神经网络的双通道参数进行优化，当Loss的值小于阈值ε时结束迭代，并保存网络权重。

作为优选，ε的值为输入的血管图像样本像素总数的1％～3％。

步骤六、视网膜血管分割

将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。

本发明具有以下有益效果：

1、强化了对视网膜血管图像的方向选择和多尺度预处理，选用二维Gabor滤波器在血管方向最佳匹配角下获取多尺度血管特征图，并针对主、细血管特点自适应地提取主、细血管特征图，构建非对称卷积神经网络双通道模型。

2、构建非对称卷积神经网络双通道模型，主血管分割网络引入逐级连接策略进行采样，以卷积层级间的信息互补来减少特征丢失；细血管补偿网络采用结合跳跃连接模块的编-解码器，有效补偿解码过程中无法还原的细小血管特征。

3、将双通道血管分割图融合，以细血管补偿网络分割图补全主血管分割过程中被忽略的细小血管末梢，提高血管分割的效率和精度。

附图说明

图1为本方法的流程图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，该方法包括以下步骤：

步骤一、获取主、细血管特征图

考虑到视网膜血管图像的绿色通道分量能够清晰表达血管的形态结构，选取视网膜血管图像的绿色通道分量的图像作为待处理图像f(x,y)，x、y分别表示图像像素点的横纵坐标，图像的宽度和高度分别为H、W。

由于血管粗细和对比度特征不均衡，因此引入二维Gabor函数

其中，

由于待处理图像f(x,y)中血管方向任意，因此θ∈[0,180°)，以15°为间隔，选取12个不同的方向，记为θ

其中，*表示卷积运算。

将卷积响应

其中，

由于血管粗细和对比度特征不均衡，因此选取多尺度的Gabor滤波器捕捉血管特征。血管方向对尺度参数σ不敏感，在σ＝2.5的条件下提取不同方向θ

其中，θ

由于血管宽度对尺度参数σ较敏感，因此为了提取不同宽度的血管，在θ

然后获取最大熵值ENT

计算细血管特征图

考虑到视网膜主体血管分支由粗到细发散性分布，因此将其余尺度图像融合得到主血管特征图

作为优选，设置γ＝0.5、λ＝3.5；σ

步骤二、分割主血管特征图

构建主血管分割网络，快速分割主体血管。主血管分割网络由五个模块组成，前四个模块为卷积和下采样的组合，第五模块为上采样。考虑到多层池化会造成主血管细节信息丢失，因此本方法从卷积层级间的关联性出发，引入逐级连接策略，以卷积层之间的信息互补来减少主血管特征的损失。

将步骤一得到的主血管特征图

Q

其中，pool表示2×2最大池化操作；conv

经过四次池化操作后，主血管特征图尺寸降为原图的1/16，若直接采用双线性内插值法对特征图Q

其中，unsampling表示采用双线性内插值法的上采样操作，Q

步骤三、分割细血管特征图

构建细血管补偿网络，精细分割细小血管。考虑到细小血管特征提取难度大、易丢失，因此构建细血管补偿网络，与主血管分割网络具有结构非对称特性。将步骤一得到的细血管特征图

P

其中，Res2表示两次残差块操作；conv

将特征图P

在解码器与编码器之间增加跳跃连接模块，通过三个扩张率为2、4、8的空洞卷积并行采样，对应的空洞卷积核n

n

其中，d

将编码器的三个低层特征图P

步骤四、获得血管分割图

为了达到精细血管分割的目的，利用细血管补偿网络分割图补全主血管分割过程中被忽略的细血管末梢。对步骤二、三中的非对称卷积神经网络进行双通道融合，将步骤二得到的粗血管分割图经过1x1卷积和ReLu激活函数得到的单通道血管预测图

其中，

步骤五、网络训练优化

计算步骤四得到的视网膜血管预测分割图F

其中，z

对非对称卷积神经网络进行反复的迭代训练，使用Adam优化函数对非对称卷积神经网络的双通道参数进行优化，当Loss的值小于输入的血管图像样本像素点的1％～3％结束迭代，并保存网络权重，并保存网络权重。

步骤六、视网膜血管分割

将标签未知的视网膜血管图像经过方向和尺度特征预处理后，输入步骤五训练优化后的非对称卷积神经网络双通道模型中，获得视网膜血管分割图。