首页> 中国专利> 基于黄斑注意力机制和不确定度的AMD分级系统

基于黄斑注意力机制和不确定度的AMD分级系统

摘要

本发明提供了一种基于黄斑注意力机制和不确定度的AMD分级系统,涉及黄斑病检测技术领域。本发明利用分割网络模型得到视盘分割图像和血管分割图像,再根据得到视盘分割图像和血管分割图像得到黄斑区图像,最后利用注意力网络子模块得到多通道图像,利用贝叶斯深度学习分类网络模型提取特征,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;分类网络模块在最终输出模型分类结果的同时,给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证。

著录项

  • 公开/公告号CN112446875A

    专利类型发明专利

  • 公开/公告日2021-03-05

    原文格式PDF

  • 申请/专利权人 南京泰明生物科技有限公司;

    申请/专利号CN202011453517.8

  • 发明设计人 刘磊;

    申请日2020-12-11

  • 分类号G06T7/00(20170101);G06T7/11(20170101);G06T5/30(20060101);G06T5/50(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构11542 北京久诚知识产权代理事务所(特殊普通合伙);

  • 代理人余罡

  • 地址 211103 江苏省南京市江宁区东山街道东麒路33号

  • 入库时间 2023-06-19 10:06:57

说明书

技术领域

本发明涉及黄斑病检测技术领域,具体涉及一种基于黄斑注意力机制和不确定度的AMD分级系统。

背景技术

黄斑,是指后极部、颞侧血管弓之间直径约为5~6mm的圆形区域,由各种原因引起的、发生在这一区域的疾病称为黄斑疾病。黄斑疾病,如年龄相关性黄斑变性(Age-RelatedMacular Degeneration,AMD)等,已经严重影响全球数百万人的生活及工作质量。其疾种类多、特征复杂,在疾病早期诊断较为困难,若未经及时的诊断及恰当的治疗,这些黄斑疾病将导致不可逆的视物模糊、视物变形、视野缺损,最严重可致盲。

现有的黄斑病检测方法均是基于深度学习算法;

但现有的黄斑病检测系统无法给出检测结果的准确性,存在安全隐患。

发明内容

(一)解决的技术问题

针对现有技术的不足,本发明提供了一种基于黄斑注意力机制和不确定度的AMD分级系统,解决了现有的基于深度学习算法的黄斑病检测系统无法给出检测结果的准确性,存在安全隐患的问题。

(二)技术方案

为实现以上目的,本发明通过以下技术方案予以实现:

一种基于黄斑注意力机制和不确定度的AMD分级系统,包括:

血管视盘分割模块,用于将眼底彩图分割,得到二值化的视盘分割图像和血管分割图像;

黄斑区定位模块,用于基于所述视盘分割图像和血管分割图像得到黄斑区图像;

分类网络模块,用于将眼底彩图以及对应的视盘分割图像、血管分割图像、黄斑区图像作为训练好的基于注意力机制的深度学习分类网络模型的输入,利用注意力网络将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像,再通过主神经网络对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终的分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度。

进一步的,所述分类网络模块包括:

注意力网络子模块,用于将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像;

主神经网络子模块,用于利用训练好的主神经网络模型对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;

分类结果输出子模块,用于获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终的分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度。

进一步的,所述注意力网络子模块为三阶注意力模块,且

残差注意力机制为:

H

H

进一步的,所述训练好的主神经网络模型为贝叶斯深度学习分类网络模型,输出节点设置5个,包括4个对应病变分类的分类节点和一个对应图像噪声的噪声节点;

所述多通道图像是由512×512的黄斑区图像、二值化的血管分割图像和512×512×3的眼底图像融合为512×512×5的多通道图像;

且训练所述贝叶斯深度学习分类网络模型包括:

A、使用Cross-Entropy Loss+偶然不确定度(aleatoric uncertainty)+模型不确定度(model uncertainty)损失作为损失函数;

B、使用sub-sampling梯度下降算法作为卷积神经网络的学习算法;

C、每个卷积神经网络训练300个epoch,batch_size设为2,初始学习率设置为0.001,衰减系数为0.995,最终学习率下降到0.0001则不再下降,停止训练,使用Adam优化器进行优化训练;

D、诊断标记为0、1、2和3级,分别对应健康、轻度、中度和重度级别;在训练过程中,对训练数据进行数据扩增;

E、测试时,通过多次dropout蒙特卡洛,得到预测分布,即四组对应四个病变类型的概率值。

进一步的,所述黄斑区定位模块包括:

视盘参数计算单元,用于对视盘分割图像中的视盘进行椭圆拟合,得到视盘的中心以及半径、椭圆的长轴和短轴;

黄斑区感兴趣区域计算单元,用于基于视盘半径确定血管分割图像上的黄斑区感兴趣区域,并对视盘分割图像中的视盘进行膨胀;

象限划分单元,用于基于椭圆的长轴和短轴将黄斑区感兴趣划分为四个象限;

首选主血管弓计算单元,用于将血管分割图像与膨胀后的视盘分割图像做Venn差,再经过8连通域计算,保留连通域的像素数不小于30的区域,得到连通域计算图,从中找到连通域的像素数最大的连通域作为首选主血管弓;

血管主次排序单元,用于以视盘中心为中心,取所述连通域计算图中多个预设倍数的视盘半径位置处的血管宽度,并以对应的第一预设比例系数进行线性组合,得到连通域计算图中每条血管的平均宽度;并基于第二预设比例系数对连通域的像素数和血管平均宽度进行线性组合,并根据其结果对血管主次排序。

备选主血管弓计算单元,用于确定首选主血管弓所在象限;还用于基于血管主次排序,依次判断各个血管与首选主血管弓是否左右同象限且上下异象限,若是,得到备选主血管弓,否则,对下一个血管进行判断;

黄斑区计算单元,用于基于定位两条主血管弓后的血管分割图像,作出长轴所在直线,并且在两条主血管弓的一侧以5倍视盘半径的位置做出长轴所在直线的平行线,且与两条主血管弓形成闭合区域;再对闭合区域做圆拟合,其圆心作为黄斑区的中心,圆拟合结果作为黄斑区的定位;

闭合区域生成单元,用于在长轴所在直线、长轴所在直线的平行线和两条主血管弓不能形成闭合区域时,由主血管弓到长轴所在直线的最近点向长轴所在直线作垂线;再由长轴所在直线、长轴所在直线的平行线、垂线和两条主血管弓形成闭合区域。

进一步的,所述视盘的膨胀倍数为1.2倍,且以视盘的16倍半径为边长做出以视盘为中心的正方形作为感兴趣区域。

进一步的,血管宽度为血管外部边缘到血管中心线的距离;所述预设倍数为1.3、1.4、1.5、1.6、1.7、1.8、1.9和2.0,且对应的第一预设比例系数为0.3、0.3、0.1、0.06、0.06、0.06、0.06、0.06;所述连通域的像素数和血管平均宽度对应的第二预设比例系数为0.3和0.7。

进一步的,所述黄斑区位置计算模块包括:

黄斑定位单元,用于基于定位两条主血管弓后的血管图像,作出长轴所在直线,并且在两条主血管弓的一侧以5倍视盘半径的位置做出长轴所在直线的平行线,且与两条主血管弓形成闭合区域;再对闭合区域做圆拟合,其圆心作为黄斑区的中心,圆拟合结果作为黄斑区的定位。

进一步的,所述黄斑区定位模块还包括:

闭合区域生成单元,用于在长轴所在直线、长轴所在直线的平行线和两条主血管弓不能形成闭合区域时,由主血管弓到长轴所在直线的最近点向长轴所在直线作垂线;再由长轴所在直线、长轴所在直线的平行线、垂线和两条主血管弓形成闭合区域。

进一步的,所述系统还包括:

分类结果可信度判定模块,用于当模型不确定度或者偶然不确定度比训练集的平均不确定度高出阈值时,则判断该张眼底彩图的预测可信程度低,其中,所述训练集的平均不确定度的计算方法为对每张眼底彩图计算不确定度,然后再计算期望。

(三)有益效果

本发明提供了一种基于黄斑注意力机制和不确定度的AMD分级系统。与现有技术相比,具备以下有益效果:

本发明利用血管视盘分割模块得到视盘分割图像和血管分割图像,根据得到视盘分割图像和血管分割图像计算出黄斑区,将RGB原图、血管分割图像以及对应的预处理后的黄斑区,并利用分类网络模块进行融合为多通道图像,并对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度;分类模块在最终输出模型分类结果的同时,给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证,当遇到诊断图像不能非常确定地给出结果,可通过两种不确定度确定是否需要人工专家是否重新诊断,使得模型在临床使用更加安全可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例的系统框图;

图2为本发明实施例的视盘分割网络和血管分割网络的训练流程图;

图3为本发明实施例的定位黄斑区的示意图;

图4为本发明实施例的分类网络的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请实施例通过提供一种基于黄斑注意力机制和不确定度的AMD分级系统,解决了现有的基于深度学习算法的黄斑病检测系统无法给出检测结果的准确性,存在安全隐患的问题。

本申请实施例中的技术方案为解决上述技术问题,总体思路如下:利用血管视盘分割模块得到视盘分割图像和血管分割图像,根据得到视盘分割图像和血管分割图像计算出黄斑区,将RGB原图、血管分割图像以及对应的预处理后的黄斑区,并利用分类网络模块进行融合为多通道图像,并对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度;分类模块在最终输出模型分类结果的同时,给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证,当遇到诊断图像不能非常确定地给出结果,可通过两种不确定度确定是否需要人工专家是否重新诊断,使得模型在临床使用更加安全可靠。

为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1:

如图1所示,本发明提供了一种基于黄斑注意力机制和不确定度的AMD分级系统,所述系统包括:

血管视盘分割模块,用于将眼底彩图分割,得到二值化的视盘分割图像和血管分割图像;

黄斑区定位模块,用于基于所述视盘分割图像和血管分割图像得到黄斑区图像;

分类网络模块,用于将眼底彩图以及对应的视盘分割图像、血管分割图像、黄斑区图像作为训练好的基于注意力机制的深度学习分类网络模型的输入,利用注意力网络将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像,再通过主神经网络对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终的分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度。

本实施例的有益效果为:

本发明实施例利用首先训练好的两个分割网络模型得到视盘分割图像和血管分割图像,再根据得到视盘分割图像和血管分割图像计算出黄斑区,最后利用注意力网络子模块将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像,利用训练好的贝叶斯深度学习分类网络模型提取特征,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度;分类网络模块在最终输出模型分类结果的同时,给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证,当遇到诊断图像不能非常确定地给出结果,可通过两种不确定度确定是否需要人工专家是否重新诊断,使得模型在临床使用更加安全可靠。

下面对本发明实施例的实现过程进行详细说明:

(1)血管视盘分割模块:

血管视盘分割模块使用了2个卷积神经网络的架构。第一个卷积神经网络是一个血管分割网络,经过训练后,输入一张视网膜眼底图像后,可以输出一个新的图像,该图像上像素强度范围在0和1之间。每个像素值表示它属于视网膜血管的概率,血管分割处理过程可以有效地消除色素沉着、光照和非血管病变的变化。而第二个卷积神经网络是视盘分割网络,经过训练后,输入一张眼底图像,可以输出与第一个网络相似的视盘分割概率。

视盘分割网络模型和血管分割网络模型构建的步骤包括:

1-1)首先需要获取含有视盘像素级标注以及含有血管像素级标注的标签,可通过让眼科眼底专家对眼底图形进行标注。

1-2)预处理模块再对眼底图像进行预处理;具体的,预处理包括统一把尺寸通过不变形缩放到512×512大小;再通过减均值、除方差所有图像进行像素级别的归一化。由于眼底图像光照不均匀会影响到两种病灶的分割,采用自适应直方图均衡化处理以及gamma校正,使得鲁棒性更强。

1-3)所述视盘分割网络模型和血管分割网络模型均采Refine-Unet结构的血管分割网络模型,由于视盘和血管在每张图像上占有的比重非常小,但是视盘和血管的检测对糖尿病视网膜的分类至关重要,采用Refine-Unet结构第一可以实现图像到图像分割,模型训练好之后,输入一张眼底图像,可以自动分割对应的视盘或血管,输出尺寸与输入尺寸完全一致;第二可以实现微小物体分割,尽可能提高视盘或血管的分割准确率。模型输出结果是一张概率图,图上每个像素在0到1之间,表明该像素属于视盘或者血管的概率。

由于输入为预处理后的眼底彩图,因此输入通道为3,输出大小为512×512,Refined-Unet网络的下采样和上采样保持模型次数相同保证最后输出大小和输入大小完全一致。在级联下采样过程中上采样中相同尺寸的特征图过程,对上采样中的级联特征图经过一次卷积再和下采样中图进行级联,保证特征融合的性能更好。此外,模型输出是多尺度输出,在上采样支路中,每次上采样后经过两次卷积进行输出,不同尺度输出与对应尺度标签计算多尺度损失,加强损失监督效果,提升模型分割性能。

1-4)将预处理后的含有视盘像素级标注的眼底图像以及含有血管像素级标注的眼底图像按70%、15%和15%的比例分别划分为训练集、验证集和测试集。

在训练视盘分割网络模型和血管分割网络模型时:

将预处理后的512×512×3的眼底图像作为输入,分别训练视盘分割网络模型和血管分割网络模型。

如图2所示,分割网络训练模块将血管、视盘分割网络在血管、视盘分割数据集分出的训练集上进行训练

训练的具体细节和参数包括:

A、使用多尺度交叉熵损失函数,每一种尺度均用即Cross-Entropy Loss(SoftmaxLoss),总的损失函数是L=ΣL

B、由于GPU计算资源有限,使用sub-sampling方式训练模型;

C、训练的epoch设置为1000,batch_size设为2,初始学习率设置为0.001,衰减系数为0.995,最终学习率下降到0.0001则不再下降,停止训练。

D、使用Adam优化器进行优化训练。

E、在每层卷积操作中加入L2 Weight Decay正则化,防止权重参数过大带来的过拟合问题。

F、由于训练数据数量不是很多,为了提高性能,在训练时,进行数据扩增处理,数据扩增包括随机旋转、翻转,随机加高斯噪声以及直方图均衡化。

G、训练好视盘和血管两个分割网络模型后,权值固定不变。

最终,训练好的视盘分割网络模型和血管分割网络模型的结构如表1所示:

表1

(2)黄斑区定位模块

黄斑区定位模块,包括:

视盘参数计算单元,用于对视盘分割图像中的视盘进行椭圆拟合,得到视盘的中心以及半径、椭圆的长轴和短轴;

黄斑区感兴趣区域计算单元,用于基于视盘半径确定血管分割图像上的黄斑区感兴趣区域,并对视盘分割图像中的视盘进行膨胀;

象限划分单元,用于基于椭圆的长轴和短轴将黄斑区感兴趣划分为四个象限。其中长轴左右分别为鼻侧和颞侧,短轴的左右分别为两组主血管弓。

进一步的,所述视盘的膨胀倍数为1.2倍,且以视盘的16倍半径为边长做出以视盘为中心的正方形作为感兴趣区域。

可实现用于基于视盘分割图像确定黄斑区感兴趣区域。

由于血管,视盘,眼底图像三者位置是一致的,因此确定的区域位置可以在各个图像上相互转化。例如通过视盘分割图像得到的黄斑感兴趣区域,可以在血管分割图像上进行定位。拟合的椭圆、长轴、短轴、血管等也类似。

首选主血管弓计算单元,用于将血管分割图像与膨胀后的视盘分割图像做Venn差,再经过8连通域计算,保留连通域的像素数不小于30的区域,得到连通域计算图,从中找到连通域的像素数最大的连通域作为首选主血管弓;首选主血管弓占据一个象限。

血管主次排序单元,用于以视盘中心为中心,取连通域计算图中多个预设倍数的视盘半径位置处的血管宽度,并以对应的第一预设比例系数进行线性组合,得到连通域计算图中每条血管的平均宽度;并基于第二预设比例系数对连通域的像素数和血管平均宽度进行线性组合,并根据其结果对血管主次排序。

备选主血管弓计算单元,用于确定首选主血管弓所在象限;还用于基于血管主次排序,依次判断各个血管与首选主血管弓是否左右同象限且上下异象限,若是,得到备选主血管弓,否则,对下一个血管进行判断。

其中,血管宽度为血管外部边缘到血管中心线的距离;所述预设倍数为1.3、1.4、1.5、1.6、1.7、1.8、1.9和2.0,且对应的第一预设比例系数为0.3、0.3、0.1、0.06、0.06、0.06、0.06、0.06;所述连通域的像素数和血管平均宽度对应的第二预设比例系数为0.3和0.7。

可实现首选主血管弓和候选主血管弓,即颞上颞下血管弓的获取。

如图3所示,黄斑区计算单元,用于基于定位两条主血管弓后的血管分割图像,作出长轴所在直线,并且在两条主血管弓的一侧以5倍视盘半径的位置做出长轴所在直线的平行线,且与两条主血管弓形成闭合区域;再对闭合区域做圆拟合,其圆心作为黄斑区的中心,圆拟合结果作为黄斑区的定位。

闭合区域生成单元,用于在长轴所在直线、长轴所在直线的平行线和两条主血管弓不能形成闭合区域时,由主血管弓到长轴所在直线的最近点向长轴所在直线作垂线;再由长轴所在直线、长轴所在直线的平行线、垂线和两条主血管弓形成闭合区域。

最终实现基于黄斑区感兴趣区域中两条主血管弓位置确定对应血管分割图像上的位置,再结合长轴、半径定位黄斑区。

(3)分类网络模块

如图4所示,分类网络模块包括:

注意力网络子模块,用于将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像;

主神经网络子模块,用于利用训练好的主神经网络模型对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;

分类结果输出子模块,用于获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终的分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度。

其中,注意力网络子模块是三阶注意力模块(3-stage attention module),每一个注意力模块可以分成两个分支,上面的分支叫主分支(trunk branch),是基本的残差网络(ResNet)的结构。而下面的分支是软掩码分支(soft mask branch),而软掩码分支中包含的主要部分就是残差注意力学习机制。通过下采样(down sampling)和上采样(upsampling),以及残差模块(residual unit),组成了注意力的机制。

残差注意力机制为:

H

H

f

f

f

主神经网络模型为贝叶斯深度学习分类网络模型,将普通深度卷积神经网络的权值和偏置由定值变为分布。对于贝叶斯深度学习网络的训练,即给定一个训练集D={(X

先验分布p(W)被设定为标准正态分布。但是由于边际分布p(Y|X)需要在整个W进行积分,而深度学习卷积网络层数深,权重参数数量大,这些权重构成的空间非常复杂,积分结果很难求出,因此真实权重后验概率分布求不出来。

通过采用变分推断的方法近似求出模型后验分布,即采用一个简单点的分布q

但是在贝叶斯神经网络中用来近似后验的变分方法在计算上会大大增加参数的数量,而优化变分推断方法的后验分布和优化利用dropout正则化网络模型是等价的,因此采用dropout正则化手段作为贝叶斯近似手段获取到模型后验分布。

在获得模型近似后验分布后,测试使用时,由于近似后验分布比较复杂,采用dropout蒙特卡洛模拟手段(例如50次前向传播)进行采样获取在

3-1)同样,需要获取标注有四种病变类型的眼底图像;可通过眼科专家对眼底图像进行标注AMD分级。

3-2)在输入网络模型前,出于相同原因,同样预处理模块对眼底图像进行相同的预处理。

3-3)视盘分割模块和血管分割模块分别利用训练好的视盘分割网络模型和血管分割网络模型,将预处理后的标注有四种病变类型的眼底图像进行分割,得到视盘分割图像和血管分割图像。

3-4)将上面得到的视盘分割图像、血管分割图像经过黄斑区计算模块识别出每张图的黄斑区;

3-5)通过将RGB和黄斑区检测结果通过信息融合以及注意力机制利用贝叶斯深度学习分类网络得到分类结果和不确定度。

3-6)在训练所述贝叶斯深度学习分类网络模型时:

以512×512的黄斑区检测结果图像和二值化的血管图像和512×512×3的眼底彩照融合为512×512×5的多通道图像作为输入。

在训练贝叶斯深度学习分类网络模型采用以下方式:

A、使用Cross-Entropy Loss+偶然不确定度(aleatoric uncertainty)+模型不确定度(model uncertainty)损失(L=L

B、使用sub-sampling梯度下降算法作为卷积神经网络的学习算法;

C、每个卷积神经网络训练300个epoch,训练参数和优化器与分割模型相同;

D、糖尿病视网膜眼底数据的诊断标记从0、1、2和3级,分别对用健康、轻度、中度和重度级别。在训练过程中,同样进行对训练数据进行数据扩增,使得模型性能更加鲁棒。

E、测试时,通过多次dropout蒙特卡洛,如表2所示,得到预测分布,即四组对应四个病变类型的概率值;

表2

在测试时,概率均值最高的病变类型为最终分类结果,方差为模型不确定度,模型噪声节点学习得到的是图像噪声平均值为该张图像的偶然不确定度。从模型得到的两种不确定度,综合考虑比较测试集得到的结果与训练集的平均不确定度进行比较,得到结果的可信程度,其中,所述训练集的平均不确定度的计算方法为对每张图像计算不确定度,然后再计算期望。

最终训练好的贝叶斯深度学习分类网络模型的网络结构具体各层结构如表3所示;

表3

(4)在训练好的视盘分割网络模型、血管分割网络模型、贝叶斯深度学习分类网络模型后,即可使用该系统进行分类,流程如图4所示:

S1、获取待分类的眼底图像;

S2、对眼底图像进行预处理;

S3、血管视盘分割模块将预处理后的待分类眼底图像分别作为利用训练好的视盘分割网络模型和血管分割网络模型的输入,分别获得视盘分割图像和血管分割图像;

S4、黄斑区定位模块基于所述视盘分割图像和血管分割图像进行黄斑区定位,得到黄斑区图像;

S5、分类网络模块将待分类眼底图像、对应的视盘分割图像、血管分割图像以及对应的预处理后的黄斑区作为输入,通过注意力网络子模块融合为多通道图像,训练好的贝叶斯深度学习分类网络模型对多通道图像进行特征提取,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;分类结果输出子模块获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度。

S6、当模型不确定度或者偶然不确定度比训练集的平均不确定度高出50%时,则判断该张图像的预测可信程度低,将该张眼底图像交给眼科专家进行重新诊断;其中,所述训练集的平均不确定度的计算方法为对每张图像计算不确定度,然后再计算期望。

综上所述,与现有技术相比,本发明具备以下有益效果:

①本发明利用训练好的两个分割网络模型得到视盘分割图像和血管分割图像,根据得到视盘分割图像和血管分割图像计算出黄斑区,利用注意力网络子模块将眼底彩图以及对应的血管分割图像、黄斑区图像进行融合,得到多通道图像,利用训练好的贝叶斯深度学习分类网络模型提取特征,并通过多次dropout蒙特卡洛,输出对应四个病变类型的四组概率值和一组噪声;并获取四组概率值的均值和方差,将概率均值最大的病变类型作为最终分类结果,将噪声的均值作为偶然不确定度,将方差和作为模型不确定度;分类网络模块在最终输出模型分类结果的同时,给出偶然不确定度和模型不确定度。使得模型的安全性能得到保证,当遇到诊断图像不能非常确定地给出结果,可通过两种不确定度确定是否需要人工专家是否重新诊断,使得模型在临床使用更加安全可靠。

②通过采用卷积神经网络来自动分割眼底图像中的视网膜血管和视盘;基于分割的结果计算视盘的参数以及血管的参数;基于血管和视盘的参数,确定视网膜结果的主血管弓结构,根据其结构得到黄斑区域位置。实现了基于视网膜结构的自动黄斑区域定位,节省了每张图像需要人工标注的时间损耗。

需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号