首页> 中国专利> 一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法

一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法

摘要

本发明提供可了一种基于角膜共聚焦图像的菌丝筛查系统,其特征在于,包括:图像获取模块,用于获取待检测的角膜共聚焦图像;诊断模块,具有菌丝诊断模型,所述诊断模块接收图像获取模块获取的所述待检测的角膜共聚焦图像并将所述待检测的角膜共聚焦图像输入至所述菌丝诊断模型中,所述菌丝诊断模型对所述待检测的角膜共聚焦图像进行图像特征提取,并根据所提取的图像特征判断所述角膜共聚焦图像中是否存在菌丝;菌丝可视化模块,用于在诊断模块诊断出菌丝后从所述待检测的角膜共聚焦图像中提取菌丝区域并生成包含所述菌丝区域的可视化图像。该菌丝筛查系统能够自动地推角膜共聚焦图像进行判断是否存在菌丝并在存在菌丝时使菌丝区域可视化。

著录项

  • 公开/公告号CN112381768A

    专利类型发明专利

  • 公开/公告日2021-02-19

    原文格式PDF

  • 申请/专利权人 中山大学中山眼科中心;中山大学;

    申请/专利号CN202011167266.7

  • 申请日2020-10-28

  • 分类号G06T7/00(20170101);G06T7/11(20170101);G06T7/136(20170101);G06N3/04(20060101);G06N3/08(20060101);

  • 代理机构11429 北京中济纬天专利代理有限公司;

  • 代理人黄公安

  • 地址 510000 广东省广州市先烈南路54号

  • 入库时间 2023-06-19 09:55:50

说明书

技术领域

本发明涉及菌丝筛查,尤其涉及一种基于角膜共聚焦图像的菌丝筛查系统以及菌丝筛查方法。

背景技术

真菌性角膜炎(fungal keratitis)是一种严重的致盲性眼病,是由真菌感染角膜引起,目前已发现有70余种真菌可引起角膜感染。在我国,真菌性角膜炎的致病菌种主要以镰刀菌和曲霉菌为主,镰刀菌是首位致病菌,占28%~65%,其次为曲霉菌,占11%~49%,接下来是青霉属占3.6%~11.6%,这些都是丝状菌,它们都会产生特征性的细长分支的菌丝。所以,观察有无菌丝,就成为了我国眼科医生诊断角膜是否感染真菌的一个重要且直观的指标之一,临床上一旦发现了有菌丝,一般就可以判断为真菌性角膜感染,可以作进一步的菌种鉴定和治疗。

活体共焦显微镜检查是一种快速、有效、无创伤的活体检查手段,能实时对角膜组织进行无创性的检查并扫描成像,能够获取到患者的角膜共聚焦显微图像,其中包含异常的菌丝图像。真菌性角膜炎的诊断目前主要还是依靠有经验的眼科医师通过共焦显微镜初步检查,检测到菌丝后在进行角膜刮片镜检及菌种培养,检查周期长,检测效率较低,且依赖于医生的临床经验,容易由于主观经验的偏差造成漏诊、误诊甚至疾病的不良预后。

发明内容

本发明的主要目的在于提供一种基于角膜共聚焦图像的菌丝筛查系统,能自动进行对角膜进行菌丝检测,并在有菌丝时进行可视化展示,提高了检测效率,同时无需依赖医生经验,避免了由于经验不足或主观偏差造成的误诊漏诊。

为达到以上目的,本发明采用的技术方案为:一种基于角膜共聚焦图像的菌丝筛查系统,其特征在于,包括:

图像获取模块,用于获取待检测的角膜共聚焦图像;

诊断模块,具有菌丝诊断模型,所述诊断模块接收图像获取模块获取的所述待检测的角膜共聚焦图像并将所述待检测的角膜共聚焦图像输入至所述菌丝诊断模型中,所述菌丝诊断模型对所述待检测的角膜共聚焦图像进行图像特征提取,并根据所提取的图像特征判断所述角膜共聚焦图像中是否存在菌丝;

菌丝可视化模块,用于在诊断模块诊断出菌丝后从所述待检测的角膜共聚焦图像中提取菌丝区域并生成包含所述菌丝区域的可视化图像。

优选地,所述菌丝可视化模块将菌丝区域生成可视化图像,具体包括如下步骤:

步骤c1:对所述待检测角膜共聚焦图像进行相干滤波,获得第一滤波图像;

步骤c2:对所述第一滤波图像进行双边滤波,获得第二滤波图像;

步骤c3:对所述第二滤波图像进行全局阈值二值化操作,生成二值图像,并对所述二值图像进行全局阈值分割,获得初始菌丝区域二值图像;

步骤c4:对所述二值图像进行腐蚀与膨胀的形态学运算操作,并将进行形态学运算操作后的所述二值图像与所述初始菌丝区域二值图像作差,获得非菌丝区域二值图像;

步骤c5:将正在检测的所述角膜共聚焦图像与所述非菌丝区域二值图像做逐元素与运算,获得菌丝区域二值图像;

步骤c6、对所述菌丝区域二值图像进行相干滤波及颜色映射,获得彩色化菌丝区域图像;

步骤c7:将所述彩色化菌丝区域图像与正在检测的所述角膜共聚焦图像进行叠加,生成包含菌丝区域的可视化图像。

优选地,还包括菌丝占比计算模块,用于在判断所述待检测的角膜共聚焦图像存在菌丝时计算所述菌丝区域与所述待检测角膜共聚焦图像的面积比,生成菌丝占比。

优选地,还包括感染程度分级模块,用于根据所述菌丝占比确定角膜的感染程度等级。

优选地,还包括菌丝彩图生成模块,用于根据所述菌丝区域二值图像确定所述待检测的角膜共聚焦图像中菌丝所在的区域并将所述待检测角膜共聚焦图像中菌丝所在的区域进行彩色化,获得菌丝彩图。

优选地,还包括诊断报告生成模块,用于生成诊断报告,所述诊断报告包含所述待检测角膜共聚焦图像、所述彩色化菌丝区域图像、所述菌丝彩图、所述可视化图像、所述菌丝占比数据以及所述感染程度等级。

本发明还提供了一种基于角膜共聚焦图像的菌丝筛查方法,其特征在于,包括如下步骤:

步骤一:获取待检测的角膜共聚焦图像;

步骤二:通过菌丝诊断模型对获取的所述待检测的角膜共聚焦图像进行诊断,判断所述待检测的角膜共聚焦图像是否存在菌丝;

步骤三:若诊断出菌丝,从所述待检测的角膜共聚焦图像中提取菌丝区域并生成包含所述菌丝区域的可视化图像。

优选地,在采用菌丝诊断模型进行筛查时,需要对菌丝诊断模型进行训练,训练方法如下:

步骤a1:获取图像数据集;

步骤a2:将所述图像数据集中的所有图像进行进行缩放处理;

步骤a3:按预设比例从所述图像数据集中提取训练数据集、验证数据集和测试数据集;

步骤a4:将所述训练数据集输入至预设的卷积神经网络模型,以使所述卷积神经网络对所述训练数据集中的图像进行特征提取,并根据所提取的图像特征进行迭代训练;所述菌丝诊断模型为所述卷积神经网络模型。

优选地,所述CNN网络模型包括:

主分支网络,用于提取角膜共聚焦图像的基本特征,所述基本特征包括所述角膜共聚焦图像的颜色、纹理及亮度;

辅助分支网络,用于提取角膜共聚焦图像的先验知识特征,其中,提取角膜共聚焦图像的先验知识特征采用以下步骤:

步骤b1:统计所述训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值;

步骤b2:提取当前获取的角膜共聚焦图像的R通道值、G通道值以及B通道值,继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值,根据所述差值获得所述选定角膜共聚焦图像的先验知识特征。

与现有技术相比,本发明具有以下有益效果:

本发明的菌丝筛查系统能自动进行对角膜进行菌丝检测,并在有菌丝时进行可视化展示,一方面提高了检测效率,另一方面无需依赖医生经验,避免了由于经验不足或主观偏差造成的误诊漏诊。

附图说明

图1是根据本发明的一个优选实施例的菌丝筛查系统的原理图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。

如图1所示,一种基于角膜共聚焦图像的菌丝筛查系统,包括:用于获取待检测的角膜共聚焦图像的图像获取模块、用于对图像获取模块获取的待检测的角膜共聚焦图像进行诊断以判断是否存在菌丝的诊断模块以及用于在诊断模块诊断出菌丝后从所述待检测的角膜共聚焦图像提取菌丝区域并生成包含所述菌丝区域的可视化图像的所述菌丝可视化模块。

所述待检测的角膜共聚焦图像由现有技术中的其它设备拍摄并保存在计算机文件系统中,所述图像获取模块根据待检测的角膜共聚焦图像存放的文件路径,获取到该待检测角膜共聚焦图像。进一步,在获取到所述待检测的角膜共聚焦图像后,还需要对待检测共聚焦图像进行图像预处理,所述图像预处理主要为图像的缩放,如缩放到长宽为224x224。

所述诊断模块中具有菌丝诊断模型,所述诊断模块接收图像获取模块获取的待检测的角膜共聚焦图像并将所述待检测角膜共聚焦图像输入至所述菌丝诊断模型中,所述菌丝诊断模型对所述待检测的角膜共聚焦图像进行图像特征提取,并根据所提取的图像特征判断所述角膜共聚焦图像中是否存在菌丝。

在使用菌丝诊断模型之前,需要对菌丝诊断模型进行训练,训练方法如下:

步骤a1:获取图像数据集,根据文件路径名找到计算机内部图像数据集的存储地址。其中,所述图像数据集中包括若干有菌丝的角膜共聚焦图像和若干无菌丝的角膜共聚焦图像。

步骤a2:图像预处理,将所述图像数据集中的所有图像进行图像预处理,图像预处理具体为对图像进行缩放处理。

步骤a3:划分数据集,按预设比例从所述图像数据集中提取训练数据集、验证数据集和测试数据集。

步骤a4:训练CNN网络模型,将所述训练数据集输入至预设的卷积神经网络模型,以使所述卷积神经网络对所述训练数据集中的图像进行特征提取,并根据所提取的图像特征进行迭代训练,在迭代训练时,通过所述验证数据集对所述CNN网络模型进行参数调整,通过所述测试数据集验证所述CNN网络模型的泛化性能进行验证。

所述获取图像数据集、图像预处理以及训练CNN网络模型实质上就是菌丝筛查的过程中,只是在训练时采用的是训练数据,并且训练CNN模型时会对模型的参数进行调整。所述菌丝诊断模型即为CNN网络模型。

优选的,所述CNN网络模型包括主分支网络和辅助分支网络,通过所述主分支网络提取角膜共聚焦图像的基本特征,所述基本特征包括所述角膜共聚焦图像的颜色、纹理及亮度,通过所述辅助分支网络提取角膜共聚焦图像的先验知识特征,其中,提取角膜共聚焦图像的先验知识特征采用以下步骤:

步骤b1:统计所述训练数据集中所有角膜共聚焦图像的R通道平均灰度值、G通道平均灰度值以及B通道平均灰度值;平均灰度值可以作为每张角度共聚焦图像的背景信息。

步骤b2:提取当前获取的角膜共聚焦图像的R通道值、G通道值以及B通道值,继而计算所述R通道值与所述R通道平均灰度值间的差值、所述G通道值与所述G通道平均灰度值间的差值以及所述B通道值与所述B通道平均灰度值间的差值,根据所述差值获得所述选定角膜共聚焦图像的先验知识特征。所述背景信息可以当作没有菌丝的角膜共聚焦图像的灰度值,所述差值其实就是有菌丝的图像与没有菌丝的图像的灰度值的差值,当差值超过一定值时,说明存在菌丝,并且根据差值能够得到先验知识特征。

在获取所述基本特征和先验知识特征之后且在进入CNN网络模型的分类器之前全连接层把提取到的基本特征和先验知识特征拼接起来,之后送入softmax分类器分类,做到端对端的菌丝诊断模型。主分支网络和辅助分支网络可以选取现有经典的CNN结构,如VGG16、Resnet50及其变种网络,主分支网络可和辅助分支网络可以是相同的网络结构,也可以是不同的网络。优选地,主分支网络需要稍微更强大一点的网络结构,如Resnet50及其变种网络。进一步,所述CNN网络模型选择Googlenet作为主分支网络,选择VGG16作为辅助分支网络。

在确定存在菌丝之后,所述菌丝可视化模块将菌丝区域生成可视化图像,具体包括如下步骤:

步骤c1:对所述待检测角膜共聚焦图像进行相干滤波,获得第一滤波图像。通过相干滤波操作,能够强化菌丝边缘,模糊非菌丝区域。

步骤c2:对所述第一滤波图像进行双边滤波,获得第二滤波图像。通过双边滤波操作,能够在模糊非菌丝区域的同时,保留菌丝区域的边缘信息。

步骤c3:对所述第二滤波图像进行全局阈值二值化操作,生成二值图像,并对所述二值图像进行全局阈值分割,获得初始菌丝区域二值图像。

步骤c4:对所述二值图像进行腐蚀与膨胀的形态学运算操作,并将进行形态学运算操作后的所述二值图像与所述初始菌丝区域二值图像作差,获得非菌丝区域二值图像。

步骤c5:将正在检测的所述角膜共聚焦图像与所述非菌丝区域二值图像做逐元素与运算,获得菌丝区域二值图像。

步骤c6、对所述菌丝区域二值图像进行相干滤波及颜色映射,获得彩色化菌丝区域图像;

步骤c7:将所述彩色化菌丝区域图像与正在检测的所述角膜共聚焦图像进行叠加,生成包含菌丝区域的可视化图像。

所述菌丝筛查系统还包括菌丝占比计算模块和感染程度分级模块。

所述菌丝占比计算模块用于在判断所述待检测的角膜共聚焦图像存在菌丝时计算所述菌丝区域与所述待检测角膜共聚焦图像的面积比,生成菌丝占比。

所述感染程度分级模块用于根据所述菌丝占比确定角膜的感染程度等级。每个所述感染程度等级对应一个菌丝占比范围,菌丝占比范围以及感染程度等级与菌丝占比范围如何对应可以根据经验事先确定。

所述菌丝筛查系统还包括菌丝彩图生成模块,用于根据所述菌丝区域二值图像确定所述待检测的角膜共聚焦图像中菌丝所在的区域将所述待检测角膜共聚焦图像中菌丝所在的区域进行彩色化,获得菌丝彩图。

需要说明的是,所述菌丝彩图与所述彩色化菌丝区域图像有区别,彩色化菌区域图像是基于菌丝区域二值图像生成的;而菌丝彩图是基于待检测角膜共聚焦图像(即原图)对其中的菌丝区域进行彩色化生成的,彩色化菌丝区域图像能够使得用户更直观的了解到菌丝形态和位置但是不能够表示菌丝的强度;而菌丝彩图处理能够展示菌丝形态和位置之外,还能够体现出菌丝区域中不同子区域的菌丝的感染程度,感染程度不同颜色的灰度值不同,优选地,感染程度越高,对应的颜色就越深,通过颜色的深浅能够直观地判断出感染的程度。

所述菌丝筛查系统还包括诊断报告生成模块,用于生成诊断报告,所述诊断报告包含所述待检测角膜共聚焦图像、所述彩色化菌丝区域图像、所述菌丝彩图、所述可视化图像、所述菌丝占比数据以及所述感染程度等级。

所述菌丝筛查系统还包括系统模式选择模块,用于在响应用户选择初始化模式时,对所述菌丝诊断模型实现初始化;在响应用户选择自动诊断模式时控制图像获取模块、菌丝诊断模块和菌丝可视化模块工作,实现角膜共聚焦图像的菌丝筛查和可视化。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号