基于人工智能的眼球疾病诊断装置及方法

摘要

本发明涉及眼球疾病的诊断装置及方法，更详细地，涉及基于人工智能的眼球疾病诊断装置及方法，其基于眼底图像的眼球构造物，提取用于诊断多个眼球疾病的多个属性，并基于人工智能学习提取的多个疾病及用于辨别疾病的多个属性，生成各疾病属性的分类器，根据生成的多个分类器所获取的眼底图像来诊断眼球疾病。

说明书

技术领域

本发明涉及眼球疾病的诊断装置及方法，更详细地，涉及基于人工智能的眼球疾病诊断装置及方法，其基于眼底图像的眼球构造物，提取用于诊断多个眼球疾病的多个属性，并基于人工智能学习提取的多个疾病及用于辨别疾病的多个属性，生成各疾病各属性的分类器(Classifier)，通过生成的多个分类器诊断所获取的眼底图像中的眼球疾病。

背景技术

通常，眼睛大致分为眼球和眼睛的附属器官。眼球包含外膜、中膜、内膜及内容物，眼睛的附属器官包含眼眶、结膜等。

并且，通过瞳孔所能观察到的眼球内部部分，即视网膜、视网膜血管、视神经盘、脉络膜(构成葡萄膜的膜)等综合起来称之为眼底(Fundus；eyeground)。

眼底的各个组织在功能和解刨学方面都具有密切的联系，在病态上也相互影响。

眼底分为包含黄斑和视神经盘的后极部、赤道部、周边部。

发生在上述眼底的疾病会有糖尿病性视网膜症(Diabetic Retinopathy)、绿内障(Glaucoma)、老年性黄斑变性(Age-related Macular Degeneration)等。

为了检查上述眼底发生的疾病，需要使用可以诊断各个疾病的专业诊断装置，因眼科医院需要购买高价的专业诊断装置，所以存在初期费用高的问题。

并且，如上所述，此类检查眼底疾病的装置因价位高，所以存在使用者无法亲自诊断的问题。

不管是否是眼科疾病，只要心存疑虑，使用者必须访问医院支付高价的检查费来接受诊断，所以存在消费不必要的诊断费的问题。

现有技术文献

专利文献

专利文献1：韩国授权专利第10-1662775号(2016.09.28.公告)

发明内容

发明所要解决的问题

本发明的目的在于提供基于人工智能的眼球疾病诊断装置及方法，其基于眼底图像的眼球构造物，提取用于诊断多个眼球疾病的多个属性，并基于人工智能学习提取的多个疾病及用于辨别疾病的多个属性，生成各个疾病各属性的分类器，通过生成的多个分类器诊断所获取的眼底图像中的眼球疾病。

用于解决问题的方案

为了达成上述目的，根据本发明的基于人工智能的眼球疾病诊断装置的特征在于，包括：眼底图像获取部，其获取并输出眼底图像；存储部，其包括学习数据库和属性加权值数据库，其中，上述学习数据库存储含各眼球疾病的各属性学习数据的各属性分类数据和各眼球疾病属性综合学习数据，上述属性加权值数据库对各眼球疾病的各属性定义属性加权值；及控制部，对从上述眼底图像获取部接收的眼底图像进行图像预处理来执行眼底图像的大小调节和颜色归一化后，通过基于预先学习的上述属性分类数据运行的各属性分类器，从预处理过图像的眼底图像中提取属性，并对上述预处理过图像的眼底图像进行学习来更新关于上述各属性分类器的各属性学习数据，并且预测与提取的上述属性的种类和数量相对应的疾病。

本发明的特征在于，上述控制部包括：眼底图像获取处理部，其从上述眼底图像获取部接收眼底图像并输出；眼底图像预处理部，其执行对上述眼底图像进行大小调节和颜色归一化的图像预处理并输出；属性提取部，其通过预先学习的各属性分类器从预处理过图像的眼底图像中提取属性；学习部，其对上述预处理过图像的眼底图像进行学习并更新关于上述各属性分类器的各属性学习数据；及预测部，其预测与提取的上述属性的种类和数量相对应的疾病。

本发明的特征在于，上述控制部还包括对提取的上述属性适用各疾病加权值来计算综合预测值的综合属性决定部，当上述综合预测值超出对包含所有上述属性的疾病预设的基准值时，上述预测部预测上述眼底图像具有上述疾病。

本发明的特征在于，上述眼底图像预处理部包括：眼底图像大小调节部，其对从眼底图像获取处理部接收的眼底图像进行大小调节后输出；及颜色归一化部，其对大小调节后的上述眼底图像的颜色进行归一化。

本发明的特征在于，上述属性提取部包括：眼球构造物检测部，其从上述眼底图像预处理部输出的眼底图像的眼底中检测眼球构造物；及属性检测部，其通过预先学习的各属性分类器，根据上述眼球构造物检测部所检测的眼球构造物，检测上述眼底图像属性。

本发明的特征在于，上述属性提取部还包括：属性预处理部，上述属性预处理部将被提取的上述属性掩蔽到从上述眼底图像预处理部输出的眼底图像中，并生成眼底图像和属性之间的拓扑信息来输出到上述综合学习部，上述学习部包括：分类学习部，其对上述图像预处理的眼底图像进行学习，并更新上述各属性分类器的各属性学习数据；及综合学习部，对上述属性预处理部输出的、掩蔽属性的眼底图像进行学习。

本发明的特征在于，为了消除杂波并从上述属性提取部中提取所需提取的上述属性，上述颜色归一化部在上述眼底图像的红色(Red)通道、绿色(Green)通道、蓝色(Blue)通道中只激活绿色通道，去除红色通道和蓝色通道，从而对上述眼底图像进行颜色归一化。

本发明特征在于，上述属性为渗出物(Exudates)、出血(Hemorrhages)、新血管形成(Neovascularization)、黄斑水肿(Macular Edema)、视神经盘(Macular Edema)，上述眼球疾病为糖尿病性视网膜疾病、绿内障、老年性黄斑退化。

为达成上述目的，本发明基于人工智能的眼球疾病诊断方法的特征在于，包括：眼底图像获取处理过程，控制部通过眼底图像获取处理部从眼底图像获取部接收眼底图像并输出；眼底图像预处理过程，上述控制部通过眼底图像预处理部执行对上述眼底图像进行大小调节和颜色归一化的图像预处理并输出；属性提取过程，上述控制部通过属性提取部根据预先学习的、多个的各疾病的各属性分类器从图像预处理的眼底图像中提取属性；学习过程，上述控制部通过学习部对上述图像预处理的眼底图像进行学习，并更新关于上述属性分类器的属性学习数据；及预测过程，上述控制部通过预测部预测与提取的上述属性的种类和数量相对应的疾病。

本发明的特征在于，上述方法还包括：综合属性决定过程，上述控制部通过综合属性决定部对提取的上述属性适用各疾病加权值来计算综合预测值，上述预测过程包括：基于属性的疾病预测步骤，上述控制部通过预测部预测与提取的上述属性的种类和数量相对应的疾病；综合疾病预测步骤，判断上述综合预测值是否超出对上述基于属性的疾病预测步骤中所预测的疾病预设的基准值，如超出时，可以预测上述眼底图像具有上述疾病。

本发明的特征在于，上述眼底图像预处理过程包括：眼底图像大小调节步骤，上述控制部通过眼底图像大小调节部，对从眼底图像获取处理部接收的眼底图像的大小进行调节后输出；及颜色归一化步骤，上述控制部通过颜色归一化部对大小调节后的上述眼底图像的颜色进行归一化。

本发明的特征在于，上述属性提取过程包括：眼球构造物检测步骤，上述控制部通过眼球构造物检测部，从上述眼底图像预处理部输出的眼底图像的眼底中检测眼球构造物；及属性检测步骤，上述控制部通过属性检测部，根据从上述眼球构造物检测部检测的眼球构造物，检测上述眼底图像的属性。

本发明的特征在于，上述方法还包括：属性预处理过程，上述控制部通过属性预处理部将被提取的上述属性掩蔽到从上述眼底图像预处理部输出的眼底图像中，并生成眼底图像和属性之间的拓扑信息来输出到上述综合学习部，上述学习过程包括：分类学习步骤，上述控制部通过分类学习部，对上述图像预处理的眼底图像进行学习，并更新上述各属性分类器的各属性学习数据；及综合学习步骤，上述控制部对上述属性预处理部输出的、掩蔽属性的眼底图像进行学习。

本发明的特征在于，在上述颜色归一化过程中，为了消除杂波并从属性提取部中提取所需提取的上述属性，上述控制部通过颜色归一化部在上述眼底图像的红色通道、绿色通道、蓝色通道中只激活绿色通道，并去除红色通道和蓝色通道，从而对上述眼底图像进行颜色归一化。

本发明的特征在于，上述属性为渗出物(Exudates)、出血(Hemorrhages)、新血管形成(Neovascularization)、黄斑水肿(Macular Edema)、视神经盘(Macular Edema)，上述眼球疾病为糖尿病性视网膜疾病、绿内障、老年性黄斑退化。

发明效果

本发明的效果在于，基于眼球构造物，提取可以诊断的多个眼球疾病的多个属性，并学习疾病的多个属性而形成分类器，因利用多个分类器诊断眼球疾病，所以可从单个装置中诊断多个眼球疾病。

并且，本发明只要获取眼底图像，就可以根据眼底图像预处理和基于人工智能的学习，提取正确的属性，综合提取的多个属性来诊断疾病，所以可以更加容易、正确地诊断疾病。

并且，本发明只要获取眼底图像就可以诊断眼球疾病，所以在使用者去医院之前可通过自己的手机终端来诊断眼球疾病，从而可以省去不必要的访问医院带来的不必要的医疗费。

附图说明

图1是表示本发明基于人工智能的眼球疾病诊断装置的构成的图。

图2是根据本发明的一实施例，说明眼球疾病诊断装置中所获取的眼底图像的预处理方法的图。

图3是根据本发明的一实施例，说明用于从眼球疾病诊断装置中提取属性的眼球构成物的图。

图4是根据本发明的实施例，说明从眼底图像中分离属性及疾病分类方法的图。

图5是表示本发明基于人工智能的眼球疾病诊断方法的流程图。

图6是表示本发明基于人工智能的眼球疾病诊断方法中眼底图像预处理方法的流程图。

图7是表示本发明的基于人工智能的眼球疾病诊断方法中属性提取方法的流程图。

附图标记的说明：

110：存储部 111：学习DB

112：属性加权值DB 120：输入部

130：输出部 140：眼底图像获取部

150：控制部 160：眼底图像获取处理部

170：眼底图像预处理部 171：眼底图像大小调节部

172：颜色归一化部 180：属性提取部

181：眼球构造物检测部 182：属性检测部

183：属性预处理部 190：综合属性决定部

210：学习部 211：分类学习部

212：综合学习部 220：预测部。

具体实施方式

下面参照附图，详细说明本发明基于人工智能的眼球疾病的诊断装置的构成及动作，说明上述装置的眼球疾病诊断方法。

图1是表示本发明基于人工智能的眼球疾病诊断装置的构成的图；图2是根据本发明的一实施例，说明眼球疾病诊断装置中所获取的眼底图像的预处理方法的图；图3是根据本发明的一实施例，说明用于从眼球疾病诊断装置中提取属性的眼球构成物的图；图4是根据本发明的实施例，说明从眼底图像中分离属性及疾病分类方法的图。以下参照图1至图4进行说明。

本发明的基于人工智能的眼球疾病诊断装置包括存储部110、输入部120、输出部130、眼底图像获取部140及控制部150。

存储部110包括：存储用于控制本发明眼球疾病诊断装置的整体动作的控制程序的程序区域；临时存储执行上述控制程序中所产生数据的临时区域；半永久存储执行上述控制程序中所产生的数据及执行控制程序所需数据的数据区域。上述数据区域中可能设置有学习数据库(DB)111及属性加权值数据库(DB)112。

学习DB111存储多个属性分类数据和综合学习数据，其中，上述多个属性分类数据包括对具有任意属性的多个眼底图像中提取的属性进行学习的属性学习数据，上述综合学习数据是基于两种以上属性的疾病的眼底图像进行学习的。上述学习方法可适用深度学习(Deep learning)、支持向量机(Support Vector Machine：SVM)、KNN、DT等。

属性加权值DB112定义眼球疾病属性的加权值。即同一属性的眼球疾病，其加权值也有可能不同。

输入部120作为使眼球疾病诊断事件(event)发生的单元，可以包括以下单元中的任何一种以上单元构成：使用计时器的时间计算单元；使用者亲自输入眼球疾病诊断命令的键输入装置、鼠标、触摸板等输入单元；通过有线无线数据网络(未图示)从远程的管理者及使用者接收信号的通信单元。

输出部130作为将诊断的眼球疾病诊断信息输出的单元，可以包括以下单元中的任何一种以上单元构成：将信息以文本、图形、图像中任意一种以上的方式表示的显示单元；以无线及有线中的任意一种方式连接到有线无线数据网络而传送到远程使用者或管理者的终端的通信单元等。

眼底图像获取部140作为本发明获取拍摄眼睛的眼底的眼底图像并输出到控制部的单元，可以是摄像机、彩色扫描机等，也可以是用于从外部系统、服务器、终端等装置接收的通信单元。

控制部150包括眼底图像获取处理部160、眼底图像预处理部170、属性提取部180、综合属性决定部190、学习部210、预测部220，控制本发明眼球疾病诊断装置的整体动作。

眼底图像获取处理部160从上述眼底图像获取部140接收眼底图像并输出到眼底图像预处理部170。

眼底图像预处理部170包括调节眼底图像大小并输出的眼底图像大小调节部171及将上述眼底图像的色彩，即颜色归一化(Color Normalization)并输出的颜色归一化部172。

眼底图像大小调节部171通过输入部120和输出部130从使用者或管理者接收设定信息来设定眼底图像的大小，上述眼底图像的大小优选根据控制部150的计算能力适当设置。即，眼底图像的大小调节是为减少属性提取过程中的计算复杂度，所以优选按控制部150的运算速度来设定。

上述颜色归一化部172为将原图像，即眼底图像获取处理部160输出的眼底图像中存在的噪声信息过滤。因根据所要提取的属性，合适的色彩信息也会不同，为了留存各属性提取过程中所需的信息，去除不需要的信息来提高计算效率，将眼底图像的颜色归一化。例如，如图2的302所示，颜色归一化部172可构成为将归一化之前的眼底图像313进行归一化后，将归一化的眼底图像314输出，因血管提取过程中主要使用色彩三原色(红色(Red)、绿色(Green)、蓝色(Blue))中的绿色通道信息，不需要持有红色通道和蓝色通道，所以进行只存留绿色通道并去除红色通道和蓝色通道的颜色归一化。

此外，眼底图像预测处理部170也还可以包括颜色对比强调单元，如图2的301所示，上述颜色对比强调单元强调眼底图像311的颜色对比，并输出强调图像内存在的外廓线的眼底图像312。

属性提取部180包括眼球构造物检测部181、属性检测部182及属性预处理部183，并从上述眼底图像预处理部170预处理过的眼底图像中提取属性并输出。根据实施例，被提取的属性输入到预测部220或输出到综合属性决定部190及预测部220。

具体来讲，如图3所示，眼球构造物检测部181从眼底图像预处理部170输入的预处理过的眼底图像中，检测作为眼球构造物的眼眶401、视神经盘402等。图3中将眼眶401表现为X，视神经盘402表现为+。

属性检测部182包括对应于疾病数量和属性数量的分类器，该分类器基于之前预先学习的各疾病各个属性数据有关的各属性分类数据运行，并基于上述被检测的眼球构造物，检测相应疾病属性。上述属性检测部通过各疾病的各个属性分类器，基于上述被检测的眼球构造物，提取眼底图像所包含的属性。上述属性可以是渗出物(Exudates)、出血(Hemorrhages)、新血管形成(Neovascularization)、黄斑水肿(Macular Edema)、视神经盘(Optic Disk)等。上述属性是有关糖尿病性视网膜疾病、绿内障、老年性黄斑退化等眼球疾病，且如果所要预测的眼球疾病改变，则为预测所要预测的眼球疾病的属性也会发生改变。如上所述，属性检测部182优选具备对应于疾病数量和属性数量的分类器。例如，所要检测的疾病数量为3个，属性数量为5个，那么优选具备3*5＝15个分类器。

属性预处理部183将上述被提取的属性掩蔽(masking)到上述眼底图像预处理部170输出的眼底图像(原图像)中，并生成眼底图像和属性之间的拓扑信息(Topologyinformation)来输出到上述综合学习部212。

综合属性决定部190适用下述数学式1，参照属性加权值DB112存储的疾病属性加权值，适用关于上述被提取的属性的疾病属性加权值来计算综合预测值。

【数学式1】

上述预测值(Prediction)可通过以分类器的结果乘以加权值的结果总和为基准，导出预测结果的函数(f())来求值。例如，有3个分类器，且各个分类器的值为1或0(1表示疾病，0表示正常)，并假设各个加权值统一为0.33，即判定2个分类器为疾病，1个分类器为正常时，作为f()的最终值的预测值为0.66。即可以预测有相应疾病的概率为66％。

由此，上述综合属性决定部190可构成为，上述概率超出预设基准值时，预测具有相应疾病。例如，上述基准值可以是60％等。

学习部210包括，对上述经过图片预处理的眼底图像进行学习而更新关于上述属性分类器的各属性学习数据的分类学习部211及对上述属性预处理部183输出的、掩蔽属性的眼底图像进行学习的综合学习部212。

预测部220如图4及下述表1所示，预测上述被提取的属性的种类及数量相对应的疾病。

【表1】

并且，当通过上述综合属性决定部计算的综合预测值超出对包括所有上述属性的疾病所预设的基准值时，预测部220预测上述眼底图像具有上述疾病。即，预测部220通过图4和表1，根据相应分类的属性来判断疾病，并通过上述数学式1，根据所要判断疾病的预测值，预测疾病的发病与否。

图5是表示本发明基于人工智能的眼球疾病诊断方法的流程图。

参照图5，控制部150通过输入部120检查眼球疾病诊断事件是否发生(S111)。

眼球疾病诊断事件发生后，控制部150通过眼底图像获取部140检查眼底图像是否被获取(S113)。

眼底图像被获取后，控制部150通过眼底图像预处理部170执行眼底图像预处理(S115)。

控制部150对所获取的眼底图像完成预处理后，通过之前预先学习的各疾病属性分类器从预处理的眼底图像中提取属性(S117)。

提取属性后，控制部150根据一实施例适用数学式1来计算学习结果综合预测值(Prediction)(S119)。

控制部150根据实施例，根据通过各属性分类器所检测的属性及综合预测值来预测眼球疾病(S123)。即，控制部150根据通过各属性分类器所检测的属性来判断疾病种类，并通过综合预测值判断相应疾病的概率。

控制部150优选在每次对上述眼球疾病的预测后或者提取属性和计算预测值时，进行各属性分类器学习和综合学习(S121)。

图6是表示本发明基于人工智能的眼球疾病诊断方法中眼底图像预处理方法的流程图。

参照图6，控制部150通过眼底图像获取处理部160从眼底图像获取部140获取眼底图像，并将眼底图像调节为预设的大小(分辨率)(S211)。

调节大小后，控制部150执行颜色归一化(S215)，将大小调节的眼底图像中所包含的颜色变换为适合提取眼球疾病属性的颜色。

并且，控制部150在完成眼底图像的大小调节后，可以如图2，还可以执行颜色对比强调和外廓线的强化处理(S213)。

图7是表示本发明的基于人工智能的眼球疾病诊断方法中属性提取方法的流程图。

参照图7，控制部150从眼底图像预处理的眼底图像中检测眼球构造物(S311)。

检测眼球构造物后，控制部150基于眼球构造物，通过预先学习的属性分类器提取属性(S313)。

属性被提取后，控制部150执行将提取的属性掩蔽到预处理后的原图像，即眼底图像的属性预处理(S315)。

进行属性预处理的理由如下：从原图像中提取与各属性相应的部分时，该提取结果物因根据原图像会具有各不相同的形态，而无法将不同形态的图像直接输入到分类器。即为了使分类器进行学习，需要按同一标准再定义被提取的属性图像。属性预处理阶段是执行该部分的过程。假设，从100*100大小的2个图像中提取属性，其中一个提取的大小为10*10，另一个提取的大小为20*10，为了比较这两个属性，需要调整为相同的大小。属性预处理过程基于原图像的大小执行某种标准化(Normalization)作用，将这样被提取为不同大小的属性信息调整为可比较的相同大小。

同时，本领域技术人员应该很容易理解本发明不限定于上述的最佳实施例，只要在不超出本发明要点的范围内，可进行多方面的改进、变更、替换及附加来实施。只要通过此类改进、变更、替换及附加的实施属于所附加的权利要求书范围内，它的技术思想也应属于本发明。