基于暗通道和亮通道的眼底图像质量评估方法

摘要

本发明公开了一种基于暗通道和亮通道的眼底图像质量评估方法，包括获取眼底图像的历史数据并标注；构建初步眼底图像质量评估模型；采用标注后的眼底图像历史数据训练初步眼底图像质量评估模型得到眼底图像质量评估模型；采用眼底图像质量评估模型对目标眼底图像进行识别评估得到最终的眼底图像质量实时评估结果。本发明方法不仅实现了图像质量的评估，而且可靠性高、实用性好、准确性高且易于实施。

说明书

技术领域

本发明属于图像处理领域，具体涉及一种基于暗通道和亮通道的眼底图像质量评估方法。

背景技术

随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越高。

视网膜图像能够较好的反映眼睛眼底的状态，是人们了解自身眼底状态的重要检查依据。目前，随着人们对于健康的关注度越来越高，视网膜图像在医学上的需求和应用也越来越广泛。获取视网膜图像后，医技人员首先需要对获取的视网膜图像的图像质量进行评估：只有高质量的视网膜图像，才能够传递到临床的医生的手中，进而帮助临床医生获取更多有用的信息。

目前的视网膜图像的图像质量评估方法，一般采用的是医技人员人工评估的方式。但是，医技人员凭借自身的业务水平对图像质量进行评估，存在较大的主观因素，导致图像质量评估结果的可靠性不高，质量评估结果严重依赖于医技人员的主观意识和业务水平；此外，人工评估的方式效率较差，成本高昂。

目前，研究人员已经开发了采用机器学习算法来进行视网膜图像的图像质量评估的技术。但是，这类检测算法大都着眼于眼底图像中纹理、色彩、对比度等信息的分析，通常流程为选择一种自然场景图像分类的深度学习模型，以彩色眼底图像数据集为训练集学习视网膜图像的丰富的深层特征，进行微调或者将眼底图像的色彩空间的信息进行分别提取然后融合学习以此得到最终质量评估结果。这类方法一方面要求单个网络的复杂性，引入多框架并行来学习图像质量评估的先验知识以便获得更加全面的质量评估依据信息使学习的模型更加具有鲁棒性；另一方面其训练的模型由于复杂的框架和需要优化的参数迅速增加，辅助任务的学习还需要额外的注释数据且整个框架无法端到端的训练。

因此，无论是人工评估还是智能算法评估，目前的视网膜图像的图像质量评估方法的可靠性都不高，而且实用性较差。

发明内容

本发明的目的在于提供一种可靠性高、实用性好、准确性高且易于实施的基于暗通道和亮通道的眼底图像质量评估方法。

本发明提供的这种基于暗通道和亮通道的眼底图像质量评估方法，包括如下步骤：

S1.获取眼底图像的历史数据，并对获取的眼底图像进行人工标注；

S2.构建初步眼底图像质量评估模型；

S3.采用步骤S1获取的标注后的眼底图像历史数据，对步骤S2构建的初步眼底图像质量评估模型进行训练，从而得到眼底图像质量评估模型；

S4.采用步骤S3获取的眼底图像质量评估模型，对目标眼底图像进行识别评估，从而得到最终的眼底图像质量实时评估结果。

步骤S2所述的构建初步眼底图像质量评估模型，具体为采用如下步骤构建模型：

采用固定高斯核和通道合并池化层的深度卷积估计暗通道和亮通道的先验信息；

对于输入的图像，将每个颜色通道与固定高斯核卷积后，再进行逐个通道最小化合并运算来估计暗通道的先验信息；将每个颜色通道与固定高斯核卷积后，再进行逐个通道最大化合并运算来估计亮通道的先验信息

模型主网络为DenseNet-121网络，共包括若干个密集块；由先验引导模块获得的先验信息图级联输入密集块，首先经过卷积处理，然后是全局平均池化层和完全连接层；完全连接层将模型学习到的特征映射为图像质量评估结果；

主网络的卷积的输入通道为N；其中暗通道的先验信息和亮通道的先验信息占用2个通道，采用标准卷积网络学习剩余的N-2个特征图。

所述的暗通道，具体为位置(x,y)处的暗像素定义为：

D(I)(x)＝min

式中(x,y)表示像素的位置；P(x)为以x为中心的图像块；I

所述的亮通道，具体为位置(x,y)处的暗像素定义为：

B(I)(x)＝max

式中(x,y)表示像素的位置；P(x)为以x为中心的图像块；I

所述的密集块，具体为包括四个密集块，每个密集块为具有三个固定高斯核且步长为2的深度卷积层。

所述的先验引导模块，具体为对于输入的H×W×3图像，将每个颜色通道与固定高斯核卷积后，再进行逐个通道最小化合并运算来估计暗通道的先验信息图；将每个颜色通道与固定高斯核卷积后，再进行逐个通道最大化合并运算来估计亮通道的先验信息图；另外对输入图像采用标准卷积学习其余N-2幅特征图；最后N幅特征图级联操作，获得先验引导模块的H/2×W/2×K输出，作为主网络密集块的输入。

步骤S3所述的训练，具体为将暗通道的先验信息、亮通道的先验信息和学习到的特征图级联起来作为输出，并通过反向传播学习模型主网络中的各个参数。

本发明提供的这种基于暗通道和亮通道的眼底图像质量评估方法，通过输入彩色眼底图像计算其暗通道先验信息图以区分图像是否被不均匀照明污染，提取图像亮通道信息以校正曝光不足的图像获得其质量信息，在网络结构第一层中插入具有固定内核的卷积层，获得图像暗通道先验图中的亮区域与亮通道先验图中的暗区域部分，将暗通道和亮通道的先验信息图合并入卷积神经网络输入中而无需添加额外的参数，实现了网络的端到端训练；本发明方法不仅实现了图像质量的评估，而且可靠性高、实用性好、准确性高且易于实施。

附图说明

图1为本发明方法的方法流程示意图。

图2为本发明方法的模型结构示意图。

图3为本发明方法的彩色眼底图像及暗通道与亮通道图像示意图。

具体实施方式

如图1所示为本发明方法的方法流程示意图，图2则为对应的模型结构示意图：本发明提供的这种基于暗通道和亮通道的眼底图像质量评估方法，包括如下步骤：

S1.获取眼底图像的历史数据，并对获取的眼底图像进行人工标注；具体为获取历史眼底图像数据，然后对图像质量进行标注(比如，标注为推荐或不推荐，对应于最终的输出的评估结果)；

S2.构建初步眼底图像质量评估模型；具体为采用如下步骤构建模型：

采用固定高斯核和通道合并池化层的深度卷积估计暗通道和亮通道的先验信息；

为了使网络注意不均匀照明引起的图像质量问题，对于输入的图像，将每个颜色通道与固定高斯核卷积后，再进行逐个通道最小化合并运算来估计暗通道的先验信息；将每个颜色通道与固定高斯核卷积后，再进行逐个通道最大化合并运算来估计亮通道的先验信息；如图3所示；

其中，暗通道，具体为位置(x,y)处的暗像素定义为：

D(I)(x)＝min

式中(x,y)表示像素的位置；P(x)为以x为中心的图像块；I

亮通道，具体为位置(x,y)处的暗像素定义为：

B(I)(x)＝max

式中(x,y)表示像素的位置；P(x)为以x为中心的图像块；I

模型主网络为DenseNet-121网络，共包括若干个密集块(优选为4个密集块)；由先验引导模块获得的先验信息图级联输入密集块，首先经过卷积处理，然后是全局平均池化层和完全连接层；完全连接层将模型学习到的特征映射为图像质量评估结果；每个密集块为具有三个固定高斯核且步长为2的深度卷积层；

其中，先验引导模块，具体为输入的H×W×3图像，将每个颜色通道与固定高斯核卷积后，再进行逐个通道最小化合并运算来估计暗通道的先验信息图；将每个颜色通道与固定高斯核卷积后，再进行逐个通道最大化合并运算来估计亮通道的先验信息图；另外对输入图像采用标准卷积学习其余N-2幅特征图；最后N幅特征图级联操作，获得先验引导模块的H/2×W/2×K输出，作为主网络密集块的输入，此处设定K＝N＝64。

主网络的第二层卷积的输入通道为N(本发明为64个)；其中暗通道的先验信息和亮通道的先验信息占用2个通道，采用标准卷积网络学习剩余的N-2个特征图；

S3.采用步骤S1获取的标注后的眼底图像历史数据，对步骤S2构建的初步眼底图像质量评估模型进行训练，从而得到眼底图像质量评估模型；具体为将暗通道的先验信息、亮通道的先验信息和学习到的特征图级联起来作为输出，并通过反向传播学习模型主网络中的各个参数；

S4.采用步骤S3获取的眼底图像质量评估模型，对目标眼底图像进行识别评估，从而得到最终的眼底图像质量实时评估结果。

本发明方法，在公共数据集Eye-Quality上进行实验，图像共包括12543幅训练图像，16249幅测试图像；下表1为本发明方法与对比方法的实验结果示意表。

表1本发明方法与对比方法的实验结果示意表

从表1可以看到，本发明与Baseline结构的消融实验结果，准确率可达92.55％，比基础结构提高了两个百分点。

本发明方法最终得到的一个图像质量的推荐结果，即针对输入最终模型的眼底图像，评估其成像质量是否可靠(比如成像是否清楚，是否符合临床所需要的清晰度等)，但是并不对图像本身进行诊断或判定。同时，本发明方法还可以直接应用于眼底图像成像的设备，该设备在每次成像并获取对应的眼底图像以后，采用本发明方法进行质量评估，并对评估质量较差的眼底图像进行对应的操作(比如丢弃，并重新进行一次眼底图像的成像或拍照)。