基于深度学习的眼睑拓扑形态特征的提取方法

摘要

本发明公开了一种基于深度学习的眼睑拓扑形态特征的提取方法。具体为：采集正常人的电子数码照片，对电子数码照片进行处理后构建ROI图像训练集，将ROI图像训练集输入待训练的卷积神经网络中得到训练好的卷积神经网络；对待测的电子数码照片使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得待测的ROI区域图像，将待测的ROI区域图像输入训练后的卷积神经网络输出带有眼睑轮廓线和角膜轮廓线图像，确定待测的电子数码照片的圆形比例尺、瞳孔中心，提取单眼的眼睑拓扑形态特征。本发明使用卷积神经网络对眼睑及角膜结构进行分割，并使用MeanShift聚类确定瞳孔中心后进行眼睑相关结构参数自动化计算，获得与手动测量相当的准确度。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度学习的眼睑拓扑形态特征的提取方法。

背景技术

正常的眼睑位置是实现眼球正常功能的基础，评估眼睑的形态及位置对于眼整形(例如上睑下垂，倒睫)，眼表疾病(例如暴露性角膜炎)及Graves眼病等均有重要的意义。

目前临床常用刻度尺手动测量患者的上睑边缘反射距离(MRD1)，下睑边缘反射距离(MRD2)以及睑裂大小(PF)，用于评估其眼睑位置。然而精准的测量需要测量者长期的经验以及被测量者的高度配合，同时手工测量的重现性和稳定性较差。与此同时，这些线性指标并不能全面的反映出完整的眼睑轮廓形态学特征。通过分析电子照片，能够克服手工测量重现性和稳定性差的问题，然而传统自动分析方法如Canny边界检测算法使用时会遇到睫毛的干扰，使得无法精确识别眼睑边界，同时虹膜的非正圆也使得普通的三点拟合圆心以确定瞳孔中心的方法受到一定缺陷。要实现全自动化眼睑结构分析，必须基于精准的眼睑边界识别以及瞳孔中心定位。构建基于深度学习的眼睑拓扑形态特征的提取方法，精确的使用深度卷积神经网络分割角膜及眼睑边界，定位瞳孔中心，是实现对眼睑形态特征测量评估的关键技术，在自动化以及远程对眼睑相关疾病进行诊断和评估中具有迫切的临床需求。

发明内容

为了克服背景技术中现有的问题，本发明目的在于提供一种基于深度学习的眼睑拓扑形态特征的提取方法，实现了自动识别眼睑相关结构并进行眼睑拓扑形态特征的自动测量计算。

本发明所采用的技术方案如下：

本发明包括以下步骤：

步骤1：采集正常人的电子数码照片，由电子数码照片组成面部照片数据集；

步骤2：对标注眼睑轮廓线和角膜轮廓线的电子数码照片进行处理获得二值分割图像，由所有电子数码照片的二值分割图像组成二值分割图像数据集；

步骤3：对二值分割图像数据集中的二值分割图像使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得二值分割图像的ROI区域二值分割图像，由所有二值分割图像的ROI区域二值分割图像组成ROI图像训练集；

步骤4：构建基于AGN(Attention-gated Network)的卷积神经网络；

步骤5：将步骤3获得的ROI图像训练集输入步骤4的卷积神经网络，获得训练后的卷积神经网络；

步骤6：对待测的电子数码照片使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得待测的ROI区域图像，将待测的ROI区域图像输入训练后的卷积神经网络，训练后的卷积神经网络输出每个像素点为角膜、眼睑和背景的分类概率，根据预设阈值判断每个像素点的分类概率，将每个像素点进行分类，由各类像素点分类后组成待测的ROI区域图像的角膜区域、眼睑区域和背景区域，最终输出带有眼睑轮廓线和角膜轮廓线图像；

步骤7：重复若干次随机选取带有眼睑轮廓线和角膜轮廓线图像中角膜轮廓线的三个像素点并拟合三个像素点所在圆的圆心，对多次拟合获得的圆心使用聚类方法确定聚类中心，将聚类中心作为瞳孔中心；

步骤8：步骤6中的待测的电子数码照片的额头处贴有圆标，在HSV颜色空间中使用霍夫编码方法检测圆标，通过计算获得圆形比例尺；

步骤9：利用步骤8获得的圆形比例尺和步骤7定位的瞳孔中心对步骤6获得的带有眼睑轮廓线和角膜轮廓线图像进行计算，获得单眼的上睑边缘反射距离(MRD1)、下睑边缘发射距离(MRD2)、睑裂大小(PF)、上睑长度、下睑长度、角膜区、鼻侧区和颞侧区面积，由上睑边缘反射距离(MRD1)、下睑边缘发射距离(MRD2)、睑裂大小(PF)、上睑长度、下睑长度、角膜区、鼻侧区和颞侧区面积组成眼睑拓扑形态特征。

所述步骤1中的电子数码照片和步骤6中的待测的电子数码照片均要求为全脸且额头处贴有圆标，被摄人处于目视正前方的第一眼位。

所述步骤2具体为：

对步骤1中的电子数码照片对应的眼睑轮廓线图像和角膜轮廓线图像使用水漫填充法分别转换为眼睑二值分割图像和角膜二值分割图像，将眼睑二值分割图像和对应的角膜二值分割图像进行叠加处理获得二值分割图像，由所有的二值分割图像组成二值分割图像数据集。

所述ROI区域包括上眼睑、下眼睑、角膜、瞳孔和巩膜可见区。

所述步骤4中的卷积神经网络包括下采样模块和上采样模块，下采样模块主要由第一卷积池化模块、第二卷积池化模块、第三卷积池化模块和第四卷积池化模块依次连接组成，卷积池化模块主要由下采样卷积模块和最大池化模块依次连接组成，下采样卷积模块主要由第一卷积层(Convoluational layer，conv)、第一批次归一化层(BatchNormalization，BN)、第一ReLU激活层、第二卷积层、第二批次归一化层和第二ReLU激活层依次连接组成，最大池化模块包含两个最大池化层(Max Pooling)；上采样模块包括一个卷积模块、四个上采样卷积模块、四个门控单元、四个上采样子模块和一个上采样卷积层，其中，上采样卷积模块与下采样卷积模块结构相同，上采样子模块主要由B样条插值操作组成；第四最大池化模块的输出输入到卷积模块，卷积模块的输出和第四下采样卷积模块的输出输入第一门控单元，卷积模块的输出还输入到第一上采样子模块，第一门控单元的输出和第一上采样子模块的输出进行特征拼接后输入到第一上采样卷积模块；第一上采样卷积模块的输出和第三下采样卷积模块的输出输入第二门控单元，第一上采样卷积模块的输出还输入到第二上采样子模块，第二门控单元的输出和第二上采样子模块的输出进行特征拼接后输入到第二上采样卷积模块；第二上采样卷积模块的输出和第二下采样卷积模块的输出输入第三门控单元，第二上采样卷积模块的输出还输入到第三上采样子模块，第三门控单元的输出和第三上采样子模块的输出进行特征拼接后输入到第三上采样卷积模块；第三上采样卷积模块的输出和第一下采样卷积模块的输出输入第四门控单元，第三上采样卷积模块的输出还输入到第四上采样子模块，第四门控单元的输出和第四上采样子模块的输出进行特征拼接后输入到第四上采样卷积模块；第四上采样卷积模块的输出输入到上采样卷积层，上采样卷积层的输出输入到Softmax分类层，最终获得待测的ROI区域图像的语义分割结果。

所述的门控单元具体为：门控单元的第一输入和第二输入分别经过各自的门控卷积层后再进行像素和相加并输入到第三ReLU激活层，第三ReLU激活层依次经第三卷积层、第一Sigmoid激活层后进行重采样，重采样后的输出与第二输入进行跳跃连接后输出，跳跃连接后的输出作为门控单元的输出；

所述第一输入为下采样卷积模块的输出；第二输入为卷积模块的输出或上采样卷积模块的输出；跳跃连接为对重采样后的输出与第二输入以权重α逐像素相乘。

所述圆形比例尺的计算具体为：

在HSV颜色空间中使用霍夫编码方法检测原标，取圆标边缘上相距最长的两个像素点之间的距离作为圆标直径，圆标直径所占的像素点数量作为实际圆标直径对应的像素值，计算实际圆标直径除以实际圆标直径对应的像素点数量，获得圆形比例尺。

所述步骤9中，MRD1为瞳孔中心至上睑缘的垂直距离，MRD2为瞳孔中心至上睑缘的垂直距离，PF为上睑缘至下睑缘且经过瞳孔中心的垂直距离，上下睑长度分别为以内外眦为起止点的上下睑缘的几何长度，角膜面积为第一眼位时角膜露出部分的面积，鼻侧面积为第一眼位时睑裂间位于角膜鼻侧的巩膜区域面积，颞侧面积为第一眼位时睑裂间位于角膜颞侧的巩膜区域面积。

与现有技术相比，本发明的优点和有益效果具体是：

本发明使用深度卷积神经网络对电子数码照片的眼睑结构进行分割，相比于手工测量方法，拥有更好的可重复性及稳定性，所需患者配合时间短，照片素材易于获得，为远程医疗及自动诊断的实现提供技术支持。

本发明相比于传统分割方法，基于深度神经网络的分割可获得更精确的分割效果，受到附近组织结构干扰较小，使得眼睑拓扑形态结构分析具有更精准的结构基础。

本发明使用基于高斯核的MeanShift聚类，得到聚类中心设为瞳孔中心，减小了因虹膜为非正圆产生的拟合圆心与实际瞳孔中心的定位偏差，使得眼睑相关形态学参数的计算更为精准、客观，进一步提升该方法的准确率和可靠性，辅助远程、多中心的眼睑形态参数的客观评估，从而客观地对相关疾病进行自动化诊断。

附图说明

图1是本发明的实现流程图；

图2是本发明的卷积神经网络示意图；

图3是本发明的注意机制示意图；

图4是本发明的眼睑拓扑形态学测量参数示意图。

具体实施方式

下面结合附图和具体实施对本发明作进一步说明。

如图1所示，本发明包括以下步骤：

步骤1：从某医院眼科中心采集1581张正常人的电子数码照片，要求拍摄范围为全脸，且额头处贴有平整的直径为10mm的圆标，被摄人处于目视正前方的第一眼位。上睑下垂、眼睑痉挛、斜视或角膜外伤等患者及照片模糊等质量较差的图片被排除于本研究之外。照片由佳能EOS 500D，配备100mm微距镜头的单反相机拍摄完成，并上传电脑获得分辨率为4752*3618的电子数码照片。使用上述电子数码照片构建面部照片数据集；

步骤2：对标注眼睑轮廓线和角膜轮廓线的电子数码照片进行处理获得二值分割图像，由所有电子数码照片的二值分割图像组成二值分割图像数据集；

步骤2具体为：

对步骤1中的电子数码照片对应的眼睑轮廓线图像和角膜轮廓线图像使用水漫填充法分别转换为眼睑二值分割图像和角膜二值分割图像，将眼睑二值分割图像和对应的角膜二值分割图像进行叠加处理获得二值分割图像，由所有的二值分割图像组成二值分割图像数据集。

步骤3：对二值分割图像数据集中的二值分割图像使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得二值分割图像的ROI区域二值分割图像，由所有二值分割图像的ROI区域二值分割图像组成ROI图像训练集；ROI区域包括上眼睑、下眼睑、角膜、瞳孔和巩膜可见区。

步骤4：构建基于AGN(Attention-gated Network)的卷积神经网络；

如图2所示，步骤4中的卷积神经网络包括下采样模块和上采样模块，下采样模块主要由第一卷积池化模块、第二卷积池化模块、第三卷积池化模块和第四卷积池化模块依次连接组成，卷积池化模块主要由下采样卷积模块和最大池化模块依次连接组成，下采样卷积模块主要由第一卷积层(Convoluational layer，conv)、第一批次归一化层(BatchNormalization，BN)、第一ReLU激活层、第二卷积层、第二批次归一化层和第二ReLU激活层依次连接组成，最大池化模块包含两个最大池化层(Max Pooling)；上采样模块包括一个卷积模块、四个上采样卷积模块、四个门控单元、四个上采样子模块和一个上采样卷积层，其中，上采样卷积模块与下采样卷积模块结构相同，上采样子模块主要由B样条插值操作组成；第四最大池化模块的输出输入到卷积模块，卷积模块的输出和第四下采样卷积模块的输出输入第一门控单元，卷积模块的输出还输入到第一上采样子模块，第一门控单元的输出和第一上采样子模块的输出进行特征拼接后输入到第一上采样卷积模块；第一上采样卷积模块的输出和第三下采样卷积模块的输出输入第二门控单元，第一上采样卷积模块的输出还输入到第二上采样子模块，第二门控单元的输出和第二上采样子模块的输出进行特征拼接后输入到第二上采样卷积模块；第二上采样卷积模块的输出和第二下采样卷积模块的输出输入第三门控单元，第二上采样卷积模块的输出还输入到第三上采样子模块，第三门控单元的输出和第三上采样子模块的输出进行特征拼接后输入到第三上采样卷积模块；第三上采样卷积模块的输出和第一下采样卷积模块的输出输入第四门控单元，第三上采样卷积模块的输出还输入到第四上采样子模块，第四门控单元的输出和第四上采样子模块的输出进行特征拼接后输入到第四上采样卷积模块；第四上采样卷积模块的输出输入到上采样卷积层，上采样卷积层的输出输入到Softmax分类层，最终获得待测的ROI区域图像的语义分割结果。

如图3所示，门控单元具体为：门控单元的第一输入和第二输入分别经过各自的1×1门控卷积层后再进行像素和相加并输入到第三ReLU激活层，1×1门控卷积层将第一输入和第二输入的特征通道数转为相同，第三ReLU激活层依次经1×1第三卷积层、第一Sigmoid激活层后进行重采样，重采样后的输出与第二输入进行跳跃连接后输出，1×1第三卷积层将特征通道数降低至1，跳跃连接后的输出作为门控单元的输出；

第一输入为下采样卷积模块的输出；第二输入为卷积模块的输出或上采样卷积模块的输出；跳跃连接为对重采样后的输出与第二输入以权重α逐像素相乘。

步骤5：随机取步骤3获得的ROI图像训练集中的1378张ROI区域二值分割图像输入步骤4的卷积神经网络。其中，882位参与者(1764只眼睛)作为训练集，220位参与者(440只眼睛)作为验证集，276位参与者(552只眼睛)作为测试集。

在训练时，设定的学习率为0.001，训练轮次为100轮，学习率在20轮处衰减，衰减率为0.1，每次训练的学习率小于或等于前一次训练的学习率，获得训练后的卷积神经网络，以用于电子数码照片的眼睑及角膜分割；

步骤6：对待测的电子数码照片使用面部识别方法定位眼部感兴趣区域位置(ROI)，获得待测的ROI区域图像，将待测的ROI区域图像输入训练后的卷积神经网络，训练后的卷积神经网络输出每个像素点为角膜、眼睑和背景的分类概率，根据预设阈值判断每个像素点的分类概率，将每个像素点进行分类，由各类像素点分类后组成待测的ROI区域图像的角膜区域、眼睑区域和背景区域，最终输出带有眼睑轮廓线和角膜轮廓线图像；背景区域为待测的ROI区域图像中除角膜区域和眼睑区域以外的图像。眼睑轮廓线为眼睑区域与背景区域之间的分界线，角膜轮廓线为角膜区域和眼睑区域之间的分界线。

步骤7：重复若干次随机选取带有眼睑轮廓线和角膜轮廓线图像中角膜轮廓线的三个像素点并拟合三个像素点所在圆的圆心，对多次拟合获得的圆心使用高斯核的MeanShift聚类方法确定聚类中心，将聚类中心作为瞳孔中心；

步骤8：步骤6中的待测的电子数码照片的额头处贴有圆标，在HSV颜色空间中使用霍夫编码方法检测圆标，通过计算获得圆形比例尺；

圆形比例尺的计算具体为：

在HSV颜色空间中使用霍夫编码方法检测原标，取圆标边缘上相距最长的两个像素点之间的距离作为圆标直径，圆标直径所占的像素点数量作为实际圆标直径10mm对应的像素值，计算实际圆标直径10mm除以实际圆标直径10mm对应的像素点数量作为圆形比例尺R。

步骤9：选取步骤5的ROI图像训练集中未用于卷积神经网络训练的203张ROI区域二值分割图像，重复步骤6-8，对203张ROI区域二值分割图像进行角膜和眼睑结构分割，获得203张带有眼睑轮廓线和角膜轮廓线图像。

步骤10：利用步骤8获得的圆形比例尺和步骤7定位的瞳孔中心对步骤9获得的带有眼睑轮廓线和角膜轮廓线图像进行计算，获得单眼的上睑边缘反射距离MRD1、下睑边缘发射距离MRD2、睑裂大小PF、上睑长度L

如图4所示，步骤10中，眼睑拓扑形态特征均建立在被摄人处于目视正前方的第一眼位，MRD1为瞳孔中心至上睑缘的垂直距离，MRD2为瞳孔中心至上睑缘的垂直距离，PF为上睑缘至下睑缘且经过瞳孔中心的垂直距离，即MRD1与MRD2之和，上下睑长度分别为以内外眦为起止点的上下睑缘的几何长度，角膜面积为第一眼位时角膜露出部分的面积，鼻侧面积为第一眼位时睑裂间位于角膜鼻侧的巩膜区域面积，颞侧面积为第一眼位时睑裂间位于角膜颞侧的巩膜区域面积。

具体计算方法满足公式(1)～(8)：

MRD1＝N

MRD2＝N

PF＝MRD1+MRD2 (3)

A

A

A

L

L

其中，NMRD1为上睑边缘反射距离MRD1的像素点数量，NMRD2为下睑边缘反射距离MRD2的像素点数量，Nul为上睑长度的像素点数量，Nll为下睑长度的像素点数量，Nc为角膜区中的像素点数量，Nn为鼻侧区中的像素点数量，Nt为颞侧区中的像素点数量，R为圆形比例尺。

本方法通过深度学习，实现精确的角膜及上下眼睑的分割。采用基于以上发明的眼睑拓扑形态学参数的自动测量，具有较高的精确度，且可重复性较好，可应用于疾病自动化诊断、远程医疗和手术评估等领域。