基于几何分析提取眼部异常运动特征的方法

摘要

本发明公开了基于几何分析提取眼部异常运动特征的方法，首先，使用摄像机或手机，从正面拍摄静坐状态下受试者面部视频图像序列。然后，通过人脸对齐，对视频图像序列中的面部关键点进行几何定位，提取眼部特征点的几何信息，计算眼睛相对开度。接着，通过经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正。随后，使用固定长度滑窗，提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别。最后，结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征。本发明实现了眼部异常运动特征的精确客观度量，可用于面部运动障碍疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。

说明书

技术领域

本发明涉及人工智能、医学影像、临床医学技术领域，尤其涉及一种使用视频图像序列基于几何分析提取眼部异常运动特征的技术。

背景技术

对健康个体而言，眼部运动模式由睁眼、闭眼、眨眼构成，其中前两者可视为静止状态，自然非受迫的眨眼行为更有分析价值。对于存在眼部运动障碍疾病的个体，眼部运动大多表现为受迫的运动状态，如眼睑痉挛、张睑失用、眨眼频率增加，或几者的结合，这些运动模式比较复杂，使用针对健康个体的眨眼检测等通用方法可能难以准确分析。眼部异常运动的特殊性主要体现在个体眼部相对开度变化、眨眼频率等方面。首先，不同个体以上方面差异可能很大；其次，同一个体在不同时间片段中，以上方面差异也可能很明显。所以，对于眼部异常运动的分析，不能仅采用通常的眨眼检测方法。

目前，针对眼部运动障碍疾病的分析大多由具有丰富临床经验的医生完成，对患者进行一定时间的观察，并结合Jankovic评分标准给出眼部运动障碍严重程度判断，而基于视频的计算机辅助诊断实例较少。Midori H.Osaki等人使用附着在眼睑前部区域的发光二极管和摄像机实现了对面肌痉挛患者观影时眨眼与眼睑异常运动的捕捉与分析，研究了眼部疾病受累眼与健康眼的眨眼共轭程度，与眨眼基础上的高频眼睑抽搐。此外，还对复杂的眼睑运动模式进行了探究。Shinji Miyazaki等人开发了一种适用于现场系统来量化临床部位的眼睑运动，也使用了附着在眼睑边缘的标记物，且样本中眼部未表现出复杂运动模式。Naveen N.Somia等人对健康受试者和面部神经病变患者反射性眼睑运动进行了定量描述，测量了位移、速度、加速度、双侧眨眼程度等参数，从运动学角度评估了眼睑功能。同样地也使用了穿戴设备和眼睑反射标记来辅助测量。这些方法大多停留在眼部运动数据获取和统计分析阶段。针对眼部运动数据获取，前述方法都采用了主动检测方法，即使用了附着于眼部的标记物，具有一定的侵入性，会引起被试者不适。此外，对眼部运动数据的分析也只提供了一些简单的统计结果，并未对数据作进一步分析处理，更多的是在医学方面进行讨论，而未提取出眼部异常运动相对于健康个体的典型特征，以供后续疾病诊断与评估。

发明内容

为解决上述问题，本发明公开了一种基于几何分析提取眼部异常运动特征的方法，本发明通过采集面部运动障碍疾病患者和健康对照者的面部视频图像序列，使用人脸对齐算法，提取眼部特征点几何信息，计算眼睛的相对开度；使用经验模态分解去噪、闭眼检测等处理，对眼睛相对开度序列进行滤波与修正；提取眼睛相对开度序列片段，训练眨眼检测器，对序列中的眨眼运动模式进行识别；结合眨眼与闭眼运动模式识别结果，对眼睛相对开度序列进行统计分析，提取眼部异常运动特征，如眨眼频率、闭眼占比等；并将这些特征成功用于面部运动障碍疾病的识别分型及其严重程度评估。

本发明的技术方案如下：

本发明公开了一种基于几何分析提取眼部异常运动特征的方法，其以视频图像序列为信息载体，使用智能分析算法，自动测量受试者眼睛的相对开度，精确提取眼部异常运动特征，包括以下步骤：

步骤1，受试者面部视频采集；

步骤2，人脸检测与人脸对齐；

步骤3，眼睛相对开度计算；

步骤4，经验模态分解去噪；

步骤5，闭眼检测与序列修正；

步骤6，眨眼运动模式识别；

步骤7，眼部异常运动特征提取。

本发明进一步改进在于：步骤1中，使用摄像机或手机，拍摄受试者在静坐状态下的面部运动视频图像序列，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部运动视频图像，诊断受试者是否患病、患病类型以及患病严重程度。根据患者眼部异常运动的临床表现，将面部运动障碍疾病分为若干亚类，与健康受试者形成对照，构建面部运动障碍疾病视频图像数据集。面部运动障碍疾病视频图像数据集中个体的表现不同于一般的人脸数据集。患者眼部运动状态可能是非正常的，直观上可能存在上、下眼睑不同频率痉挛或张睑受限等眼部受迫现象。

本发明进一步改进在于：步骤2中，对受试者面部视频图像序列，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE-CLM)进行人脸对齐，实现面部特征点定位。

CE-CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点的位置进行对齐估计，各个特征点的位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化CE-CLM模型。

使用CE-CLM模型可以估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标。该方法在面部特征点检测与跟踪方面具有很好的性能，受光照、姿态、表情等变化影响小。

本发明进一步改进在于：步骤3中，将CE-CLM模型估计的面部特征点三维坐标转换到头部坐标系下。由于CE-CLM在内部使用面部特征点的三维表示，并使用正交相机投影到图像上，所以通过解决透视图中的n点问题，可以在得到面部特征点后准确估计头部姿势，获得头部坐标系相关参数。

头部坐标系原点在相机坐标系下坐标为(x

其中，R为旋转矩阵，

T为平移矩阵

T＝(x

便于后续计算分析，将特征点坐标转换到头部坐标系下。二维坐标系下，点(x,y)绕定点(x

二维坐标转换用于后续闭眼分类器训练样本(眼部图像)的提取。

眼部相对开度A的计算公式为

其中，p

本发明进一步改进在于：步骤4中，对计算得到的眼部相对开度序列，使用基于经验模态分解(EMD)的去噪方法进行滤波。

EMD算法是一种自适应信号时频分析手段，能够抽取信号中的固有模态函数，将原信号分解为许多窄带分量，每一个分量被称为本征模态函数(IMF)。EMD算法适用于非平稳信号分析，分解结果由若干本征模态函数和一个残余信号组成，

在EMD的基础上使用基于噪声统计特性的去噪方法，可以很好地解决EMD的模态混叠问题。特征点定位误差引起序列噪声频率高于眼部异常运动频率，可以认为噪声基本存在于首个分解出的IMF函数。研究发现，打乱某离散信号各元素位置顺序(时序打乱，幅值不变)后，信号功率保持不变，而随机噪声经过乱序、累加、平均处理后，噪声功率逐渐降低。理论上，乱序次数足够多时，噪声功率趋于零。随机噪声经EMD分解后，得到的首个IMF函数仍有近似的随机特性，基于类似思想的滤波处理可以达到较好的去噪效果。

具体步骤如下：

(1)对原始信号y(t)采用EMD分解，得到N个IMF，令y

(2)将y

(3)对(2)重复P次，计算累计量的平均值，得到改善的含噪信号

(4)将

(5)将

其中，

式中，median为第i个imf

(6)重构(5)中得到的N个IMF分量imf

本发明进一步改进在于：步骤5中，对EMD去噪后的眼部相对开度序列进行再次修正。由于采用CE-CLM模型进行人脸对齐时，在眼部相对开度较低的情况下存在不可忽视的误差，本发明使用由面部运动障碍疾病视频图像数据集训练得到的闭眼检测器对视频进行逐帧分析，判断每一帧是否存在完全闭眼行为。若存在，则使用由闭眼样本得到的眼部相对开度统计量，生成一个随机值覆盖原值，从而对眼睛相对开度较低时的序列值进行修正。

构建闭眼检测器的具体步骤是，将完全闭眼与非完全闭眼的眼部图像作为样本，将眼部图像缩放到固定尺寸后，提取其方向梯度直方图(HOG)特征，使用SVM分类器，训练闭眼检测器。

步骤6中，使用修正后的眼部相对开度序列以及面部运动障碍疾病视频图像数据集中眨眼运动模式的帧级标注，构建眨眼检测器。在眨眼运动模式标注帧附近，对修正后的眼部相对开度序列进行正样本采样，在其余区域进行负样本采样，以固定帧长的眼部相对开度序列片段作为输入，训练支持向量机(SVM)，识别眨眼运动模式。使用训练好的分类器以滑窗方式进行是否存在眨眼运动模式的帧级预测，再通过非极大值抑制剔除时序上相隔过近的检测结果，实现对序列中的眨眼运动模式的识别。具体实现方法如下：

(1)对每一个视频，使用眨眼检测器，通过滑窗方式进行逐帧预测，得到存在眨眼行为的中心帧集合；

(2)将集合中置信度最高的帧附近d

(3)重复(2)若干次，直至原集合为空。

这样，就保留了有效检测帧，实现序列中的眨眼运动模式识别。

步骤7中，基于修正后的眼睛相对开度序列，结合眨眼与闭眼运动模式识别结果，可以很容易地提取眼部异常运动特征，包括眨眼频率、闭眼占比等。

眨眼频率定义为，眨眼次数与序列时长的比值，其中眨眼即不论是自然原因还是受迫原因引起的睁眼-闭眼-睁眼过程，或者睁眼-半闭眼-睁眼过程。两者的区别在于，前者的闭眼帧会被闭眼检测修正，而后者则不会。

闭眼占比定义为持续1.5秒以上完全闭眼的总时长与序列时长的比值，其中完全闭眼行为仅取决于闭眼检测修正后的区域，与眼部是否发生痉挛、抽搐等异常运动现象无关。

本发明的有益效果：

1、本发明针对面部视频图像序列，基于几何分析提取眼部异常运动特征，能够有效形成对眼部异常运动的精确定量描述，并克服面部特征点定位误差带来的影响；

2、本发明无需任何主动侵入检测硬件，直接利用视频分析眼部异常运动，首次将人的面部特征点检测与面部运动障碍疾病的临床诊断相结合，通过使用机器学习、信号处理等技术提取眼部异常运动特征，可作为面部运动障碍疾病分型的重要依据，亦可供基于Jankovic评分标准的疾病严重程度评估，对促进人工智能医学影像辅助诊断技术发展具有重要意义。

附图说明

图1为眼部异常运动特征提取流程图；

图2为眼部区域6个特征点示意图；

图3为眼睛相对开度序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；

图4为EMD去噪前后序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；

图5为闭眼检测修正前后序列示例(左图：眼部运动异常个体；右图：眼部运动健康个体)；

图6为眨眼检测前后序列示例。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

如图1所示：本实施例的一种基于几何分析提取眼部异常运动特征的方法，包括如下步骤：

步骤1，受试者面部视频采集。

使用摄像机或手机，拍摄受试者在静坐状态下的面部视频图像，其中受试者包括面部运动障碍疾病患者和健康对照者，并由运动障碍疾病诊治专家观看受试者面部视频图像，诊断受试者是否患病、患病类型以及患病严重程度。根据受试者面部异常运动的临床表现，将面部运动障碍疾病分为五大类：眼睑痉挛、面肌痉挛、口下颌肌张力障碍、未知类型异常，以及健康对照。构建面部运动障碍疾病视频图像数据集，其构成如表1所示。

表1面部运动障碍疾病视频图像数据集的构成

需要说明的是，面部运动障碍疾病视频图像数据集中个体面部表现不同于一般的人脸数据集。患者面部视频图像中个体的眼部运动状态可能是非正常的，直观上可能存在上、下眼睑不同频率的痉挛或张睑受限等眼部受迫现象。

步骤2，人脸检测与人脸对齐。

对受试者面部视频图像，使用多任务卷积神经网络(MTCNN)进行人脸检测，并使用卷积专家约束局部模型(CE-CLM)进行人脸对齐，实现面部特征点定位。

CE-CLM包括两部分：使用卷积专家网络(CEN)计算响应图；再使用点分布模型(PDM)更新形状参数。第一步，对每一个特征点位置进行对齐估计，各个特征点位置相互独立；第二步，将所有特征点的位置一起更新，使用点分布模型对未对齐特征点和不规则形状进行惩罚。CE-CLM模型初始化使用MTCNN实现，即学习了从MTCNN检测器输出的边界框到面部特征点的线性映射。跟踪特征点时，基于前一帧特征点检测结果初始化CE-CLM模型。

使用CE-CLM模型可以估计视频序列中每一帧图像内面部特征点在相机坐标系下的三维坐标，在面部特征点检测与跟踪方面具有很好的性能，受光照、姿态、表情等变化影响小。检测到的眼部特征点位置如图2所示。

步骤3，眼睛相对开度计算。

头部坐标系原点在相机坐标系下的坐标为(x

其中，R为旋转矩阵，T为平移矩阵。

将特征点坐标转换到头部坐标系下，计算眼部相对开度A，

其中，p

步骤4，经验模态分解去噪。

对计算得到的眼部相对开度序列，使用基于经验模态分解(EMD)的去噪方法进行滤波。

EMD算法是一种自适应信号时频分析手段，能够抽取信号中的固有模态函数，将原信号分解为许多窄带分量，每一个分量被称为本征模态函数(IMF)。EMD算法适用于非平稳信号分析，分解结果由若干本征模态函数和一个残余信号组成，

在EMD的基础上采用基于噪声统计特性的去噪方法可以很好地解决EMD的模态混叠问题。特征点定位误差引起序列噪声频率高于眼部异常运动频率，可认为该噪声基本存在于首个分解出的IMF函数。研究发现，打乱某个离散信号各元素位置顺序(时序打乱，幅值不变)后，信号功率保持不变，而随机噪声经过乱序、累加、平均处理后，噪声功率逐渐降低。理论上，乱序次数足够多时，噪声功率趋于零。随机噪声经EMD分解后，分解得到的首个IMF函数仍有近似的随机特性，用类似思想进行滤波处理可以达到较好的去噪效果。去噪前后序列示例如图4所示。直观上可以看出，去噪后的序列有效剔除了由于定位误差引起的噪声。

步骤5，闭眼检测与序列修正。

对EMD去噪后眼部相对开度序列进行再次修正。由于采用CE-CLM模型进行人脸对齐时，在眼部相对开度较低情况下存在不可忽视的误差，本发明使用由患者面部视频数据集训练得到的闭眼检测器对视频进行逐帧分析，判断每一帧是否存在完全闭眼行为。若存在，则使用由闭眼样本得到的眼部相对开度统计量，生成一个随机值覆盖原值，从而对眼睛相对开度较低时序列值进行修正。

构建闭眼检测器的具体步骤是，将完全闭眼与非完全闭眼的眼部图像作为样本，将眼部图像缩放到固定尺寸后，提取其方向梯度直方图(HOG)特征，使用SVM分类器，训练闭眼检测器。

闭眼分类器所用的眼部图像数据集如表2所示。眼部图像从面部运动障碍疾病视频图像数据集中随机选取并处理得到。

表2眼部图像数据集的构成

闭眼检测修正前后的序列如图5所示。由图可见，存在完全闭眼行为帧的序列值被置低。

步骤6，眨眼运动模式识别。

使用修正后的眼部相对开度序列以及面部运动障碍疾病视频图像数据集中眨眼运动模式的帧级标注，构建眨眼检测器。在眨眼运动模式标注帧附近，对修正后的眼部相对开度序列进行正样本采样，在其余区域进行负样本采样，以固定帧长的眼部相对开度序列片段作为输入，训练支持向量机(SVM)，识别眨眼运动模式。使用训练好的分类器以滑窗方式进行是否存在眨眼运动模式的帧级预测，再通过非极大值抑制剔除时序上相隔过近的检测结果，实现对序列中的眨眼运动模式的识别。具体实现方法如下：

(1)对每一个视频，使用眨眼检测器，通过滑窗方式进行逐帧预测，得到存在眨眼行为的中心帧集合；

(2)将集合中置信度最高的帧附近d

(3)重复(2)若干次，直至原集合为空。

这样，就保留了有效检测帧，实现序列中的眨眼运动模式识别。用眨眼检测器进行眨眼检测的示例如图6所示。图中虚线代表闭眼检测修正后眼部相对开度序列，横轴上的突起代表预测的眨眼行为与标注的眨眼行为。由图可见，图6的上图除第9秒和第21秒附近有漏检外，其余预测均正确；图6的下图第3秒和第11秒附近有漏检，其余预测均正确。眨眼检测器在面部运动障碍疾病视频图像数据集上能取得很好的检测效果。

步骤7，眼部异常运动特征提取。

基于修正后的眼睛相对开度序列，结合眨眼与闭眼运动模式，可以很容易地提取眼部异常运动特征，包括眨眼频率、闭眼占比等。

眨眼频率定义为，眨眼次数与序列时长的比值，其中眨眼即不论是自然原因还是受迫原因引起的睁眼-闭眼-睁眼过程，或者睁眼-半闭眼-睁眼过程。两者的区别在于，前者的闭眼帧会被闭眼检测修正，而后者则不会。

闭眼占比定义为持续1.5秒以上完全闭眼的总时长与序列时长的比值，其中完全闭眼行为仅取决于闭眼检测修正后的区域，与眼部是否发生痉挛、抽搐等异常运动现象无关。

使用图6的序列以及眨眼与闭眼运动模式识别结果，可以很容易地提取眼部异常运动特征。眨眼频率由预测的眨眼次数很容易求得，闭眼行为在序列中也有明显反映(如图6下图中的第13秒至第15秒)，两种特征通过简单计算就可以获得。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。