基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统

摘要

本发明提供了一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统，该系统包括：用于获取眼肌运动能力的眼肌运动能力检测模块，用于获取抬眉动作依赖度的抬眉动作依赖度检测模块，用于获取皱额动作依赖度的皱额动作依赖度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度获取患病程度的患病程度检测模块，用于获取面部姿态对称度的面部姿态检测模块，以及用于根据患病程度和面部姿态对称度获取康复程度的康复程度检测模块；本发明可以对患者的患病程度和康复程度进行精确量化，帮助患者完成康复训练。

说明书

技术领域

本发明涉及医疗、人工智能领域，尤其是一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统。

背景技术

面部神经麻痹疾病是以面部表情肌群运动功能障碍为主要特征的一种疾病，它是一种常见病、多发病，且不受年龄限制。现有的对面部神经麻痹进行检测的方法大多数是让患者做出微笑、示赤、闭眼等多种动作，之后医生进行综合评分，得到患病程度，这类方法不仅耗时，而且会由于诊治医生主观因素的影响导致检测结果不准确。

发明内容

为了解决上述问题，本发明提出一种基于眼部肌肉运动分析的面部神经麻痹疾病康复检测系统，该系统包括：

眼肌运动能力检测模块，用于获取患者眼睛下视、上视时的人脸图像，并对人脸图像进行处理得到患病侧眼睛下视时上眼睑的面积、上视时上眼睑的面积以及患病侧眼睛在下视到上视这段时间内眼球的运动速度；根据上眼睑的面积变化得到上眼睑的运动能力，基于上眼睑的运动能力和眼球的运动速度得到眼肌运动能力；

抬眉动作依赖度检测模块，用于利用三维人脸重建算法获得人脸三维模型，基于人脸三维模型获得患病侧眼睛由下视至上视时患病侧眉毛的高度变化量以及眉毛的弯曲程度变化量；基于高度变化量和弯曲程度变化量得到眼睛由下视到上视这一过程中的抬眉动作依赖度；

皱额动作依赖度检测模块，用于对人脸图像进行处理，得到下视、上视时的额纹面积，基于额纹面积得到眼睛由下视到上视这一过程中的皱额动作依赖度；

患病程度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度；

面部姿态检测模块，用于基于人脸三维模型获取患者眼睛下视时的眼睛不对称度、眉毛不对称度，根据眼睛不对称度、眉毛不对称度得到患者的面部姿态对称度；

康复程度检测模块，用于根据患者的患病程度和患者的面部姿态对称度获取患者的康复程度。

所述上眼睑的面积的获取步骤为：人脸图像经过语义分割操作得到上眼睑遮罩，基于上眼睑遮罩得到上眼睑面积。

所述眼球的运动速度的获取步骤为：人脸图像经过语义分割操作得到患病侧下眼睑遮罩、瞳孔遮罩，获取下眼睑遮罩上边缘最低点与瞳孔遮罩中心点之间的间隔距离，基于间隔距离和患者眼睛下视至上视所用时间得到眼球的运动速度。

所述眼肌运动能力具体为：

L

L

抬眉动作依赖度的获取步骤为：

L

L

所述皱纹面积的获取步骤为：人脸图像经过语义分割操作得到额头遮罩，利用额头遮罩裁剪人脸图像，得到额头图像，对额头图像进行边缘特征提取后得到边缘特征图，对边缘特征图进行二值化、归一化处理后得到额纹纹理图，额纹纹理图中所有像素之和为额纹面积。

皱额动作依赖度的获取步骤为：

L

所述患病程度具体为：

其中，L表示患病程度，δ为修正系数，且δ的取值和L

所述面部姿态对称度具体为：

Q表示面部姿态对称度，

所述康复程度的获取步骤为：患者眼睛下视至上视为一个标准动作，患者重复进行多次标准动作后，得到患病程度序列和面部姿态对称度序列，患病程度序列和面部姿态对称度序列分别按照从大到小的顺序进行排序，在排序后的患病程度序列和面部姿态对称度序列中分别选取前k个数值，得到两组数据，分别计算两组数据的均值，得到均值L

本发明的有益效果在于：

1.本发明获取眼肌运动能力，并获取患者眼睛由下视到上视这一过程中对抬眉动作、皱额动作的依赖度，根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度，所选进行患病程度预测的特征能够完备的描述患者的患病情况，实现对患者患病程度的精确量化。

2.本发明基于患者患病程度以及患者面部姿态对称度获取患者的康复程度，可以根据患者的康复程度及时调整医治方法，帮助患者完成康复训练。

3.该系统功耗低，易于推广，所得结果误差小，且该系统解决了现有通过医生进行人为检测这一方法主观性强这一问题。

附图说明

图1为本发明的系统结构图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例对本发明进行详细描述。

本发明的目的是通过检测人脸眼部及相关肌肉等特征来计算眼睛部位出现神经麻痹患者的眼部康复情况；本发明的系统结构如图1所示，具体的，包括用于获取眼肌运动能力的眼肌运动能力检测模块，用于获取抬眉动作依赖度的抬眉动作依赖度检测模块，用于获取皱额动作依赖度的皱额动作依赖度检测模块，用于获取患病程度的患病程度检测模块，用于获取面部姿态对称度的面部姿态检测模块，以及用于获取康复程度的康复程度检测模块。

实施例：

眼肌运动能力检测模块，用于获取患者眼睛下视、上视时的人脸图像，并对人脸图像进行处理得到眼肌运动能力，具体地：

患者面对相机让眼球做下视、上视动作，相机获得患者的人脸RGB图像序列，患者可以有脸部的歪斜和偏转，但是歪斜和偏转幅度不能太大，这在实际中是容易做到的。

利用语义分割网络对人脸RGB图像进行处理获得患者的上眼睑遮罩、下眼睑遮罩、瞳孔遮罩、额头遮罩，对这些遮罩进行二值化和归一化处理。

对于人脸RGB图像序列中任一帧人脸图像，获取该帧人脸图像对应的上眼睑遮罩、下眼睑遮罩、瞳孔遮罩，对于任一侧眼睛，获取该侧下眼睑遮罩上边缘最低点与瞳孔遮罩中心点之间的间隔距离；按照所述间隔距离的获取方法，得到人脸图像序列中每一帧人脸图像对应的间隔距离，间隔距离最小时，对应的人脸图像为患者眼睛下视时采集到的，间隔距离最大时，对应的人脸图像为患者眼睛上视时采集到的；对于上视时的人脸图像，根据上眼睑遮罩获取左右两只眼睛对应的上眼睑面积，上眼睑面积较大一侧为患病侧。

得到患者眼睛下视、上视时的人脸图像后，基于上眼睑遮罩得到下视时上眼睑的面积S

L

L

其中，

至此获得眼肌运动能力L

在获取抬眉动作依赖度之前，需要补充说明的是，在采集图像数据时很难保证人脸时正视的，只能确保人脸大体上是正对相机的，虽然人脸可能出现少许偏转，人脸偏转对计算L

因此，为了解决人脸没有正视相机，人脸有偏转的问题，本发明在抬眉动作依赖度检测模块利用三维人脸重建算法基于人脸图像构建人脸三维模型，所述人脸三维模型由很多空间中的网格和网格点构成，这些网格点和网格能够描述人脸五官和肌肉的分布与变化。

获取患病侧眉毛部位的所有网格点，这些网格点能够描述眉毛所处的姿态，本发明需要计算的是眉毛在由下视到上视时被挑起的高度以及眉毛的弯曲程度。

设眼睛上视时眉毛的网格点的位置集合为P

需要注意的是，上述计算是假设眼球由下视到上视时，人脸是没有移动的。但是患者可能在由下视到上视时可能稍微改变脸的位置，因为有些患者在抬眉时往往会将脸向上仰一下,以便辅助眼球视物。本发明通过检测人脸三维模型的鼻尖的网格点在上视和下视时的位置变化量来表示患者的脸仰起位移向量，设鼻尖的网格点在由下视到上视的位置变化量为

集合ΔP中的元素表示的是下视到上视时，眉毛上每个网格点的位移向量，位移向量所在的方向就是眉毛上的网格点的运动方向，位移向量的长度就是网格点运动的距离，因此ΔP中所有元素中大多数向量共同指向的方向就是眉毛的主要运动方向。对集合ΔP中元素进行PCA主成分分析，将ΔP中三维的元素降为一维，这样做的有益效果为：在三维空间中只关注ΔP中元素主要的分布特征，忽略人脸的朝向和坐标系的选取等问题，降维后的数据只表征眉毛在主要运动方向上的运动距离，这个运动距离就表示眉毛挑起的高度L

根据经验，眉毛在下视时是呈条状的，上视时眉毛虽然会抬起和弯曲，但是还是呈现条状的。本发明对集合P

P

max()表示求集合的最大值，min()表示求集合的最小值。

眉毛的弯曲程度变化量为：

L

Var()表示求集合元素的方差。

进行上述计算的有益效果为：不用考虑人脸的朝向和坐标系的选取等问题，直接根据数据的分布特征利用现有的工具即可快速实施本方案，快速获得所需的结果数据。

基于高度变化量和弯曲程度变化量得到眼睛由下视到上视这一过程中的抬眉动作依赖度：

L

至此获得抬眉动作依赖度L

为了进一步获得患者的康复程度，本发明引入了患者的额头纹理特征，有益效果是：患者在上述时除了抬眉，往往还会皱额头，使得额头皱纹增加，这种皱纹的增加也是衡量患者康复程度的一个指标。

在皱额动作依赖度检测模块对人脸图像进行处理，得到下视、上视时的额纹面积，额纹面积的获取方法为：

人脸图像经过语义分割操作得到额头遮罩，利用额头遮罩裁剪人脸图像，得到额头图像，对额头图像进行边缘特征提取后得到边缘特征图，边缘特征提取方法有Canny、Laplacian等方法，实施例使用Canny算法；对边缘特征图进行二值化、归一化处理后得到额纹纹理图，额纹纹理图中所有像素之和为额纹面积。

基于额纹面积得到眼睛由下视到上视这一过程中的皱额动作依赖度：

L

至此获得了眼肌运动能力L

患病程度检测模块，用于根据眼肌运动能力、抬眉动作依赖度、皱额动作依赖度预测患者的患病程度：

其中，L表示患病程度，δ为修正系数，系数

考虑患者可能无法完成抬眉动作，此时患者的患病程度是更加严重的。当L

本发明的目的是为了检测患者的康复程度，只获得患者的患病程度还是不够的，本发明考虑到患者康复时不仅要患病程度减小，还要有良好的面貌姿态，因为患者由于眼部神经麻痹疾病，使得患者左右眼不对称、眉毛变形、视物时脸部经常上仰等异常特征或姿态。因此接下来计算患者的面貌姿态对称度。

在人脸3D模型上，患者下视时，患者的双眼的上眼睑都会下垂，此时获得的眼睛的对称性能排除掉上眼睑的干扰，其他情况下一个眼睛上眼睑下垂，一个眼睛上眼睑正常，这是不利于眼睛对称性分析的。

在面部姿态检测模块基于人脸三维模型获取患者眼睛下视时的眼睛不对称度、眉毛不对称度，具体地：

患者下视时，获取左右眼睛的所有网格点，将其中一个眼睛的网格沿面部的对称轴线镜像到另一边，获得该眼睛镜像过后的网格，并计算镜像后的眼睛的网格上的每一个网格点与另一个眼睛的对应网格点的位置的差值，因为每个眼睛有多个网格点，因此获得多个差值，如果这两个眼睛是完全对称的话，这些差值所表示的向量均为0向量；但是如果网格点不是对称的话，这些差值所代表的向量的方向和大小是各不相同的。将这些向量称为ΔQ，对于实际的患者，当一个眼睛相对于另一个眼睛发生移位或倾斜时，ΔQ的大部分向量会指向这个位移或倾斜的方向，这些沿位移或倾斜方向的向量的长度越大，说明位移或倾斜的程度越大，眼睛越不对称；当一个眼睛相对另一个眼睛的大小宽窄不一致时，同样ΔQ中大部分向量指向大小和宽窄变化的方向，同理如果眼睛的轮廓存在差异时，这些向量ΔQ也会有着一定的分布特征。因此本发明需要获取ΔQ中的向量的主要朝向，以及ΔQ在这个主要朝向上的长度，于是对这些向量进行PCA分析，获得这些向量的主成分方向向量，并对ΔQ中的向量进行PCA降维，将ΔQ中的所有三维向量降维成一维标量，最终获得的这些一维标量数据就是ΔQ在其主要朝向上的长度的集合。最终获取这些标量绝对值的均值，该均值就是所需的两个眼睛的不对称程度Q

由于患者在上视时会出现抬头仰脸的动作，这种动作久而久之会变成患者的常态动作，因此这种动作也是衡量患者容貌姿态的一个重要指标，本发明用

同理，患者在视物时如果长时间抬眉的话，会使眉毛变形，使左右的眉毛不对称。眼球下视时，眉毛是舒展的,通过检测眼球下视时的眉毛获得的对称性更加准确。利用如下方法获得眉毛的对称性：将一侧眉毛的网格沿面部中心线对称到另一侧，获得对称后的网格；计算对称后的网格的每个网格点与另一个眉毛的网格点的位置的差值，每个眉毛上有多个网格点，因此获得多个差值；将这些差值用PCA降维，将这些三维的差值降维为一维标准量，这些标量的绝对值的均值称为眉毛的不对称程度Q

至此，获得了眼睛不对称度、眉毛不对称度。

根据眼睛不对称度、眉毛不对称度得到患者的面部姿态对称度：

Q表示面部姿态对称度；

获得患者面部的面部姿态对称度Q的有益效果是从复杂的面容信息筛选提取处有益的、详尽的一些特征，利用这些特征精准的描述面部姿态对称度Q，使得患者的面部姿态对称度可以量化表示。

在康复程度检测模块根据患者的患病程度和患者的面部姿态对称度获取患者的康复程度：

上述只是针对患者眼睛从下视到上视这一个标准动作进行的分析，获得两个主要特征L、Q。实际中，患者进行一次康复检测时可能要进行多次下视到上视的动作，本发明令患者在一次康复检测时完成K次标准动作，实施例中K＝10，得到长度都为10的患病程度序列和面部姿态对称度序列，患病程度序列和面部姿态对称度序列分别按照从大到小的顺序进行排序，在排序后的患病程度序列和面部姿态对称度序列中分别选取前k个数值，实施例中k取5，得到两组数据，分别计算两组数据的均值，得到均值L

上述只是获得一次康复检测时的康复程度，实施例建议患者每隔一个月进行一次康复检测，患者可以通过数月的康复检测获得患者康复程度的变化曲线，根据康复程度的变化评估康复训练的成果。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明。