一种基于图正则化极限学习机的疲劳驾驶监测方法

摘要

本发明公开了一种基于图正则化极限学习机的疲劳驾驶监测方法，包括：通过眼电信号采集设备和摄像头分别采集驾驶过程中驾驶员的眼电信号与面部图像信息；分别对所述眼电信号与面部图像信息进行相应的预处理；对经预处理的所述面部图像信息进行眼动特征的提取、同时对预处理后的眼电信号进行三种眼动信号的分类并提取相关特征；根据眼动特征中闭眼时长超过预设阈值时，确定驾驶员为疲劳驾驶并报警；当所述眼动特征中闭眼时长未超过预设阈值时，对所述眼电信号与面部图像信息所提取的相同特征，计算其平均值；将所述平均值和对提取的不同特征输入到训练后的图正则化极限学习机分类模型，通过GELM分类器判别疲劳状态。该监测方法较为客观、准确。

说明书

技术领域

本发明属于驾驶车辆疲劳监测领域以及数据处理技术领域，特别涉及一种基于图正则化极限学习机的疲劳驾驶监测方法。

背景技术

根据世界卫生组织(WHO)2015年进行的全球道路安全状况报告，全世界每年有125万人死于交通事故，另有数百万人因交通事故而严重受伤。据估计，年轻人死亡的主要原因是道路交通伤害，尤其是15-29岁的年轻人。在驾驶过程中，驾驶员的疲劳精神状态严重影响驾驶行为，是交通安全驾驶的重大隐患。在欧洲，一项对19个国家的研究发现，17％的司机在开车时感到昏昏欲睡，而7％睡着的人遭遇了事故。

虽然研究人员在监测疲劳状态方面取得了显著进展，由于驾驶环境的复杂性和运输领域疲劳机制的不完善，仍有很少的相关研究可以付诸实践。其他种类的非法驾驶如超载、超速、过度拥挤、酒后驾驶等，可以通过有效的监督措施来减少事故的发生。然而，疲劳驾驶并没有定量的、科学的测量标准和检测手段。与其他违法驾驶行为不同，疲劳驾驶反映的是一种复杂的操作行为，难以判断和认定。如何正确、科学地定义驾驶疲劳，并实施更准确的实时监控，是研究人员的主要研究重点。

疲劳一词指的是各种症状的组合，如表现受损和主观的睡意。欧洲运输安全委员会(ETSC)将疲劳定义为“对无法或不愿继续某项活动的关注，通常是因为该活动已经进行了太长时间”。由于分心活动有多种形式，有的文献中从驾驶员的功能角度将注意力分散分为4类:视觉注意力分散、认知注意力分散、听觉注意力分散和生物力学注意力分散。即使进行了深入的研究，疲劳这个术语仍然没有一个普遍接受的定义。因此，很难确定与疲劳相关的事故水平。

研究表明，25-30％的驾驶事故与疲劳相关。当司机疲劳并开始入睡时，可以观察到以下症状:打呵欠过多，思维混乱且似乎模糊不清，感到沮丧和烦躁，反应和反应较慢，做白日梦，睁不开眼睛，眼睛有灼热感，转向迟缓，难以集中注意力，头部或身体因打瞌睡而摇摆，车辆偏离道路或进入另一条车道，在驾驶时打瞌睡，呼吸变浅，心跳加速等。不同的个体表现不同症状和程度各不相同，所以没有具体的方法来测量疲劳的程度。现有技术总中，NTSC的研究表明，疲劳或嗜睡的程度是与大脑生理清醒能力相关的活动量的函数。几个因素可以影响这种生理清醒能力，从而降低疲劳阈值，如睡眠障碍、昼夜节律的最低点、驾驶前的艰苦工作等。这些因素与活动无关，但会导致疲劳效应更快出现。因此，疲劳不能简单地视为驾驶时间的函数。

现存的各类驾驶疲劳监测方法普遍存在自身的局限性。比如主观评价方法被广泛使用，但它存在期望偏差并且会干扰正常驾驶，不适合对精神疲劳进行连续实时监测。此外，总是要求司机报告他们的状态是不现实的。另外，与视觉的监控方法受光照因素的影响很大。在阳光反射和眼镜反射的情况下，性能可能会下降30％，目前基于视觉的监测方法中，正面面部的工作是好的，但是极端的头部姿势将导致监测结果的误差。另外，基于车辆运行信息监控驾驶员行为需要对车辆结构进行修改，这在现实中是不现实和不明智的。车辆自动化的发展对通过车辆运动获取疲劳状态的技术也有一定的制约作用。基于生理信号的识别技术属于客观检测方法中的一种，主要通过分析驾驶员身体中生理信号的变化规律来判别其是否处于驾驶疲劳状态，提取的生理信号主要包括脑电、心电、眼电、肌电、心率和呼吸频率等，由于生理信号对于人体疲劳状态的反应灵敏，监测精度高，近年来相关的研究发展很快。而其中EOG信号因其成本相对较低、功耗低、反应速度快、不遮挡驾驶员视线、具有广泛的眼球运动跟踪能力成为一种潜在的疲劳监测技术。

但是只依靠EOG信号实现对驾驶的疲劳度监测，形式比较单一，且并不能完全准确的表达驾驶疲劳度。

发明内容

本发明的主要目的在于提供一种至少部分解决上述技术问题的基于图正则化极限学习机的疲劳驾驶监测方法，对驾驶员的眼电信号与面部图像信息进行处理分析，实现疲劳驾驶的准确监测。

为实现上述目的，本发明采取的技术方案为：

一种基于图正则化极限学习机的疲劳驾驶监测方法，包括：

S10、通过眼电信号采集设备和摄像头分别采集驾驶过程中驾驶员的眼电信号与面部图像信息；

S20、分别对所述眼电信号与面部图像信息进行相应的预处理；

S30、对经预处理的所述面部图像信息进行眼动特征的提取、同时对预处理后的眼电信号进行三种眼动信号的分类并提取相关特征；

S40、根据眼动特征中闭眼时长超过预设阈值时，确定驾驶员为疲劳驾驶并报警；

S50、当所述眼动特征中闭眼时长未超过预设阈值时，对所述眼电信号与面部图像信息所提取的相同特征，计算其平均值；将所述平均值和对提取的不同特征输入到训练后的图正则化极限学习机分类模型，通过GELM分类器判别疲劳状态。

进一步地，在步骤S10中，间隔预设时长采集一次驾驶过程中驾驶员的眼电信号；且根据眼动信号的幅值、频率确定眼电信号采集设备的参数。

进一步地，步骤S20中，对所述眼电信号进行预处理，包括：

S201、利用小波函数对所述眼电信号进行去噪与重构；

S202、对重构后的所述眼电信号，进行归一化处理；

S203、对归一化处理后的数据，采用窗函数进行二次有效提取，获得局部最小值、局部最大值、及其对应的位置和差值。

进一步地，在步骤S201后和步骤S202之前还包括：

采用无偏风险估计阈值进行自动阈值选取，实现二次去噪。

进一步地，采用无偏风险估计阈值进行自动阈值选取，实现二次去噪，包括：

对于信号s(i)，将每个数据点取绝对值，对其由小到大排序，对每个点取平方作为新的信号数据点的代替，公式如下：

f(k)＝(sort(|s|))

f(k)的第k个数据点的平方根为当点的阈值λ

则该点阈值产生的风险为Rish(k)：

其中，k表示第k个数据点，k＝0,1,…,N-1；N为数据点总数；i表示k个数据点中的索引值；j表示从i-1到第k个点中的其中某个点；

取最小风险点所对应的阈值为自动阈值，实现二次去噪。

进一步地，步骤S20中，对所述面部图像信息进行预处理，包括：

根据初始人脸框位置并基于图像梯度的眼部区域定位，将图像处理的位置压缩到目标区域，作为机器算法的输入，识别提取出眼部图像。

进一步地，步骤S30中，对经预处理的所述眼电信号进行进行EOG信号的分类，包括：

采用KNN算法，根据不同眼动信号的不同特性分成三种阶段的眼动信号：眨眼阶段、注视阶段、扫视阶段；

根据所述差值，提取出三种阶段眨眼的相关特征数据，包括：眨眼持续时间、闭眼持续时间、睁眼持续时间、闭眼速度、睁眼速度、最大闭眼速度、最小闭眼速度和眨眼过程的总能量。

进一步地，步骤S30中，对经预处理的所述面部图像信息进行眼动特征的提取，包括：

采用中值滤波器对经预处理的所述面部图像信息进行去噪处理；

采用最大类间方差法提取眼部区域图像，并进行二值化处理；

根据二值化眼部区域图像，得出在单位时间内眨眼频次、眨眼动作耗时、闭眼时长在单位时间的占比。

进一步地，对所述提取的不同特征输入到训练后的图正则化极限学习机分类模型，输出识别结果；包括：

对所述提取的不同特征中的眼电信号和图像信息进行Concat操作，得到多特征融合结果；

将所述多特征融合结果输入训练后的图正则化极限学习机分类模型，输出识别结果。

与现有技术相比，本发明具有如下有益效果：

一种基于图正则化极限学习机的疲劳驾驶监测方法，包括：通过眼电信号采集设备和摄像头分别采集驾驶过程中驾驶员的眼电信号与面部图像信息；分别对所述眼电信号与面部图像信息进行相应的预处理；对经预处理的所述面部图像信息进行眼动特征的提取、同时对预处理后的眼电信号进行三种眼动信号的分类并提取相关特征；根据眼动特征中闭眼时长超过预设阈值时，确定驾驶员为疲劳驾驶并报警；当所述眼动特征中闭眼时长未超过预设阈值时，对所述眼电信号与面部图像信息所提取的相同特征，计算其平均值；将所述平均值和对提取的不同特征输入到训练后的图正则化极限学习机分类模型，通过GELM分类器判别疲劳状态。该监测方法较为客观、准确。

附图说明

图1为本发明实施例提供的基于图正则化极限学习机的疲劳驾驶监测方法的流程图；

图2为本发明实施例提供的基于图正则化极限学习机的疲劳驾驶监测的原理图；

图3为本发明实施例提供的EOG信号处理流程图；

图4为本发明实施例提供的波峰波谷检测结果与计算差值示意图；

图5a为本发明实施例提供的扫视阶段的眼动信号分离结果示意图；

图5b为本发明实施例提供的眨眼阶段的眼动信号分离结果示意图；

图5c为本发明实施例提供的注视阶段的眼动信号分离结果示意图；

图6为本发明实施例提供的图像信息处理流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明提供的基于图正则化极限学习机的疲劳驾驶监测方法，采用眼电信号与视觉图像信息进行融合实现的监测。其中涉及的眼电信号，在眼电中包含了丰富的眼睑运动特征信息，这部分特征通常可由视频信号中提取，并且还可以从眼电中提取到不同类型眼球运动特征，包括快速眼动，慢速眼动，以及眼睑运动，这些眼睛运动都与人的睡眠或是疲劳存在一定的联系且容易由视频信号获取，本发明也将其作为疲劳检测指标。而EOG信号更容易监测，并且有较高的信噪比，因此比脑电信号更适合大规模实现。而慢眼运动已被证明是睡眠开始的可靠指标，并在许多不同类型的睡眠相关研究中进行了研究。眨眼、迅速扫视和注视是人类清醒时眼睛运动的主要方式。

本发明提供的一种基于图正则化极限学习机的疲劳驾驶监测方法，利用图正则化极限学习机(Graph Regularized Extreme Learning Machine，GELM)在混合眼电信号与图像信息疲劳监测方面，可以实现更高精度的疲劳驾驶监测，相较于单一眼电特征，GELM模型在融合眼电信号与图像信息的特征分类中能获得更好的性能。

参照图1所示，该方法包括：

S10、通过眼电信号采集设备和摄像头分别采集驾驶过程中驾驶员的眼电信号与面部图像信息；

S20、分别对所述眼电信号与面部图像信息进行相应的预处理；

S30、对经预处理的所述面部图像信息进行眼动特征的提取、同时对预处理后的眼电信号进行三种眼动信号的分类并提取相关特征；

S40、根据眼动特征中闭眼时长超过预设阈值时，确定驾驶员为疲劳驾驶并报警；

S50、当所述眼动特征中闭眼时长未超过预设阈值时，对所述眼电信号与面部图像信息所提取的相同特征，计算其平均值；将所述平均值和对提取的不同特征输入到训练后的图正则化极限学习机分类模型，通过GELM分类器判别疲劳状态。

本实施例的基于EOG与视觉信息的疲劳驾驶监测原理，如图2所示。实验采集EOG信号和图像信息数据实时进行，对于采集到的的眼电信号与图像信息首先进行信号预处理过程，之后进行图像信息的特征提取和EOG信号的分类。对于长达两秒以上的闭眼被认为是危险驾驶行为，图像特征中的t用来表示闭眼时长，驾驶是一种非常重要的行为，当出现危险驾驶行为即t大于比如2s时，将立刻判定为疲劳驾驶并报警。正常情况下人的闭眼时长不会到达2秒时长，对两种信号特征提取后，对于眨眼频率等图像与眼电信号共同可提取的信号，采取采用其平均值的方法取值，然后对于两种信号不同的特征量将其输入到GELM分类器中，实现疲劳驾驶监测的整个过程。

下面分别对上述各个步骤进行详细的说明：

在步骤S10中，采集眼电信号与驾驶员面部图像信息，其中眼电信号比如是由采集设备Emotive采集，电极布置位置在人头部避免面部电极的弊端。面部图像信息由高清工业相机MER-132-30UC拍摄。以驾驶时长为2小时为例，每15分钟采集一次数据，每次采集时间3分钟。由于眼动信号的幅值范围在0.4～10mv之间，频率在0～30Hz之间。根据采样定律，选择128Hz的采样频率可满足要求，扫描速度选择400ms/div，灵敏度为1mv，时间常数为0.2s，滤波频率为100Hz。

在一个实施例中，在步骤S20中，对眼电信号进行预处理，包括：

S201、利用小波函数对所述眼电信号进行去噪与重构；

S202、对重构后的所述眼电信号，进行归一化处理；

S203、对归一化处理后的数据，采用窗函数进行二次有效提取，获得局部最小值、局部最大值、及其对应的位置和差值。

以及在步骤S30中，对经预处理的所述眼电信号进行进行EOG信号的分类，包括：

采用KNN算法，根据不同眼动信号的不同特性分成三种阶段的眼动信号：眨眼阶段、注视阶段、扫视阶段；

根据所述差值，提取出三种阶段眨眼的相关特征数据，包括：眨眼持续时间、闭眼持续时间、睁眼持续时间、闭眼速度、睁眼速度、最大闭眼速度、最小闭眼速度和眨眼过程的总能量。

具体的参照图3所示，为采集的EOG信号数据处理流程。由于本发明所研究问题用于实现实际交通安全保障系统，其应用现场存在大量噪音。经过小波去噪重构的EOG信号可以保证后续特征提取的误差较小。再之后经过归一化处理后的重构信号可以在后续特征融合时忽略不同数量级对不同特征输入分类器的影响。然后，通过信号加窗处理可以分段研究信号特性，避免信号采集样本点数据量过于冗余而影响计算速度。对于预处理之后的EOG信号，经过波峰波谷检测，根据不同眼动信号的不同特性可分成三种阶段的眼动信号：眨眼阶段、注视阶段、扫视阶段。通过对不同眼动信号的不同特征的提取，为下一步特征融合做准备。

其中，小波分析是一种信号的时间频率分析方法，具有多分辨率分析的特点，能够聚焦到信号的任意细节进行多分辨率的时频分析，优于Fourier分析算法。Emotive前额信号采集设备设置有14个信号采集通道，采集的电信号除了包括前额眼电信号，前额脑电信号，还包括其他一些干扰信号。首先对于采集的信号用尺度为3的小波函数对数据初步处理。实验采集频率为0～128Hz，而眼电信号频率在0～60Hz以内，通过小波变换的分解过程可以初步将高频信号滤去。小波分析是将信号分解为近似与细节两部分，近似部分又可以分解成第二层近似与细节，可以这样重复下去。对于一个N层分解来说，有N+1个分解信号的途径。而小波包分析的细节与近似部分一样，也可以分解，对于N层分解，它产生2

设原始信号为x(n)，去噪后的信号为x′(n)，则信噪比定义为：

原始信号和去噪信号的均方根误差定义为：

在信号处理工作时，一般研究信号的信噪比越高，去噪之后与原始信号的均方根误差越小。这样经过去噪的信号与原始信号相似度越高。而眼电信号具有非重复性，相对于脑电信号具有更高的信噪比。EOG存在基线漂移问题。基线漂移是叠加在眼电信号上的缓慢信号变化，但大多与眼球运动无关，它有很多来源，例如干扰背景信号或者电极位置误差。基线漂移对于眼部运动的迅速扫视影响很小，但是对于其他眼球运动影响较大。

本实施例中，采用无偏风险估计阈值进行自动阈值选取。对于信号s(i)，将每个数据点取绝对值，然后对其由小到大排序。之后对每个点取平方作为新的信号数据点的代替。具体做法可如以下(3)表示：

f(k)＝(sort(|s|))

sort(·)为排序函数；

f(k)的第k个数据点的平方根为当点的阈值λ

则该点阈值产生的风险为Rish(k)：

其中，k表示第k个数据点，k＝0,1,…,N-1；N为数据点总数；i表示k个数据点中的索引值；j表示从i-1到第k个点中的其中某个点；

取最小风险点所对应的阈值为自动阈值，实现二次去噪。

从三方面来论述眼动信息的特征提取与分类：

1)眼动信息的特征提取

基于眼电信号的疲劳驾驶监测技术中对于研究眼动信号的工作主要是对眼动信号相关特征反应驾驶员疲劳状况。主要涉及两个方面：一是研究在不同眼动信号特征提取过程中所用的方法，二是研究在眼动信号在眼球运动中分类所用的方法。在眼电信号的特征提取工作中，主要是通过眼电信号在时域、频率方向的相关参数来提取。表1描述了眼电信号预处理工作后，将原始眼电信号其分为三种眼动信号即扫视运动信号、眨眼运动信号、注视运动信号，以及三种信号在疲劳驾驶监测中常用的眼动特征。其他眼球运动特征，如瞳孔放大、微斜视、前庭眼反射或平滑追踪运动，由于比较难以测量很少应用于与EOG有关的一些应用中去。

表1与眼电图相关的常见的特征参数

信号经过归一化处理之后所有的信号幅值都将转化在范围(-1，1)内。这样做的目的使得在各维数之间所存在的数量级差别可以不被考虑，防止在预测过程中由于误差引入风险。归一化过程如下所示：

x

式中，x为原始信号，x

2)提取有效眼动信号

眼动信号具有生物电信号非平稳的特点，即从整体上看，它的各种特征均是随时间的变化而变化的，具有时变特性。信号分成若干段，从局部来看，每一段信号都是相对稳定的，因而可以将其看作是一个准稳态的过程即“短时分析”。将整段信号分段并研究每一段的特性，当将每一段特性研究完毕，则等同于完成了这个信号的研究。其中每一段称之为“一帧”。

可通过“加窗”来实现信号的分帧，从数学的角度说，“窗”其实就是一种数学函数，通过一个固定长度数学函数来截取一帧的信号，每次只观察“窗”内的信号特征，这个窗函数的长度称为“帧长”。当一帧信号观察完毕，再将窗函数向后移动一个固定的距离，研究下一部分的信号，将移动的距离称为“帧移”。“帧长”一般按照经验取值，而“帧移”一般取帧长的1/2或1/3，即每一帧之间会有重叠的部分，这样可以使帧与帧之间平滑的过渡。为了保持较高的分辨率，减少频谱的泄露，选择海明窗作为窗函数。海明窗的窗函数如下式所示：

假设眼动信号为t(n)，窗函数为w(n)，则加窗以后的信号为s(n)＝t(n)×w(n)，M为信号的总个数，n为从1到M的其中一个数据点。在具体实施时，比如所选用帧长为15ms，帧移为5ms，信号采样频率为128Hz，即一帧所包含2个采样点，两帧之间1个采样点的重复。对于加窗后的信号S(n)，使用3点运动均值滤波器处理一维信号，先前向再后向处理。找到局部最小值和局部最大值及其对应的位置，波峰点、波谷点满足：

波峰P应满足：

波峰位置L

波谷V应满足：

波谷位置L

眨眼持续时间：T

计算第n个波峰与第n个波谷之间的差值D：

D(k)＝P(k)-V(k)；k＝1,2,···,m, (11)

(7)-(11)式中的N为数据量的总个数，m为波峰的总个数，n为1到N的其中一个数据点；j表示波谷的总个数；

使用matlab将计算过程编程，计算出波峰波谷的每个位置数值与差值D，如图4所示为计算结果。实心圆表示为计算的波峰P(n)，正方形为计算的波谷V(n)，不同眼动阶段的差值D也明显不同。如图4所示本方法可以准确地将加窗后的信号中的波峰与波谷以及相对的位置信息标注出来。

眨眼包含闭眼和睁眼两个阶段，两个阶段时长均较短，形成了一个快速的跳跃楔形。扫视不同于眨眼，只有一个上升沿或者下降沿，扫视包含一个方向的运动，眼球运动方向的不同，会导致上升沿和下降沿的区别。100ms是一个判别性的阈值区分注视和其它眼部活动，其变化区间一般在100ms～200ms之间。疲劳、眼部伤口、医药和疾病均能对眨眼速度产生影响，成年人眨眼疲劳时眨眼频率会无意识的增加50ms，成年人眨眼频率范围为6到30次每分钟，个体的活动也会影响眨眼间隔，阅读或者注视电脑等都会降低眨眼频率。超过1000ms的闭眼被定义为微睡眠。扫视性眼球运动的典型特征是幅度为20度，持续时间为10～100ms；注视性眼球运动为2次扫视的时间，平均在100ms～200ms之间，眨眼运动的持续时间为100～400ms之间。传统的眼电信号对于长达2秒的闭眼不能在眼电信号中有效表达出来，往往被认为是注视性眼球运动。由于目前眼电数据集是文本，所以可以采用KNN算法。K-近邻算法对未知类别属性的数据集中每个数据点处理流程如下：

设定五个特征值：第一特征值为波峰位置，第二特征值为波峰值，第三特征值为波谷位置，第四特征值为波谷值，第五特征值为持续时间。根据邻近波峰波谷差值D以及波峰位置L

3)眨眼特征提取

差分信号：计算垂直眼电信号的差分信号，则差分信号代表眼电信号的瞬时变化率，可以近似表示眼球上下运动的速度。计算差分信号的方法如下：

其中D是差分之后的信号，V是差分之前的原始信号，R是采样率，以Hz为单位。

眨眼合并：检查每一组相邻的眨眼，看它们是否应该被合并。如果相邻两组眨眼的时间间隔小于某个阈值T

根据上述差值，提取出三种阶段眨眼的相关特征数据，包括：眨眼持续时间、闭眼持续时间、睁眼持续时间、闭眼速度、睁眼速度、最大闭眼速度、最小闭眼速度和眨眼过程的总能量。

在一个实施例中，上述步骤S20，对面部图像信息进行预处理，包括：

根据初始人脸框位置并基于图像梯度的眼部区域定位，将图像处理的位置压缩到目标区域，作为机器算法的输入，识别提取出眼部图像。

其中，机器算法对每张输入图像进行全局的人脸检测，无疑会平添很多冗余的计算，导致检测效率偏低。理论上可以根据初始人脸框位置将输入图像收缩到一个可疑区域内，从而减少分类器的输入，提高检测效率。

梯度作为表示图像像素间灰度值变化的向量，在整个图像处理领域起着至关重要的作用。在图像的边缘处，由于图像灰度值变化较大，其梯度幅值随之相对较大；在灰度变化较为平缓的区域，其梯度幅值相对较小；梯度的方向是函数在该点增长最快的方向。当目标区域与背景图片存在明显的颜色差异时，通过阈值分割容易将目标区域与非目标区域分离。

由于当驾驶员长时间闭眼时，无法区分其与注视阶段的眼电信号的特征，因而较长的时间闭眼在信号特征区分时无法将其与注视阶段分开，而长时长闭眼行为被认为是危险驾驶动作。相对于通过单一眼电信号特征或单一图像信号特征进行疲劳状态判模式，本实施例中，通过融合图像信号特征与眼电信号特征进行疲劳状态判别模式可以避免误判与错判。

具体的图像特征提取如下：

原始的眼部图像有很多噪声，会使得最后二值化处理的结果图像中满是零零散散的小区域白块。为了避免这种情况的发生，先使用中值滤波器处理原始图像，消除噪声，使得图像看起来更加的平滑。

最大类间方差法(Otsu)使用聚类的思想，将图像的按像素值分成背景和目标两部分，使得两部分之间的像素值差异最大，各个部分之内的像素值差异最小。当图像目标区域像素灰度值分布不均，区域界限不明显，图像直方图波峰波谷会融合在一起时，基于统计学习的方法可能会产生不错的效果。首先选取灰度75为阈值，使用固定阈值的二值化处理，观察分割效果。得出两组由灰度值小于75和大于等于75的像素组成的像素群，做出两组像素群的高斯分布，通过观察正态分布曲线和多次手动调试，比如最终选择合适的阈值为31。

对于这种二值图像而言，长度和宽度可以用区域在水平垂直方向上最大的像素点数来度量，即当物体的边界已知时，用其外接矩形的长宽来表示区域的长宽。若1表示物体的像素，0表示背景像素，则定义眼部图像横向的像素值为H，竖向的像素值为S，P

得到R的值，完成系统参数初始化后，可以用同样的方法计算眼部状态值G，通过判断G与R的比值来判断眼部的状态。对比睁眼时的图像可以明显发现闭眼时的G/R值会趋近于一个很小的值，可以定义一个阈值，当小于这个阈值的时候就认为处于闭眼状态，其他情况都处于睁眼状态。使用这个值来定义眼睛状态有个好处，可以轻易地得到眼睛的闭合率，是微闭、半闭还是睁开，这给后续的工作提供了更多的参考数据，可以设定不同的疲劳判定精度。

眨眼的动作指的是眼睛从睁开到闭合再到睁开的过程。正常状态下，人在一分钟之内的眨眼次数在16次左右，平均4到5秒眨动一次，每次眨眼动作约持续0.2秒。若驾驶员在较长的时间内没有眨眼，可能是因为驾驶员出现了疲倦，眼睛的注意力已经不集中，出现了走神现象，虽然眼睛是睁开状态，但是目光呆滞，思维活跃度下降，神经元的反射弧也会变长。通过统计一段时间内驾驶员的眨眼次数，找到合适的阈值，并以此来判断驾驶员是否处于疲劳状态。

正常状态的眨眼动作耗时时间大约为0.2秒左右。当驾驶员出现疲劳时，生理机能会降低，对外界刺激做出的反应也会变慢，表现在眼部的状态就是眨眼动作变得缓慢无力，持续时间会比0.2秒久一些。故而，通过监测一段时间内眨眼时间过长的次数也可以比较客观地作为眼部疲劳状态的判定标准。

人在疲劳时，眼睛从睁开到闭合再到睁开的动作会变缓，这一过程的耗时和具体的疲劳程度有着密切的联系，越是疲劳，该过程持续时间越长。因此可以通过测量单位时间内驾驶员的闭眼时长即可可观的反映出其疲劳状态。在单位时间内，眼睛闭合一定程度所持续的时间在单位时间中所占的比例。当该比例大于某个阈值的时候，就认为驾驶员出现了疲劳状态。即眼睑遮住瞳孔面积超过70％便将眼睛记为闭合状态，统计单位时间内眼睛闭合总时间占比。

在一个实施例中，局部一致性属性可以用作辅助信息来提高学习模型的性能。基于局部一致性，正则化增强模型是通过基于一些距离测量来构造最近邻图，两种信息源的特征参数通过concat融合策略后形成新的参数，将这些新的特征参数输入到GELM分类器后，分类器会计算待监测数据特征与标准样本特征间的距离信息，计算分类结果将其分为疲劳与清醒两种状态。当闭眼时长达到2s时驾驶员处于严重疲劳状态，此时系统自动报警，以避免眼电信号在长时闭眼时状态误判(眼电信号会将长时闭眼的眼电信号和注视阶段的眼电信号混淆)带来的安全问题。

GELM的算法动机在于以下两个方面:

(1)局部一致性属性可以用作辅助信息来提高学习模型的性能。最近，各种研究人员已经考虑了这样的情况，即当数据是从概率分布的采样中提取时，该概率分布在环境空间的子流形上或附近具有支持。局部一致性假设通常意味着附近的点应该共享相似的性质，这强调了数据集中局部几何结构的重要性。基于局部一致性，正则化增强模型是通过基于一些距离测量来构造最近邻图而提出的，包括局部一致性高斯混合模型，图正则化非负矩阵分解(GNMF)，以及图正则化稀疏编码。因此，GELM可以看作是一种流形学习，其目的是在特征学习或分类过程中保持局部结构。换句话说，局部一致性可以使学习到的映射函数沿着数据流形的测地线平滑变化。

(2)在传统的ELM中，样本间的距离信息被非线性映射破坏。神经网络中使用的激活函数通常是非线性的，如“sigmoid”函数和“gaussian”函数。非线性映射增强了神经网络的特征提取性能，同时破坏了数据集中包含的局部一致性。因此，基于距离信息的无监督样本中的局部一致性构造最近邻图表。

在进行疲劳预测时，分类器根据训练样本的标准疲劳与非疲劳实验数据的特征训练，之后将其与测试样本特征量的距离用于构造最近邻图表。疲劳驾驶的实验数据在局部特征具有一致性，非疲劳特征也是如此，以此进行疲劳判定。

数据融合是通过对各种传感器观测信息的合理处理，将各种传感器采集的信息依据某种优化准则或组合算法在空间和时间上形成互补，得出决策任务所需的关键信息，从而提高模型的鲁棒性和精度。深度学习中比较典型的多传感器数据融合方法包括Addition、Average Mean、Concat、Ensemble和Mixture Experts。本实施例以眼电信号和图像信息两种信息源为例对上述5种数据融合方法进行简单说明。记m

Concat：在进行特征变换之前，将特征向量在元素层和深度层两个维度上进行堆叠。该种方法一般作用于全连接层，通常将特征展开为向量，将向量的元素沿着特征向量的行方向进行级联，其数学描述为：

为提高疲劳驾驶检测模型的精度和鲁棒性，本实施例中尝试将驾驶员眼电数据和驾驶员面部视频数据中的信息进行融合，考虑到数据采集时所用设备之间的结构差异以及设备输出的数据格式之间的差别，基于数据层的前融合较难实现。本实施例综合考虑数据融合的要求以及模型复杂度的限制，采用中间融合方式对驾驶员的面部视频数据和驾驶员眼电数据进行融合，也就是将从驾驶员眼电数据和视频数据中提取眼电特征与面部特征融合。记从驾驶员面部图片中提取的驾驶员面部特征向量记为V

V

在这一部分中，评估了GELM模型对于眼电信号和面部图像信息融合特征监测驾驶疲劳的性能。对于下面所有的处理过程，隐藏层的激活函数是“Sigmoid”函数。疲劳驾驶监测任务被作为一个多类分类问题来处理。从两个方面对GELM进行了人脸识别实验：(1)将单一眼电特征识别疲劳驾驶监测与融合特征的GELM驾驶疲劳监测进行了比较；(2)将简单融合特征与Concat融合策略下载GELM模型中对于疲劳驾驶监测系统的性能比较。

将首先探究单一眼电特征监测疲劳驾驶的精度，然后将眼电特征向量和图像特征向量直接拼接成一个更大的特征向量，然后将其作为输入训练检测模型。然后根据Concat融合策略进行特征融合，最后讨论分析结果。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。