一种融合机器学习与物联网技术的疲劳驾驶实时监测系统

摘要

本发明公开了一种融合机器学习与物联网技术的疲劳驾驶实时监测系统，包括：脑电模块、眼动追踪模块、单片机、无线传输模块、报警模块、GPS定位模块、GPRS通信模块、云端服务器数据库、移动端；脑电模块和眼动追踪模块分别通过无线通信模块和单片机连接，单片机还分别与报警模块、GPS模块和GPRS模块连接，单片机通过云服务器和基站与移动端双向连接，本发明同时采集驾驶员脑电信号和眼动信号，采用层次权重决策分析法计算疲劳值，若检测到驾驶员疲劳驾驶则发出报警信号提醒驾驶员，并通过移动端提醒监护人。本发明有效地解决了驾驶人的安全以及家人对其的监护问题，减少了因疲劳驾驶发生交通事故的概率，提高了安全性。

说明书

技术领域

本发明涉及交通安全领域，特别是涉及一种融合机器学习与物联网技 术的疲劳驾驶实时监测系统。

背景技术

目前大部分汽车都没有配备疲劳驾驶检测装置，对于货车、客车等商 用车驾驶员，一旦在高速公路上出现疲劳驾驶的情况，事故发生率能达到 40％左右，此类事故一旦发生基本上都是严重事故，由此造成极大公共交通 安全隐患。目前，传统汽车辅助驾驶技术一直在解决车辆本身的道路行驶 安全问题，然而驾驶员本身也存在着注意力不集中，疲劳驾驶等问题，因 此需要我们主动监测及防范这类危险驾驶问题。另一方面，目前市场的一 些疲劳检测设备价格高昂，还未达到消费级产品的级别。随着科学技术发 展，疲劳驾驶检测技术与传统汽车辅助驾驶技术相结合，将进一步提高驾 驶安全性。在商用车领域，例如物流领域，对长期从事驾驶工作的驾驶员 进行疲劳检测显得尤其重要，且随着检测设备成本的下降，私家车商用市 场也会持续扩大。面对日益增长的汽车数量和机动车驾驶员数，一个实时 监测疲劳驾驶的系统不仅有研发必要性，也具有巨大的市场潜力。因此， 本发明提出了一种融合机器学习与物联网技术的疲劳驾驶实时监测系统， 以解决现有技术中的不足。

发明内容

本发明的目的是提供一种融合机器学习与物联网技术的疲劳驾驶实时 监测系统，以解决上述现有技术存在的问题，使驾驶员的疲劳度能够被量 化，并且通过一套完备的疲劳驾驶实时监测系统对驾驶员进行监测，减少 驾驶员因疲劳驾驶而发生交通事故的几率。

为实现上述目的，本发明提供了如下方案：

本发明提供一种融合机器学习与物联网技术的疲劳驾驶实时监测系统， 所述系统包括：脑电模块、眼动追踪模块、单片机、无线传输模块、报警 模块、GPS定位模块、GPRS通信模块、云端服务器数据库、移动端；

其中所述脑电模块用于采集驾驶员的脑电信息，并将检测结果通过无 线通信模块传输到单片机上；

所述眼动追踪模块用于采集驾驶员的眼动信息；

所述单片机，用于对所述眼动信息进行处理；

所述报警模块包括震动模块和语音播放模块，用于提醒驾驶员疲劳驾 驶；

所述GPS定位模块用于定位车辆的位置信息和速度信息并通过所述 GPRS通信模块发送至云服务器的数据库进行存储，并在所述移动端以地图 形式显示出来；

所述移动端为家属和监控人的监护操作终端；

所述脑电模块和所述眼动追踪模块分别通过所述无线通信模块和所述 单片机连接，所所述单片机还分别与所述报警模块、所述GPS模块和所述 GPRS模块连接，所述单片机通过所述云服务器和基站与移动端双向连接。

进一步的，所述脑电模块包括TGAM模块，所述脑电信息包括脑电信号， 所述TGAM模块采集到所述脑电信号后，进行放大、滤波，再利用改进的 Hilbert-Huang变换，求解原始脑电信号不同频段的时-频信息，得出各频 段信号功率谱大小。

进一步的，所述眼动追踪模块包括眼动追踪仪，所述眼动追踪仪包括 眼镜和四个微型眼部摄像头，所述四个微型眼部摄像头嵌入安装在所述眼 镜的镜片上，左右镜片各两个所述微型眼部摄像头，分别位于镜片下方， 所述四个微型眼部摄像头用于采集眼动信息。

进一步的，所述眼动信息包括但不限于：眨眼频率、眨眼间隔和眨眼 持续时间。

进一步的，基于层次分析法对所述脑电信息和所述眼动信息进行计算， 计算脑电信息中不同频段的脑电信号对反映疲劳度特征的专注度和放松度 的权重，计算眼动信息中眨眼频率、眨眼间隔和眨眼持续时间对反应疲劳 特征的眼动指数的权重。

进一步的，对所述专注度、所述放松度和所述眼动指数的计算方法为：

(1)构建不同波段的能量占比对专注度的第一判断矩阵，构建不同波 段的能量占比对放松度的第二判断矩阵，构建眨眼频率、眨眼时间和眨眼 时间间隔对眼动指数的第三判断矩阵；

(2)分别计算第一判断矩阵、第二判断矩阵和第三判断矩阵的特征值 和特征向量；

(3)验证所述第一判断矩阵、第二判断矩阵和第三判断矩阵的一致性；

(4)若符合一致性，则获得专注度、放松度和眼动指数的计算公式。

进一步的，所述脑电模块和所述眼动追踪模块分别将所述脑电信息和 眼动信息发送到单片机，所述单片机通过公式计算所述专注度、放松度、 疲劳度，并将计算获得的疲劳状态上传到所述云服务器上，将所述疲劳状 态分为轻度疲劳、中度疲劳和深度疲劳。

进一步的，所述中度疲劳出现次数大于等于5次或所述深度疲劳的出 现次数大于1次时，通过所述报警模块发出警报提醒驾驶员，并将车辆的 位置信息和报警状态发送到所述移动端上。

进一步的，所述报警模块发出警报的方式包括：所述语音播放模块通 过播放设定好的语音文件提醒驾驶员不要疲劳驾驶，所述语音播放模块播 放的同时，所述震动模块进行震动。

进一步的，所述移动端包括但不限于：微信小程序、手机应用、手机 通话及短信接收；

其中所述手机应用和所述微信小程序包括但不限于以下功能：

家庭成员登录、监控人员登录、地理位置显示、历史轨迹查询、速度 显示，疲劳度值显示和疲劳驾驶报警。

本发明公开了以下技术效果：

本发明通过脑电模块测量驾驶员的左前额脑电波，将采集到的原始脑 电波经过模块处理后得到可用的脑电波特征，然后经过无线传输模块传输 到单片机上，同时眼动追踪模块记录眼动信息特征并经过无线电传输模块 传输到单片机上，单片机将接收到的数据进行计算，再通过GPRS模块将计 算结果传到云服务器端并存入数据库中，在云服务器中的特征数据经过机 器学习算法判别后，如果判别结果为疲劳则通过报警单元利用震动模块和 语音提醒模块提醒驾驶员，从而能够第一时间提醒驾驶员，提升了提醒速 度和驾驶员的安全性；所述对疲劳度进行量化的方法方便、快捷、准确的 提供了驾驶员的疲劳程度，以数据为支撑，能够对驾驶员的真实疲劳程度 进行实时监控并判断；本发明能够通过远程GPS定位模块和GPRS通信模块 对驾驶员进行实时定位，将定位数据发送至云端服务器数据库存储，使得 家庭成员和监控人员能第一时间定位到驾驶员的位置，节省了定位时间并且利用移动端作为监护终端，有效地解决了驾驶人的安全以及家人对其的 监护问题，有效的预防疲劳驾驶，及时传递驾驶员的位置信息，减少了因 疲劳驾驶发生交通事故的概率，提高了驾驶员的在驾驶时的安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对 实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附 图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种融合机器学习与物联网技术的疲劳驾驶实时监测系统示意 图；

图2为本申请实施例2中的流程示意图；

图3为本申请实施例2中微信小程序功能示意图；

图4为本申请实施例中计算疲劳度的流程示意图；

图5为本申请实施例中疲劳度构成示意图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对 本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更 详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于 限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该 范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间 值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也 包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围 内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属 领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方 法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等 同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公 开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时， 以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实 施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本 发明的说明书得到的其他实施方式对技术人员而言是显而易见的。本申请 说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为 开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

实施例1

本发明提供一种融合机器学习与物联网技术的疲劳驾驶实时监测系统， 所述系统包括：脑电模块、眼动追踪模块、单片机、无线传输模块、报警 模块、GPS定位模块、GPRS通信模块、云端服务器数据库、移动端；

其中所述脑电模块用于采集驾驶员的脑电信息，并将检测结果通过无 线通信模块传输到单片机上；

所述眼动追踪模块用于采集驾驶员的眼动信息；

所述单片机，用于对所述眼动信息进行处理；

所述报警模块包括震动模块和语音播放模块，用于提醒驾驶员疲劳驾 驶；

所述GPS定位模块用于定位车辆的位置信息和速度信息并通过所述 GPRS通信模块发送至云服务器的数据库进行存储，并在所述移动端以地图 形式显示出来；

所述移动端为家属和监控人的监护操作终端；

所述脑电模块和所述眼动追踪模块分别通过所述无线通信模块和所述 单片机连接，所所述单片机还分别与所述报警模块、所述GPS模块和所述 GPRS模块连接，所述单片机通过所述云服务器和基站与移动端双向连接。

进一步的，所述脑电模块包括TGAM模块，所述脑电信息包括脑电信号， 所述TGAM模块采集到所述脑电信号后，进行放大、滤波，再利用改进的 Hilbert-Huang变换，求解原始脑电信号不同频段的时-频信息，得出各频 段信号功率谱大小。

进一步的，所述眼动追踪模块包括眼动追踪仪，所述眼动追踪仪包括 眼镜和四个微型眼部摄像头，所述四个微型眼部摄像头嵌入安装在所述眼 镜的镜片上，左右镜片各两个所述微型眼部摄像头，分别位于镜片下方， 所述四个微型眼部摄像头用于采集眼动信息。

进一步的，所述眼动信息包括但不限于：眨眼频率、眨眼间隔和眨眼 持续时间。

进一步的，基于层次分析法对所述脑电信息和所述眼动信息进行计算， 计算脑电信息中不同频段的脑电信号对反映疲劳度特征的专注度和放松度 的权重，计算眼动信息中眨眼频率、眨眼间隔和眨眼持续时间对反应疲劳 特征的眼动指数的权重。

进一步的，对所述专注度、所述放松度和所述眼动指数的计算方法为：

(1)构建不同波段的能量占比对专注度的第一判断矩阵，构建不同波 段的能量占比对放松度的第二判断矩阵，构建眨眼频率、眨眼时间和眨眼 时间间隔对眼动指数的第三判断矩阵；

(2)分别计算第一判断矩阵、第二判断矩阵和第三判断矩阵的特征值 和特征向量；

(3)验证所述第一判断矩阵、第二判断矩阵和第三判断矩阵的一致性；

(4)若符合一致性，则获得专注度、放松度和眼动指数的计算公式。

进一步的，所述脑电模块和所述眼动追踪模块分别将所述脑电信息和 眼动信息发送到单片机，所述单片机通过公式计算所述专注度、放松度、 疲劳度，并将计算获得的疲劳状态上传到所述云服务器上，将所述疲劳状 态分为轻度疲劳、中度疲劳和深度疲劳。

进一步的，所述中度疲劳出现次数大于等于5次或所述深度疲劳的出 现次数大于1次时，通过所述报警模块发出警报提醒驾驶员，并将车辆的 位置信息和报警状态发送到所述移动端上。

进一步的，所述报警模块发出警报的方式包括：所述语音播放模块通 过播放设定好的语音文件提醒驾驶员不要疲劳驾驶，所述语音播放模块播 放的同时，所述震动模块进行震动。

进一步的，所述移动端包括但不限于：微信小程序、手机应用、手机 通话及短信接收；

其中所述手机应用和所述微信小程序包括但不限于以下功能：

家庭成员登录、监控人员登录、地理位置显示、历史轨迹查询、速度 显示，疲劳度值显示和疲劳驾驶报警。

实施例2

在实施例2中，所述连接单片机和眼动追踪模块和脑电模块的无线传 输模块为蓝牙模块，移动端则选择其中的微信小程序。

根据图1、2、3、4和5所示，本实例提出一种融合机器学习与物联网 技术的疲劳驾驶实时监测系统，所述系统包括脑电模块、报警模块、远程 GPS定位模块、GPRS通信模块、眼动追踪模块、云端服务器、微信小程序 单元。

所述脑电模块，包含一块TGAM模块，该模块拥有三个干性电极，一个 脑电采集点、REF(参考点)、GND(地线点)，其中脑电采集点放置在大脑 左前额，另外两个电极夹住两侧耳朵，配备两节1.5V的干性电池供电，当 采集到脑电信号后，信号经过模块放大、滤波后得到干净的脑电信号，然 后利用改进的Hilbert-Huang变换，求解原始脑电信号不同频段的时-频信 息，得出各频段信号功率谱大小。

Hilbert-Huang变换主要有两个步骤，分别是：

S1，将原始脑电信号进行EEMD(集合经验模式分解)；

S2，将经过EEMD分解出来的IMF分量进行Hilbert变换求得瞬时频率 和幅值。

其中S1中EEMD方法是对EMD(经验模式分解)的一种改进方法，即 在EMD的基础上引入正态分布的白噪声信号，解决了EMD中存在的模态混 叠现象，EEMD算法的具体步骤如下：

S1.1，在原始脑电信号s(t)中加入一组符合正态分布的白噪声x(t) 来得到一个混合后的信号S(t)：

S(t)＝s(t)+x(t) (1)

S1.2，采用标准EMD对S(t)进行分解，把S(t)分解为多个IMF(固 有模态函数)分量c

S1.3，重复S1.1、S1.2，在待分析的信号中加入与S1.1中不同幅值 的白噪声：

S

其中S

S1.4，对上一步的叠加信号做EMD分解，得到：

其中c

S1.5，加入的N个随机白噪声是不相关的，其统计均值必然为零，对 各分量做整体平均抵消白噪声的影响，得到最后的分解效果：

S2中的Hilbert变换如下：

最终得到各频段信号功率谱。

所述眼动追踪模块包括眼动追踪仪，所述眼动追踪仪配有一个蓝牙模 块和四个微型眼部摄像头，通过四个眼动摄像头实时采集双眼数据得到眨 眼频率、眨眼间隔和眨眼持续时间等数据，通过蓝牙模块将数据传输到单 片机上。

上述所测量的实验数据都与人体疲劳有关，每个因素对疲劳度的影响 程度不同，故采用决策学中的层次分析法，计算各个生理参数对疲劳值的 相对权重。

利用层次分析法首先计算第一层(底层)不同频段的脑电波(α、β， θ，δ和γ波)对反映疲劳度特征的专注度和放松度的权重，以及眨眼频率， 眨眼持续时间、眨眼间隔对同样反映疲劳度特征的眼动指数的权重。

其中，针对专注度的具体计算步骤如下：

A1，构建判断矩阵：

判断矩阵是表示本层所有因素针对上一层某一个因素的相对重要性的 比较。在层次分析法中构建判断矩阵采用一致矩阵法，即：

1.不把所有因素放在一起比较、而是两两比较；

2.采用相对尺度，用以提高准确度。采用专家打分构造判断矩阵。

判断矩阵中的元素a

表1

根据上述原则，构造三个波段的能量占比对专注度的判断矩阵，如表 2所示，

表2

得到判断矩阵如下：

A2，计算判断矩阵的特征值和特征向量

由式(7)求得λ

A3，验证一致性

所构造的判断矩阵是否合理，须通过一致性验证。一致性指标公式为：

由计算结果知，(7)式通过一致性检验，矩阵的归一化特征向量可作 为权向量，所以专注度计算公式为

专注度＝0.86×β+0.43×γ+0.29×α (8)

同理，分析不同频段的脑电对放松度的影响，三个步骤：

B1，构造三个波段的能量占比对放松度的判断矩阵，如表3所示：

表3

得判断矩阵：

B2，计算判断矩阵的特征值和对应的特征向量

由式(9)求得λ

B3，验证一致性

故得放松度计算公式：

放松度＝0.22×α+0.87×δ+0.44×θ (10)

同理，分析眨眼频率、眨眼时间和眨眼时间间隔对眼动指数的影响， 同样三个步骤：

C1，构建判断矩阵，如表4所示：

表4

得判断矩阵：

C2，计算判断矩阵的特征值和对应的特征向量

由式(11)求得λ

C3，验证一致性

得到眼动指数的计算公式：

眼动指数＝0.87×眨眼频率+0.44×眨眼持续时间+0.22×眨眼间隔 (12)

基于以上反映疲劳度特征的三个参数：专注度、放松度和眼动指数， 进一步分析这三个特征(中间层)对疲劳度的权重，同样三个步骤：

D1，构建专注度、放松度、眼动指标对疲劳度的判断矩阵，如表5所 示：

表5

得判断矩阵：

D2，计算判断矩阵的特征值和对应的特征向量

由(11)式求得最大特征值

D3，验证一致性

一致性指标公式为：

得到疲劳度计算公式：

疲劳度＝0.67×专注度+0.67×放松度+0.33×眼动指标 (14)

将式(8)、(10)和(12)代入(14)式，通过层次分析法，最终得疲 劳度计算公式如下：

鉴于以往检测疲劳度方法成本高昂且准确性不高，本发明创新提出了 上述能够量化的计算疲劳度的方法，脑电模块和眼动仪测得驾驶员脑电和 眼动数据后发送到arduino UNO R3单片机上，根据所推导的公式计算疲劳 度值，并将数据发送到云服务器上，在服务器上采用python网络编程技术 实现接收和计算数据，通过KNN算法进行状态分类，本发明将疲劳状态分为 三类：轻度疲劳，中度疲劳，和深度疲劳。

在实验中，采集不同疲劳状态下模拟驾驶员的脑电信息和眼动数据并 打上三种不同的标签用作训练样本，由此样本与实际中采集的数据使用 KNN方法计算分类，在10分钟内，如果中度疲劳出现的次数大于等于5，深 度疲劳出现的次数大于1则发出报警，并将定位信息和警报状态显示在微 信小程序上。

所述脑电模块上连接了一个HC-05蓝牙模块，当脑电模块采集到数据 时，数据通过蓝牙模块被传输到arduino UNO R3处理器上。

所述眼动追踪设备获取驾驶员的三个眼动特征：眨眼频率、眨眼持续 时间、眨眼间隔，数据通过蓝牙模块传输到arduino UNO R3处理器上。

所述报警模块用于单片机通过GPRS通信模块接收到云服务器返回的 判别结果时，根据返回结果是否触发报警单元，在10分钟内，如果中度疲 劳出现的次数大于等于5，深度疲劳出现的次数大于1，则单片机通过程序 模拟发送AT指令给GSM通信模块，再通过手机SIM卡发送短信给指定号x 远程短信和通话告知家属或监控人。

所述远程GPS定位模块用于将驾驶员的定位信息和速度信息通过GPRS 通信模块发送至云端服务器数据库进行存储，云端服务器数据库内存储的 驾驶员的定位信息和速度信息通过微信小程序单元被查询，且所述云端服 务器数据库内存储的驾驶员的定位信息和速度信息能够通过地图软件被显 示；

所述微信小程序单元为监护人的监护操作终端，所述微信小程序单元 为具有家庭成员及监控人员登录、地理位置查询、历史轨迹查询、疲劳度 显示、疲劳驾驶报警微信小程序单元；

家庭成员及监控人员登录：通过微信登录进行家庭成员登录安全系统 的功能，只有家庭成员和后台监控人能够通过小程序二维码进行登录，保 障了驾驶员的隐私安全；

地理位置查询：获取驾驶员的地理位置经纬度信息，然后手动调取地 图软件查询驾驶员具体地理位置并在地图上显示；

疲劳度显示：微信小程序端直接向数据库请求疲劳度信息，数据库应 答请求后向小程序端发送对应信息，微信小程序端将信息渲染显示；

疲劳驾驶报警：将传感器采集的数据输入分类器模型，当分类输出为 异常姿态时就会输出报警信号，微信小程序端拥有疲劳驾驶报警信号的显 示。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明 的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人 员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求 书确定的保护范围内。