基于蓝牙脑电耳机的实时驾驶疲劳检测系统及检测方法

摘要

本发明公开了一种检测疲劳状态的方法，通过采集驾驶员的脑电信号和眨眼信号，联合判断驾驶员精神状态并将疲劳警告信号反馈给驾驶员。其过程为：使用Mindwave蓝牙脑电耳机采集脑电波和眨眼信号，利用离散短时傅里叶变化对原始脑电信号Rawdata进行特征提取和去除伪迹。将处理得到的Low？alpha，High？alpha和theta波与正常状态下的脑电信号进行比较，得出三种脑电疲劳参数。结合驾驶员的眨眼频率，将脑电疲劳参数按权值相加，根据结果得出正常，轻微，疲劳，较疲劳，严重疲劳五种精神特征，并通过智能手机实时将疲劳警告信号反馈给驾驶员，提醒驾驶员及时休息。本发明联合脑电和眨眼频率进行疲劳检测，可增强系统检测的精度和鲁棒性，具有佩戴方便，效率高等特点。

说明书

技术领域

本发明涉及实时检测驾驶员驾驶疲劳状态的方法和设备，特别是包含一种基于MindWave脑电 耳机和智能手机的驾驶员疲劳检测方法及系统。

背景技术

随着现代交通运输业的飞速发展，交通事故已成为当前全球所面临的严重问题，研究如何有效 预防和监测驾驶员疲劳驾驶状态具重要的现实意义。疲劳驾驶是指由于驾驶员长时间连续驾驶车辆， 产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。

目前驾驶员疲劳检测技术一般可分为主观检测和客观监测，主观检测是由自己或他人，通过主 观调查表，驾驶员自我记录表等进行的疲劳评定。客观监测可分为：基于驾驶员生理信号特征，基 于驾驶员操作特征，基于车辆行驶状态和多特征信息融合的检测方法。从生理学的角度，疲劳的状 态可通过对脑电、眨眼频率等体征的变化来进行监测，这也是目前公认的最为有效的监测方法。

本发明将基于NeuroSky公司最新研发的Mindwave脑电耳机采集驾驶员的脑电及眨眼信号， 并通过蓝牙技术将数据发送给智能手机，经过特征提取和分类，检测驾驶员是否疲劳驾驶，最后再 将疲劳信息及时反馈给驾驶员。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于蓝牙脑电耳机的实时驾驶疲 劳检测系统及检测方法，克服了现有关于驾驶疲劳检测研究中，大型脑机接口设备体积大，费用高， 不能广泛应用于实际的缺点，具有体积小，成本低，使用简单，携带方便等优点。

技术方案：为实现上述目的，本发明采用的技术方案为：

基于蓝牙脑电耳机的实时驾驶疲劳检测系统，包括脑电耳机和智能终端，所述脑电耳机一个输 入端与使用者前额的脑电传感器连接，另一个输入端与使用者耳部电极连接，通过干电极获得使用 者FP1和A1信道的脑电波电压变化，所述脑电耳机将反映脑电强度的数字信号输出至智能终端进 行疲劳驾驶检测。

基于蓝牙脑电耳机的实时驾驶疲劳检测系统的检测方法，首先提示驾驶员将耳机正确佩戴，将 前额传感器贴于左前额，将耳套圈的耳夹夹在耳垂上，确保传感器与额头、耳夹与耳垂完全接触， 并建立脑电耳机与智能终端的连接配对；

包括以下步骤：

第一步：读取脑电耳机数据并传至智能终端，脑电耳机数据中包含原始脑电信号Rawdata和眨 眼信息；

第二步，智能终端对第一步收到的原始脑电信号Rawdata通过离散短时傅里叶变换的方法，进 行特征提取和去除其中的干扰信号，分离出三种需要的脑电信号theta，lowalpha，highalpha；

第三步，利用脑电耳机提供的眨眼数据接口，记录每分钟眨眼次数，得到眨眼频率E；

第四步，利用第二步处理得到的脑电信号Rawdata，求取不疲劳时三种脑电特征信号的正常值， 设定其为疲劳检测判断的标准值。

第五步，将之后读到的三种实时脑电信号数据与第四步得到的标准值分别进行比较，得出三种 疲劳参数；

第六步，根据眨眼频率E和三种疲劳参数判断驾驶员疲劳程度值，并将疲劳程度值通过智能终 端反馈给驾驶员，从而实现基于蓝牙脑电耳机的实时驾驶疲劳检测系统。

进一步的，上述第二步包括以下过程：

利用离散短时傅里叶变换，将脑电信号Rawdata从时域变换到频域，进行特征提取，将脑电信 号中theta，lowalpha，highalpha三种脑电信号提取出来，同时将原始脑电信号Rawdata中高频眨眼 肌肉抖动或低频眼动伪迹去除；离散短时傅里叶变换公式如下：

$STFT\left\{x\right[n\left]\right\}(m,n)=X\left(w_h\right)=\underset{n=0}{\overset{R+1}{\Sigma }}\left\{x\right[n\left]w(n-m)\right\}·e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号Rawdata；

X(w_k)是x[n]w(n-m)的短时傅里叶变化结果。

R表示窗口长度；

w_k是固定的中心频率；

w[n]表示窗函数，此发明中用到海明窗，可以抵消高频信号的干扰，函数表达式如下：

$w\left(n\right)=0.53836-0.46164\cos \left(\frac{2\pi n}{N-1}\right)$

将上面两式合并，即可得到窗函数为海明窗的离散短时傅里叶变换公式：

$STFT\left\{x\right[n\left]\right\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\Sigma }}x\left[n\right]·(0.53836-0.46164\cos (\frac{2\pi (n-m)}{N-1}\left)\right)·e^{-{\mathrm{jw}}_{k}n}$

将窗口长度R设为2s，每次采样1024个点；根据theta：4-7Hz，lowalpha：8-9Hz，highalpha： 12-14Hz各自的频率段，将固定中心频率w_k分别设为w₁＝5.5Hz，w₂＝8.5Hz，w₃＝13Hz，带入 上面的变换公式，即可频域中提取分离得到theta，lowalpha，highalpha各自的频率谱，分别表示为 X_t(w₁)，X_al(w₂)，X_ah(w₃)，利用短时傅里叶反变换，公式如下：

$T\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_t\left(w_1\right)e^{j\frac{2\pi }{L}n}$

$A_l\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_{al}\left(w_2\right)e^{j\frac{2\pi }{L}n}$

$A_h\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_{ah}\left(w_3\right)e^{j\frac{2\pi }{L}n}$

L为频率采样点数，因为窗口长度为2s，结合本硬件的采样频率，L＝1024。

即可得到时域中theta，lowalpha，highalpha的实时变化值T，A_l，A_h。

进一步的，上述第四步包括以下过程：

第一次读取数据时，首先A_l，A_h，T各取30个值，求平均值，作为正常状态的标准值，用 C_al，C_ah，C_t分别表示lowalpha，highalpha，theta的标准值。

进一步的，上述第五步包括以下步骤：

将之后读到的实时脑电数据A_l，A_h，T与标准值C_al，C_ah，C_t分别进行比较，得出三种疲劳 参数：

(1)lowalpha的比较：

如果A_l＜X_al·C_al，则lowalpha的疲劳参数S1＝2；X_al＝0.7

(2)highalpha的比较：

如果A_h＜X_ah·C_ah，则highalpha的疲劳参数S2＝2；X_ah＝0.6

(3)theta的比较：

如果T＜X_t·C_t，则theta的疲劳参数S3＝2；X_t＝0.7；

进一步的，上述第六步包括以下步骤：

将三种疲劳参数按权重相加，得出疲劳程度值；公式如下：

S＝S₁·2+S₂+S₃

根据眨眼频率E和三种疲劳参数判断驾驶员疲劳程度值；分以下情况：

(1)如果E<＝7，或者E>＝20，直接向驾驶员发出警告3严重疲劳信号警告；

(2)如果7<E<20且S>＝4，则根据三种疲劳参数判断驾驶员疲劳程度值：S＝4，发出警告 1疲劳信号警告；S＝6，发出警告2较疲劳信号警告；S＝8，发出警告3严重疲劳信号警告；

(3)如果7<E<20且S<4，不发出警告；

警告等级：警告3>警告2>警告1。

有益效果：本发明基于消费级的可穿戴脑电耳机设备进行开发，克服了现有关于驾驶疲劳检测 研究中，大型脑机接口设备体积大，费用高，不能广泛应用于实际的缺点，具有体积小，成本低， 使用简单，携带方便等优点。

同时，利用脑电变化判断眨眼行为，不会受到光线变化，个体眼睛大小的差异等因素的影响。 联合脑电波和眨眼两种方法进行驾驶疲劳检测，可增强系统检测的精度和鲁棒性。算法上通过使用 每个人的清醒状态作为判断标准，避免了个体的差异性。

本发明的效果是能对驾驶员的精神状态进行实时监测，在驾驶员出现疲劳特征的后及时警告， 降低发生交通事故的风险。

附图说明

图1是本发明基于脑电耳机的驾驶员疲劳检测系统整体框架图。

图2是本发明的系统结构图。

图3是本发明的算法设计流程图。

图4是本发明的短时傅里叶变换时海明窗函数时域和频域的函数图。

图5是本发明脑电波和眨眼联合判断疲劳的算法流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明的目的是提出了一种利用脑电波和眨眼频率两种检测方法联立作用的驾驶员疲劳驾 驶检测系统。本发明使用设备包含脑电耳机和智能终端，所述智能终端选用智能手机，其中：

脑电耳机，是采用由NeuroSky公司的MindWaveMobile蓝牙脑电耳机，一个输入端与使用 者前额的脑电传感器相连，另一个输入端与使用者耳部电极相连，通过干电极得到使用者FP1 和A1信道的脑电波电压变化；脑电耳机设备内置ThinkGear芯片，可对采集到的脑电电压进行 预处理，得到反映脑电强度的数字信号输出；脑电耳机上集成无线蓝牙模块，支持蓝牙A2DP协 议，有效通讯距离为10米，波特率为115200bps。

智能手机是运行由Google开发的Android操作系统的手机，依次按照以下步骤进行疲劳驾 驶检测：

步骤1，连接脑电设备，读取原始脑电信号Rawdata和眨眼信息，并将数据传输给手机服 务器：

脑电耳机原始脑电信号Rawdata中包含10种特征波，比如：α波，θ波等，通过内置算法拟 合为几个特征波形，形成眨眼检测，信号质量检测等。本发明中，通过测量α波，θ波两个脑电 参数和眨眼频率反映疲劳状态，表1是脑电波的频段划分以及不同类型脑电波所反映出的脑部精神 状态。

表1脑电波频段划分及其脑部精神状态

正常情况下，人眼平均一分钟内眨眼10至15次，平均每隔4至5秒眨眼一次，每次眨眼过程 持续0.2秒左右。有研究表明若精神萎靡不振或疲倦时，则眨眼次数增加。若驾驶员走神，目光呆 滞时，眨眼次数较低。对于驾驶来说，这两种情况都比较危险，都需要对司机发出警告。所以，结 合本硬件，将眨眼频率的阙值设定为：下限不低于7次/分，上限不高于20次/分。

步骤2，手机服务器通过蓝牙对来自脑电耳机的数据接收，并利用离散短时傅里叶变换进行特 征提取，同时从原始脑电波信号中分离眼动和肌肉抖动等干扰信号，得到本发明需要的三种脑电波 频段波形：

脑电信号属于非平稳信号，一般频率在0.5-100Hz，本发明中有效频率是4-14Hz，需要利用离 散短时傅里叶变换将时域转换到频域，公式如下：

$STFT\left\{x\right[n\left]\right\}(m,n)=X\left(w_h\right)=\underset{n=0}{\overset{R+1}{\Sigma }}\left\{x\right[n\left]w(n-m)\right\}·e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号Rawdata；

X(w_k)是x[n]w(n-m)的短时傅里叶变化结果。

R表示窗口长度；

w_k是固定的中心频率；

w[n]表示窗函数。

当频率固定时，X(w_k)可以看做是信号经过一个中心频率是w_k的带通滤波器产生的输出。因 为此处选择海明窗作为窗函数，具有低通频率响应的特点，而指数对x(n)(此处代表原始脑 电信号Rawdata)有调制作用，可使频谱产生位移，即将x(n)频谱中对应于w_k的分量平移到零频， 起到了带通滤波器的作用。

相较而言，肌肉和眨眼伪迹频率要高很多，眼动伪迹的频率则较低。利用脑电信号和干扰伪迹 信号频率特征差异，将原始的脑电波信号通过离散短时傅里叶变换的方法，将w_k分别设为 w₁＝5.5Hz，w₂＝8.5Hz，w₃＝13Hz，则可分离出4-7Hz，8-9Hz，12-14Hz三个有效频段，与此 同时，去除脑电波信号中来自眼动和肌肉抖动等伪迹的干扰。最后经过短时傅里叶反变换得到theta， lowalpha，highalpha的随时间实时变化的值。

步骤3测量一分钟内眨眼次数，根据眨眼频率判断疲劳状态：

在本发明中，结合本硬件，当驾驶员眨眼频率低于7次/分钟，或高于20次/分钟时，判定处于 严重疲劳状态；当眨眼频率处于7-20次/分钟时，结合脑电特征进行疲劳判断。

步骤4，当驾驶员开始使用软件时，首先读取30个脑电波参数数据，取平均值作为接下来疲劳 判断的标准值，用C_al，C_ah，C_t分别表示lowalpha，highalpha，theta的标准值。

步骤5，将之后读到的实时数据A_l，A_h，T与标准值C_al，C_ah，C_t进行比较，得出三种疲劳参数。

实时测得的脑电波参数值和正常状态的标准值进行比较，由于实验测得，Lowalpha在判断疲 劳状态时比Highalpha和theta更加灵敏，所以给它赋予两倍的权值。根据三种疲劳参数乘以权值 相加，得到正常，轻微，疲劳，较疲劳，严重疲劳五种体征状态判断。

步骤6，联合脑电疲劳参数和眨眼频率最后判断得出疲劳程度的判定，标准如下

脑电波和眨眼联合判断驾驶员疲劳状态中，当检测到驾驶员眨眼频率低于7次/分钟，或高于 20次/分钟时，直接向驾驶员发出严重疲劳反馈提示。当眨眼频率处于7-20次/分钟时，根据脑电 特征的疲劳判断，向驾驶员发送反馈信息。

实施例：

本发明采用MindWaveMobile和Android智能手机组成驾驶员疲劳驾驶检测系统。基于脑电耳 机的驾驶员疲劳驾驶检测系统的整体框架图如附图1。其包括两部分构成，驾驶员和手机服务器。 该系统的结构图，见附图2，驾驶员头戴MindWaveMobile脑电耳机，耳机通过其贴在前额和耳部 的干电极实时获取驾驶员的脑电波电压值，通过内置算法，将电压值转换成反映脑电波参数特征的 数字信号，通过蓝牙发送至智能书籍服务器端，智能手机根据疲劳判断程序中的算法，得出当前驾 驶员的疲劳状态，通过手机语音和震动的方式反馈给驾驶员。

系统的疲劳检测算法，见附图3。

步骤一，提示驾驶员将脑电耳机正确佩戴，将将前额传感器贴于左前额，将耳圈套的耳夹夹在 耳垂上，确保传感器与额头、耳夹与耳垂完全接触。并启动蓝牙连接配对。

步骤二，脑电耳机通过内置的算法将采集到的前额原始脑电波电压U转换成原始数字脑电信号 Rawdata，通过蓝牙传送至手机服务器。转换公式如下：

$rawdata=\frac{U·2000}{1.8}·4096$

步骤三，手机服务器蓝牙接收来自脑电耳机送来的数据，将Rawdata从时域变换到频域，进行 特征提取，将脑电中theta，lowalpha，highalpha三种脑电信号提取出来，同时将原始脑电信号 Rawdata中高频眨眼肌肉抖动，低频眼动等伪迹去除。离散短时傅里叶变换公式如下：

$STFT\left\{x\right[n\left]\right\}(m,n)=X\left(w_h\right)=\underset{n=0}{\overset{R+1}{\Sigma }}\left\{x\right[n\left]w(n-m)\right\}·e^{-{\mathrm{jw}}_{k}n}$

x[n]是输入的离散信号，即原始脑电信号Rawdata；

X(w_k)是x[n]w(n-m)的短时傅里叶变化结果。

R表示窗口长度；

w_k是固定的中心频率；

w[n]表示窗函数，

此发明中用到海明窗，可以抵消高频信号的干扰，海明窗函数的时域和频域函数图如图4所示， 函数表达式如下：

$w\left(n\right)=0.53836-0.46164\cos \left(\frac{2\pi n}{N-1}\right)$

将上面两式合并，即可得到窗函数为海明窗的离散短时傅里叶变换公式：

$STFT\left\{x\right[n\left]\right\}(m,n)=X\left(w_k\right)=\underset{n=0}{\overset{R+1}{\Sigma }}x\left[n\right]·(0.53836-0.46164\cos (\frac{2\pi (n-m)}{N-1}\left)\right)·e^{-{\mathrm{jw}}_{k}n}$

将窗口长度R设为2s，每次采样1024个点。根据theta：4-7Hz，lowalpha：8-9Hz，highalpha： 12-14Hz各自的频率段，将固定中心频率w_k分别设为w₁＝5.5Hz，w₂＝8.5Hz，w₃＝13Hz，带入 上面的变换公式，即可频域中提取分离得到theta，lowalpha，highalpha各自的频率谱，分别表 示为X_t(w₁)，X_al(w₂)，X_ah(w₃)，利用短时傅里叶反变换，公式如下：

$T\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_t\left(w_1\right)e^{j\frac{2\pi }{L}n}$

$A_l\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_{al}\left(w_2\right)e^{j\frac{2\pi }{L}n}$

$A_h\left(n\right)=\frac{1}{L}\underset{m}{\Sigma }\underset{n}{\overset{L-1}{\Sigma }}{X}_{ah}\left(w_3\right)e^{j\frac{2\pi }{L}n}$

L为频率采样点数，因为窗口长度为2s，结合本硬件的采样频率，L＝1024。

即可得到时域中theta，lowalpha，highalpha的实时变化值T，A_l，A_h。

步骤四，利用耳机提供的眨眼数据接口，实时记录每分钟驾驶员的眨眼次数E，得到眨眼频率E。 (单位：次/分钟)

步骤五，判断是否是第一次读取数据，如果是，则在该正常状态下，首先A_l，A_h，T各取30个 值，求平均值，作为正常状态的标准值，用C_al，C_ah，C_t分别表示lowalpha，highalpha，theta 的标准值。

步骤六，将之后实时读到的实时数据A_l，A_h，T与标准值C_al，C_ah，C_t进行比较，得出三种疲劳 系数：

(1)lowalpha的比较：

如果A_l＜X_al·C_al，则lowalpha的疲劳参数S1＝2。(X_al＝0.7)

(2)highalpha的比较：

如果A_h＜X_ah·C_ah，则highalpha的疲劳参数S2＝2。(X_ah＝0.6)

(3)theta的比较：

如果T＜X_t·C_t，则theta的疲劳参数S3＝2。(X_t＝0.7)

步骤七，根据眨眼频率和脑电疲劳特征联和判断驾驶员疲劳程度：如图5所示。

将三种疲劳参数按权重相加，得出疲劳程度。公式如下：

S＝S₁·2+S₂+S₃

分以下几种情况讨论：

(1)、如果E<＝7，或者E>＝20，直接向驾驶员发出表2中警告3严重疲劳警告；

(2)、如果7<E<20且S>＝4，则根据表2中脑电特征的疲劳判断标准向驾驶员发出对于的 警告；

(3)、如果7<E<20且S<4，不发出警告，转至上述步骤二。

表2脑电疲劳程度判断

情况 程度 S＝0 正常 S＝2 轻微 S＝4 疲劳(发出警告1) S＝6 较疲劳(发出警告2) S＝8 严重疲劳(发出警告3)

警告等级：警告3>警告2>警告1。

本发明基于消费级的可穿戴脑电耳机设备进行开发，克服了现有关于驾驶疲劳检测研究中，大 型脑机接口设备体积大，费用高，不能广泛应用于实际的缺点，具有体积小，成本低，使用简单， 携带方便等优点。同时，利用脑电变化判断眨眼行为，不会受到光线变化，个体眼睛大小的差异等 因素的影响。联合脑电波和眨眼两种方法进行驾驶疲劳检测，可增强系统检测的精度和鲁棒性。算 法上通过使用每个人的清醒状态作为判断标准，避免了个体的差异性。

本发明的效果是能对驾驶员的精神状态进行实时监测，在驾驶员出现疲劳特征的后及时警告， 降低发生交通事故的风险。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不 脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范 围。