一种驾驶人员失误操作风险预警方法及系统

摘要

本发明公开了一种驾驶人员失误操作风险预警方法及系统，属于智能驾驶技术领域，包括：获取待测驾驶人员的实时驾驶视频作为待测数据；对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。本发明不仅考虑认知负荷对失误操作的影响，还增加了动作协调度、负面情绪变量的作用，将失误操作的风险因素考虑更加齐全，极大地提升了对失误操作的风险预测能力和预测准确率。

说明书

技术领域

本发明涉及智能驾驶技术领域，特别涉及一种驾驶人员失误操作风险预警方法及系统。

背景技术

现阶段，一般通过驾驶人员在驾驶过程中的表现来判断驾驶员的驾驶状态，既有技术中的认知负荷检测方法主要包括以下几个类型：

(1)主观测量法：要求被试者陈述自身的认知负荷，对自身体验状态进行自评报告；

(2)任务绩效测量法：通过被试者在不同认知负荷条件下，得到的任务绩效、行为记录、测试成绩，通过成绩、绩效的高低反向推断认知负荷的程度；

(3)生理关联测试法：通过建立生理信号与认知负荷的关联，从而估计出认知负荷的强度，在生理关联法中又进一步可以分为基于以下几种生理信号进行探测的方法：

(3-1)基于PPG(Photoplethysmoghy)血管容积脉搏波描记法，利用光电手段将血管容积转化为电信号，通过PPG获取血管容积的变化，对PPG信号进行平滑处理、归一化处理、与压力信号进行关联分析，得到压力的PPG标记值；

(3-2)基于事件相关电位(ERP)的脑电信号进行认知负荷计算的方法，通过诱发特定的刺激事件或者高度认知负荷任务的场景，刺激被试处于高度认知负荷场景下，记录被试在认知负荷条件下的脑电数据特征，并建立两者间的关联，由脑电数据特征推断认知负荷强度；

(3-3)基于心率等基础生理信号的认知负荷计算的方法，通过在不同等级的认知负荷条件下，观测被试的心率、心率变异性等基础生理指标，并建立其与不同的认知负荷等级相关的关联，由基础生理数据推断计算认知负荷强度；

(3-4)基于眼动信号的认知负荷计算的方法，通过提取被试在认知疲劳状态下的眼动、瞳孔特征，即任务诱发瞳孔反应(TERP：Task Evoked Pupillary Response)分析其主波峰延迟等信号特征，或者凝视时长、凝视次数、扫视时长、扫视角度、瞳孔面积、眨眼率等信号特征，建立其与认知负荷/疲劳程度的关联模型，据眼动/瞳孔特征推断计算认知负荷程度。

(4)伴随行为估测法：伴随行为估测法主要通过在执行认知任务过程中被试的行为表现，对特定行为进行量化建模，由此估计认知负荷的强度。

上述现有技术存在的缺陷在于：原有技术局限性在于：

(1)原有技术未将认知负荷和失误操作两个概念区分开，从认知神经科学与人机工效学角度来看，认知负荷高并不意味着一定出现失误操作，失误操作的影响因素还包括负面情绪、注意偏差等多种因素，故在设计研发失误操作预警设备装置时，应当在考虑认知负荷检测时进一步将其他影响失误操作的因素纳入预警预测变量中；

(2)原有技术中许多技术未能考虑适用于驾驶环境与驾驶场景，在实际的驾驶场景中，用户驾驶员不可能在佩戴脑电等传感器的条件下进行驾驶操作，也不可能在车内放置大型传感与计算装置；

(3)原有技术中许多技术并未在真实的驾驶场景或者专门定向针对驾驶特征的模拟场景中进行实验，并获取实验数据，并依据这些实验数据设计预警模型，缺乏科学性与效果证明力。

发明内容

本发明的目的在于克服上述背景技术中的不足，提高驾驶失误操作行为预测准确性。

为实现以上目的，一方面，本发明采用一种驾驶人员失误操作风险预警方法，包括：

获取待测驾驶人员的实时驾驶视频作为待测数据；

对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；

将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。

进一步地，所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度。

进一步地，所述将预测变量转换为对应的预测向量，包括：

将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；

将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；

将所述第三预测变量定义为F3＝Gt。

进一步地，在所述获取待测驾驶人员的实时驾驶视频作为待测数据之前，还包括：

获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；

对样本数据进行分析，得到预测变量及其对应的预测向量；

利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。

进一步地，所述获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据，包括：

定义驾驶场景下的失误操作行为；

由所述样本驾驶人员逐个进行驾驶模拟，记录所述样本驾驶人员在出现失误操作行为前的驾驶视频；

由所述样本驾驶人员逐个进行驾驶模型，记录所述样本驾驶人员在出现事故前的驾驶视频。

进一步地，还包括：

对所述风险预警模型进行验证，并在验证结果不合格时，对所述风险预警模型进行修正。

另一方面，采用一种驾驶人员失误操作风险预警系统，包括获取模块、预测向量构建模块和风险预警模块，其中：

获取模块用于获取待测驾驶人员的实时驾驶视频作为待测数据；

预测向量构建模块用于对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；

风险预警模块用于将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。

进一步地，所述预测向量构建模块包括预测变量抽取单元和预测向量构建单元，其中：

预测变量抽取单元用于从所述待测数据中抽取得到预测变量，该预测变量包括所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度；

预测向量构建单元用于将所述预测变量转换为对应的预测向量。

进一步地，所述预测向量构建单元包括第一预测向量构建子单元、第二预测向量构建子单元以及第三预测向量构建子单元，其中：

第一预测向量构建子单元用于将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；

第二预测向量构建子单元用于将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；

第三预测向量构建子单元用于将所述第三预测变量定义为F3＝Gt。

进一步地，还包括样本数据获取模块、分析模块和模型训练模块，其中：

样本数据获取模块用于获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；

分析模块用于对样本数据进行分析，得到预测变量及其对应的预测向量；

模型训练模块用于利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。

与现有技术相比，本发明存在以下技术效果：本发明不同于现有技术中未将认知负荷与失误操作区分开，综合考虑了失误操作的影响因素还包括负面情绪、注意偏差等多种因素，将认知负荷、负面情绪、注意偏差等影响失误操作的因素作为预测变量对失误操作进行预警，极大的提升了对失误操作的风险预测能力，提高了失误曹组风险预测的准确率。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种驾驶人员失误操作风险预警方法的流程图；

图2是一种驾驶人员失误操作风险预警系统的结构图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1所示，本实施例公开了一种驾驶人员失误操作风险预警方法，包括如下步骤：

S1、获取待测驾驶人员的实时驾驶视频作为待测数据；

S2、对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；

具体为：将待测数据视频按照时间序列切分，每10秒切分为一个视频单位，从一个视频单位中抽取每秒50张图片。针对抽取的每单位视频的500张图片，建立8个点确定眼部位置，建立4*4个立方体点位组合确定头部姿态与头部朝向，建立3个点位确定躯干位置与朝向，在抽取出基础特征后，据此计算眼部、躯干、头部相关的预警特征，并将预测变量转换为对应的预测向量；

S3、将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。

需要说明的是，本实施例突破了既有技术在预测失误操作行为上，仅考虑认知负荷对失误操作的影响，增加了动作协调度、负面情绪变量的作用，将失误操作的风险因素考虑更加齐全；极大地提升了对失误操作的风险预测能力，将预测准确率提升到95％以上，将召回率提升到55％以上。

作为进一步优选的技术方案，所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度。

作为进一步优选的技术方案，上述步骤S2中的将预测变量转换为对应的预测向量，具体包括如下细分步骤：

将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；

将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；

将所述第三预测变量定义为F3＝Gt。

需要说明的是，本实施例中的风险预警模型采用RNN模型，本实施例除了考虑认知负荷对失误操作的影响外，还加入了动作不协调(第一预测变量)、情绪因素(第二预测变量)，提高了失误操作预警准确性。

作为进一步优选的技术方案，在上述步骤S1：获取待测驾驶人员的实时驾驶视频作为待测数据之前，还包括如下步骤：

(1)获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据，具体为：

样本选取：选取样本驾驶人员200名，其中涵盖男性/女性各100名，年龄段在18-30，30-40，40-50的样本分布为70名、70名、60名，并且上述样本均获得驾驶执照可以合法进行驾驶行为；

定义驾驶场景下的失误行为数据：通过对上述200名样本间断驾驶模拟，总计每个样本36小时的驾驶视频进行动作分析，根据方向盘操作、车灯操作、车速操作、驾驶注意操作四个模态以及轻微、中度、严重三个等级，将失误行为编码为轻微方向盘操作失误、中度方向盘操作失误、严重方向盘操作失误、轻微车灯操作失误......总计12中失误标签。

获取失误行为前的驾驶视频：要求被试逐个进入驾驶模拟舱进行驾驶模拟，并分别记录驾驶人员在出现失误行为前的驾驶视频影像资料；

获取事故前的驾驶视频：记录驾驶人员在模拟驾驶场景中出现驾驶事故的数据，并分别记录驾驶人员在出现事故前的视频影像资料。重复上述失误动作编码过程，发现编码完备，在真实场景中无需进一步扩展标签即可实现有效的风险预测。

需要说明的是，本实施例在仿真模拟驾驶场景中进行了大规模仿真实验，获取了针对驾驶场景的专门化数据集。

(2)对样本数据进行分析，得到预测变量及其对应的预测向量；

需要说明的是，对样本数据进行分析的过程与上述步骤S2相同，得到用于作为模型的输入的第一预测向量、第二预测向量和第三预测向量。

(3)利用预测向量和预警结果构建训练数据集，将预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。

需要说明的是，本实施例定义分级预警为两个级别，轻度级别与重度级别，轻度级别为出现容易出现失误行为但不会出现事故现象，重度级别为容易出现失误行为并出现事故现象；预警结果为轻度级别、重度级别和无风险。

本实施例定义了针对驾驶场景中的失误驾驶行为，进一步区分了失误驾驶行为-造成事故概率较高以及失误驾驶行为-造成事故概率较低两种预警标签。

需要说明的是，本实施例中的训练数据集共包括2487条数据，取其中378条作为验证数据；将训练数据输入到RNN模型中训练，使用验证数据调整RNN参数，得到一组预测准确率大于等于95％，召回率大于等于50％的RNN预警模型。

作为进一步优选的技术方案，还包括：对所述风险预警模型进行验证，并在验证结果不合格时，对所述风险预警模型进行修正。

需要说明的是，本实施例在使用验证数据集对模型进行验证，发现预测准确率大于等于95％且召回率大于50％；重新采样，随机选取驾驶员样本500人进行驾驶模拟实验，发现增加修正的第三预测变量F3，设计F3>15s作为轻度风险预警规则，通过补充这样一个预警规则，效果较好，可将召回率可提升至55％以上。

需要说明的是，本实施例通过对风险预警模型进行验证，在验证基础上补强基于RNN模型的预警模型，增加补强预警规则。

如图2所示，本实施例公开了一种驾驶人员失误操作风险预警系统，包括获取模块、预测向量构建模块和风险预警模块，其中：

获取模块用于获取待测驾驶人员的实时驾驶视频作为待测数据；

预测向量构建模块用于对待测数据进行分析，得到预测变量，并将预测变量转换为对应的预测向量；

风险预警模块用于将预测向量作为预先训练好的风险预警模型的输入，得到该待测驾驶人员的风险预警结果。

作为进一步优选的技术方案，所述预测向量构建模块包括预测变量抽取单元和预测向量构建单元，其中：

预测变量抽取单元用于从所述待测数据中抽取得到预测变量，该预测变量包括所述预测变量包括：第一预测变量、第二预测变量和第三预测变量，其中第一预测变量为眼部注视角度-头部朝向-躯干朝向偏转角度，第二预测变量为面部表情，第三预测变量为眼部注视角度不变性持续时间长度；

预测向量构建单元用于将所述预测变量转换为对应的预测向量。

作为进一步优选的技术方案，所述预测向量构建单元包括第一预测向量构建子单元、第二预测向量构建子单元以及第三预测向量构建子单元，其中：

第一预测向量构建子单元用于将所述第一预测变量以眼部切平面为基准的法线与头部框定的正方体面部平面部分的夹角为角A、头部框定的正方体耳部平面部分与躯干中线确定的垂直于躯干正面的平面夹角为角B，构建第一预测变量对应的第一预测向量为F1(A,B)；

第二预测向量构建子单元用于将所述第二预测变量中愤怒表情定义为F-A，悲伤表情定义为F-S，焦虑表情定义为F-F，构建第二预测变量对应的第二预测向量为F2(F-A，F-S，F-F)；

第三预测向量构建子单元用于将所述第三预测变量定义为F3＝Gt。

作为进一步优选的技术方案，还包括样本数据获取模块、分析模块和模型训练模块，其中：

样本数据获取模块用于获取样本驾驶人员在出现失误操作前的驾驶视频作为样本数据；

分析模块用于对样本数据进行分析，得到预测变量及其对应的预测向量；

模型训练模块用于利用预测向量和预警结果分别作为所述风险预警模型的输入和输出，以对所述风险预警模型进行训练，得到所述训练好的风险预警模型。

需要说明的是，本实施例提供的一种驾驶人员失误操作风险预警系统与上述实施例公开的一种驾驶人员失误操作风险预警方法具有相应的技术特征及效果，该处不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。