首页> 中国专利> 一种地铁司机车载驾驶行为分析方法、车载终端及系统

一种地铁司机车载驾驶行为分析方法、车载终端及系统

摘要

本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统,所述方法包括:构建地铁司机的车载驾驶行为数据库;基于所述车载驾驶行为数据库,采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型;采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像;获取所述连续的多帧图像中司机的驾驶动作轨迹,利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别。本发明能够实时监测和智能评估司机的驾驶行为和驾驶状态,有助于及早发现可能的人为操作失误,确保行车安全。

著录项

  • 公开/公告号CN108216252A

    专利类型发明专利

  • 公开/公告日2018-06-29

    原文格式PDF

  • 申请/专利权人 中车工业研究院有限公司;

    申请/专利号CN201711477182.1

  • 发明设计人 田寅;王经纬;龚明;唐海川;

    申请日2017-12-29

  • 分类号B60W40/08(20120101);B60W40/09(20120101);G07C5/08(20060101);G06K9/00(20060101);

  • 代理机构11002 北京路浩知识产权代理有限公司;

  • 代理人王莹;吴欢燕

  • 地址 100070 北京市丰台区南四环西路188号十一区6号楼6层

  • 入库时间 2023-06-19 05:45:30

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-12-20

    授权

    授权

  • 2018-07-24

    实质审查的生效 IPC(主分类):B60W40/08 申请日:20171229

    实质审查的生效

  • 2018-06-29

    公开

    公开

说明书

技术领域

本发明涉及人工智能技术领域,更具体地,涉及一种地铁司机车载驾驶行为分析方法、车载终端及系统。

背景技术

近年来,城市轨道交通列车的平均运行速度和行车密度不断提高,虽然列车行车安全装备和司机标准化作业水平有了很大提升,但司机在值乘过程中可能出现的注意力不集中及意外伤病引发的丧失操纵能力等严重威胁列车安全运行的概率仍然存在。

目前我国城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能,对司机个人的工作状态没有识别、报警,系统功能不能满足实际运营要求。各种型号地铁、轻轨使用的车辆运行监控记录装置都是在车辆运行时,将采集到的各种运行数据存入该装置的存储器内,到车辆停站时由专人将信息下载,然后交给地面管理部门,最后由技术人员通过地面信息处理系统对数据进行储存和分析。然而,这样的列车运行监控装置存在着明显缺陷,无法对司机的操作情况进行实时报警,已经无法满足轨道交通运营管理部门的实际要求。地面管理人员只能被动的在办公室中等待司机提交运行记录,只能对己经成为历史的运行数据进行记录、管理和分析,缺乏对列车运行过程中由司机操作而产生的动态数据实时监控管理的能力。同时,地面管理人员对司机驾驶的状态没有直观的了解,对司机工作情况的监督明显缺乏力度。这使得在发生各种事故时,管理部门缺乏实时的、直观的数据和资料,不利于分析事故原因或处理各种事件。

因此,亟需提供一种能够对司机个人的工作状态进行识别、报警,以满足城市轨道交通列车的实际运营要求的方法或系统。

发明内容

为了克服城市轨道交通既有的列车行车安全装备基本不具备司机警惕控制的功能,对司机个人的工作状态没有识别、报警,不能满足实际运营要求的问题,本发明提供一种地铁司机车载驾驶行为分析方法、车载终端及系统。

根据本发明的一个方面,提供一种地铁司机车载驾驶行为分析方法,包括:

S1,构建地铁司机的车载驾驶行为数据库,包括驾驶动作数据库和面部状态数据库;

S2,基于所述车载驾驶行为数据库,采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型;

S3,采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像;

S4,获取所述连续的多帧图像中司机的驾驶动作轨迹,利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,判断司机的驾驶动作是否合规;并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别,检测司机的面部状态是否正常。

其中,所述步骤S1进一步包括:

S11,使用红外视觉传感器采集地铁司机的标准工作视频,并在采集过程结束后从所述标准工作视频中均匀提取出图像帧,对所述图像帧中司机双手位置坐标点以及时间戳进行标注,将标注后的图像帧进行保存,生成驾驶动作数据库;

S12,使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像,从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存,生成面部状态数据库。

其中,所述步骤S2进一步包括:

S21,基于所述驾驶动作数据库,采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型;

S22,构建用于状态辨识的深度学习网络模型,并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练,获得司机面部状态识别模型。

其中,所述步骤S21进一步包括:

S211,针对同一个动作,将所述驾驶动作数据库中所有描述该动作的图像帧提取出来,重复训练所述动作多次;

S212,将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值,并将所述双手轨迹点按时间顺序记录在一张图片上,生成轨迹图,所述轨迹图记载了该动作时间序列的所有轨迹点,并对所述轨迹图中各轨迹点的位置设置阈值;

S213,重复步骤S211和S212,直至完成所述驾驶动作数据库中所有动作的训练。

其中,步骤S22中所构建的用于状态辨识的深度学习网络模型包括:

顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。

其中,步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练,获得司机面部状态识别模型的步骤进一步包括:

从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算;

将所述全连接层的输出向量经激活函数计算得到预测值,使用交叉熵损失函数计算所述预测值与真实值的损失函数值,并最小化损失函数值;

通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值,直至损失函数值趋于稳定或到达设定的迭代次数,获得分类后的图片特征;

将所述分类后的图片特征输入所述自编码器进行编码压缩,抽象出深度特征,再通过解码重构输入的图片特征,通过反向传播算法不断迭代训练,直至自编码器学习的误差小于预设阈值时完成训练;

将训练完成的所述深度学习网络模型的结构和参数固化,获得司机状态识别模型。

其中,步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,判断司机的驾驶动作是否合规的步骤进一步包括:

将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中,通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内,判断司机的驾驶动作是否符合规范。

其中,步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别,检测司机的面部状态是否正常的步骤进一步包括:

将所述连续多帧图像输入所述司机状态识别模型,输出所述司机面部状态的分类结果,根据所述分类结果判定司机的面部状态是否正常。

根据本发明的另一个方面,提供一种车载终端,包括:处理器模块、用户定制板和专用电源模块,其中,

所述处理器模块由256核NVIDIAPascal GPU和一个6核64位的ARMv8处理器集群组成,用于执行如上任一所述的方法;

所述用户定制板用于实现总线扩展存储功能、4G无线通讯功能,并对所述处理器模块的外接口进行保护引出;

所述专用电源模块用于将直流110V电压转换为所述处理器模块使用的直流低电压。

根据本发明的另一个方面,提供一种地铁司机车载驾驶行为分析系统,包括:如前所述的车载终端、通信层和云管理平台,其中,

所述通讯层用于负责所述车载终端与云管理平台间的数据传输;

所述云管理平台用于实现在线自学习与大数据分析功能。

本发明提出的一种地铁司机车载驾驶行为分析方法、车载终端及系统,能够实时监测和智能评估地铁司机的驾驶行为和驾驶状态,有助于及早发现可能的人为操作失误,确保行车安全。

附图说明

图1为本发明一实施例提供的一种地铁司机车载驾驶行为分析方法的流程示意图;

图2为本发明另一实施例提供的一种车载终端的结构示意图;

图3为本发明又一实施例提供的一种地铁司机车载驾驶行为分析系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例,都属于本发明保护的范围。

本发明以地铁司机为主要监控对象,对地铁司机的车载驾驶行为进行实时监控,将地铁司机的车载驾驶行为分析从两个方面来展开,一个是司机的驾驶动作,另一个是司机的面部状态,通过对司机的驾驶动作进行识别,能够及时发现司机的违规操作行为,通过对司机的面部状态进行识别,可以及时地发现司机的异常驾驶状态,如是否疲劳驾驶、是否发生了突发疾病、是否情绪不稳定等,并提供告警信息,对提高行车安全系数是一种实际而且行之有效的手段,对地铁的安全运营具有重要意义。

如图1所示,为本发明一实施例提供的一种地铁司机车载驾驶行为分析方法的流程示意图,包括:

S1,构建地铁司机的车载驾驶行为数据库,包括驾驶动作数据库和面部状态数据库;

目前几乎所有的人体行为识别和面部识别研究工作都是在国际公认的公开数据库上进行的,便于进行算法间的比较。但是这些数据库大部分都是在固定场景下录制的,不同数据集的差别不大,人体行为识别的公开数据库中的动作都是人体各部位的动作,没有主要集中于手部动作的,基本不符合本发明的情况,而用于人脸识别的公开数据,大多以表情识别为主,只有小部分能够适用于本发明。因此本发明需要自行构建数据库,通过使用摄像头进行长时间的记录,以获得大量的司机驾驶行为数据,从而扩充训练和测试样本。

具体地,所述步骤S1进一步包括:

S11,使用红外视觉传感器采集地铁司机的标准工作视频,并在采集过程结束后从所采集的视频中均匀提取出图像帧,对所述图像帧中司机双手位置坐标点以及时间戳进行标注,将标注后的图像帧进行保存,生成驾驶动作数据库;

采集地铁司机的标准工作视频是为了使驾驶动作数据库中的驾驶动作都是标准动作,符合地铁司机的操作规程,从而可以利用驾驶动作数据库对实时采集的司机动作进行识别。采集一定时长的地铁司机标准工作视频,然后对视频进行一定的处理获得图像帧,将图像帧中的与司机动作直接相关的手部位置标注出来,并打上时间戳,将标注后的图像帧存储下来就生成了驾驶动作数据库。给所获得的图像帧进行标注工作量很大。目前已有一些自动标记的方法被提出,但是这些自动标注的可靠性并不理想,和人工标注的差距明显。然而随着动作集数据量的不断增大,人工标注显然无法满足需求。因此,可以先采用人工标注的方式,然后,训练机器有一定识别基础后再使用无监督学习算法,使机器能自动标注所获得的图像帧,从而生成驾驶动作数据库。

S12,使用摄像机无间断拍摄地铁司机的工作视频并按一定帧率截取成图像,从所截取的图像中筛选出可辨别司机面部状态的有效图片进行保存,生成面部状态数据库。

使用摄像机无间断拍摄地铁司机工作视频并按一定帧率截取成图像,但是所截图的图像不一定都是有效、能够明确分辨面部状态的,如果不能明确分辨面部状态,是无法用于进行训练的,因此,需要从所截取的图像中进一步筛选出可辨别出司机面部状态的有效图片进行保存,包括正常状态、异常状态(如饮酒、疲劳、情绪不稳定等),并将其分为N类,从而构建出面部状态数据库。

S2,基于所述车载驾驶行为数据库,采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型;

将车载驾驶行为数据库分为训练集和测试集,基于深度学习方法,通过训练获得用于识别司机驾驶动作的司机驾驶动作识别模型,和用于识别司机面部状态的司机面部状态识别模型。

具体地,使用时序轨迹标记方法,获取司机手部运动轨迹,将所述司机的手部运动轨迹映射到时间-空间维度,大大提高了司机车载驾驶动作的判断准确性和精度。而相比于传统的面部识别算法,深度学习能够从像素级原始数据到抽象的关键点信息逐层提取信息,其所抽取的特征比人工设计的特征更具有高效的表达能力,因此在图像识别方面有突出的优势。本发明基于深度学习的方法,融合3D卷积神经网络和自编码器,构建用于状态辨识的深度学习网络模型,将所述面部状态数据库输入到所构建的深度学习网络模型中进行训练,获得司机面部状态模型。

所述步骤S2进一步包括:

S21,基于所述驾驶动作数据库,采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型;

获得了所述驾驶动作数据库后,由于动作通常都是连续的,因此采用基于时序的动作识别方法通过训练获得司机驾驶动作识别模型,所述基于时序的动作识别方法是指按照时序记录动作轨迹,对于每一个动作通过多次训练取所有轨迹点的均值,得到每一个动作的轨迹图,并对每个轨迹图设置一定的可以变化的范围,从而形成轨迹训练模型,即司机驾驶动作识别模型。

所述步骤S21进一步包括:

S211,针对同一个动作,将所述驾驶动作数据库中所有描述该动作的图像帧提取出来,重复训练所述动作多次;

驾驶动作数据库中的图像帧均对司机双手位置坐标点以及时间戳进行了标注,记为:

Rt={Rx,Ry,t};Lt={Lx,Ly,t}>

其中,Rt为双手位置坐标点,Lt为时间戳。

S212,将该动作过程中的任一时刻的双手轨迹点记为多次训练获得的均值,并将所述双手轨迹点按时间顺序记录在一张图片上,生成轨迹图,所述轨迹图记载了该动作时间序列的所有轨迹点,并对所述轨迹图中各轨迹点的位置设置阈值;

轨迹图中各轨迹点的坐标和时间戳表示如下:

其中,K为训练次数。

S213,重复步骤S211和S212,直至完成所述驾驶动作数据库中所有动作的训练。

训练完成后就获得了司机驾驶动作识别模型。

S22,构建用于状态辨识的深度学习网络模型,并利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练,获得司机面部状态识别模型。

获得了所述面部状态数据库后,对所述面部状态数据库中的图像进行一系列的预处理,如人脸检测、对齐、裁剪和灰度化、求直方图、直方图均衡化、中值滤波等过程就可以作为输入,输入到所构建的深度学习网络模型中进行训练和测试,将训练完成的深度学习网络模型的所有参数保存下来,就形成了司机面部状态识别模型。

本发明改进性的提供了一种融合3D卷积神经网络(3DCNN)与自编码器(LSTM)的深度学习网络模型,与普通的深度学习网络不同,本发明提供的网络一次接受连续多帧图片的输入,能够在卷积神经网络进行识别分类的基础上,再使用自编码器对特征进行深度学习、抽象,从而实现精准的面部状态识别效果。

步骤S22中所构建的用于状态辨识的深度学习网络模型包括:

顺序连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第三池化层、第五卷积层、第六卷积层、第四池化层、第七卷积层、第八卷积层、第五池化层、全连接层、Softmax输出层和自编码器。即:

Conv1→Pool1→Conv2→Pool2→Conv3a→Conv3b→Pool3→Conv4a→Conv4b→Pool4→Conv5a→Conv5b→Pool5→fc6→Softmax→AE

所述深度学习网络模型中共包含8个卷积层(Conv)、5个池化层(Pool)、1个全连接层(fc)、1个Softmax输出层以及1个自编码器。其中,卷积层的卷积核与池化层的池化核都是三维结构,自编码器可实时处理图片,因此可以对连续的图像帧进行处理。

首层是卷积层Conv1,接受128*128*16*1的输入,其中128*128是指输入图片的宽度和高度,16是指连续16帧图,1是指图片为单通道。对于普通卷积层,其输出结果是单特征图的集合,本发明采用改进的3D卷积神经网络,能输出的多特征图的集合,称为特征体。因此,Conv1将会输出64个128*128*16*1的特征体。Conv2输出128个,Conv3输出256个,Conv4输出512个,Conv5输出512个。其中,所有卷积核大小为3*3*3,其权值都采用均值为0、方差为1的正太分布初始化,移动步长为1,输入边界填充为0,激活函数为Relu函数,其公式如下:

f(x)=max(0,x) (3);

对于池化层,Pool1的池化核大小为2*2*1,其余层都为2*2*2,池化核权值都采用均值为0、方差为1的正太分布初始化,移动步长为1,进行最大值池化。

对于全连接层,fc6接受Pool5的512个4*4*1*1的特征体输入。每个全连接层都有4096个节点,权值采用均值为0、方差为1的正太分布初始化,并使用Relu激活函数。fc6输出4096个参数给自编码器。

对于Softmax层,其有N个节点,每个节点对应一种面部状态,并输出目标为该类别的概率,对于节点n,Softmax的公式如下:

yn=f(Wn,xn)>

其中,为Softmax输出该样本为第n类的概率,yn为该节点从前一层网络获取的值。

对于自编码器,将分类后的图片特征输入1024个节点的隐藏层进行编码压缩,抽象出深度特征,再通过解码重构输入的特征。

步骤S22中利用所述面部状态数据库对所述用于状态辨识的深度学习网络模型进行训练,获得司机面部状态识别模型的步骤进一步包括:

从所述面部状态数据库中取出连续多帧图片输入所述第一卷积层开始进行卷积计算;

将所述全连接层的输出向量经激活函数计算得到预测值,使用交叉熵损失函数计算所述预测值与真实值的损失函数值,并最小化损失函数值;

通过随机梯度下降法不断调整网络权重和偏置并重新计算损失函数值,至损失函数值趋于稳定或到达设定的迭代次数,获得分类后的图片特征;

将所述分类后的图片特征输入所述自编码器进行编码压缩,抽象出深度特征,再通过解码重构输入的图片特征,通过反向传播算法不断迭代训练,直至自编码器学习的误差小于预设阈值时完成训练;

将训练完成的所述深度学习网络模型的结构和参数固化,获得司机状态识别模型。

具体地,对于样本库的一个样本i,属于类型j,该样本是包含一个动作的视频,假设共有a帧图像。首先将其分割成(为向下取整)份片段,每个片段内包含25帧,若最后一个片段不足25帧则舍弃该片段,并将每一帧的分辨率调整到128*128。同时,将该样本的标签进行独热编码(One-HotEncoding)编码。最后,将样本数据输入网络。

训练过程使用交叉熵损失函数,考虑数值计算稳定性情况后,所述交叉熵损失函数的公式如下:

对所有样本引入L1正则化惩罚后,损失函数的公式为:

训练过程使用随机梯度下降法,B为批量数,取30个样本为一个批量,学习率开始设为0.001,然后每经过10w次迭代计算后减半,每次迭代都会反向更新网络每层的权重。根据损失函数得到的最终梯度方向为:

Pi,N是样本i的标签独热向量,维度是N*1,第j个元素值为1,其它的元素值为0。PN是网络模型输出的样本i在N个分类上的概率。当损失变化随训练过程趋于稳定之后或到达设定的迭代次数,则停止训练,获得分类后的图片特征。

然后,将分类后的图片特征输入所述自编码器进行编码压缩,抽象出深度特征,再通过解码重构输入的图片特征,对损失函数进行正则、最小化操作,通过反向传播算法不断迭代训练,直至自编码器学习的误差小于预设阈值时停止训练,

最后,将训练完成的所述深度学习网络模型的结构和参数固化,获得司机状态识别模型。

将实时采集的地铁司机的工作图像输入所述训练好的司机状态识别模型,就可得到司机面部状态识别结果。

S3,采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像;

在地铁的驾驶台上安装摄像头,以一定角度正面仰拍司机的驾驶过程,将所采集的地铁司机的实时工作视频按照一定的帧率提取出连续的多帧图像,用于进行司机驾驶动作的识别和面部状态的识别。

S4,获取所述连续的多帧图像中司机的驾驶动作轨迹,利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,判断司机的驾驶动作是否合规;并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别,检测司机的面部状态是否正常。

具体的,步骤S4中利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,判断司机的驾驶动作是否合规的步骤进一步包括:

将所述驾驶动作轨迹输入训练好的司机驾驶动作识别模型中,通过比较所述驾驶动作轨迹与所述司机驾驶动作识别模型中的轨迹点的偏差是否在预设阈值范围内,判断司机的驾驶动作是否符合规范。

若偏差在预设阈值范围内,说明司机的驾驶动作符合规范,若偏差落在预设阈值范围外,则说明司机有违规操作。

步骤S4中利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别,检测司机的面部状态是否正常的步骤进一步包括:

将所述连续多帧图像输入所述司机状态识别模型,输出所述司机面部状态的分类结果,根据所述分类结果判定司机的面部状态是否正常。

若所述司机状态识别模型输出的分类结果中概率最大的是异常状态类型,则说明司机处于异常状态。若所述司机状态识别模型输出的分类结果中概率最大的是正常状态类型,则说明司机的面部状态是正常的。

本发明实施例提出的一种地铁司机车载驾驶行为分析方法,能够实时监测和智能评估地铁司机的驾驶行为和驾驶状态,有助于及早发现可能的人为操作失误,确保行车安全。

如图2所示,为本发明另一实施例提供的一种车载终端的结构示意图,包括:处理器模块21、用户定制板22和专用电源模块23,其中,

所述处理器模块21由256核NVIDIA Pascal GPU和一个6核64位的ARMv8处理器集群组成,用于执行如上述各实施例所述的方法,例如包括:S1,构建地铁司机的车载驾驶行为数据库,包括驾驶动作数据库和面部状态数据库;S2,基于所述车载驾驶行为数据库,采用深度学习的方法通过训练分别获得司机驾驶动作识别模型和司机面部状态识别模型;S3,采集地铁司机的实时工作视频并按照预设的帧率提取出连续的多帧图像;S4,获取所述连续的多帧图像中司机的驾驶动作轨迹,利用所述司机驾驶动作识别模型对所述驾驶动作轨迹进行识别,判断司机的驾驶动作是否合规;并利用所述司机面部状态识别模型对所述连续的多帧图像中的司机面部状态进行识别,检测司机的面部状态是否正常。

其中,ARMv8处理器集群包含一个双核NVIDIADenver 2以及一个4核ARM Cortex-A57。

所述用户定制板22用于实现总线扩展存储功能、4G无线通讯、报警功能,并对所述处理器模块的外接口进行保护引出;

所述专用电源模块23用于将直流110V电压转换为所述处理器模块使用的直流低电,包括电源滤波,保护等功能,为核心模块长期稳定运行提供保证。

此外,为适应行车环境,车载终端采用加固结构设计,包括预留电源接口、网络接口、USB相机接口、预留4G及wifi天线接口,各接口采用航空连接器连接。考虑到车辆内部的环境对设备要求较高,车载终端采取导冷散热方式,同时设计安装孔位方便安装。

本发明实施例所提供的车载终端的改进之处在于软件算法部分和硬件部分,软件算法实现如上述各实施例所述的地铁司机车载驾驶行为分析方法,包括基于深度学习的司机驾驶动作规范检测与面部(疲劳、饮酒与情绪不稳定)检测算法,为了能够支持软件方面的改进,车载终端采用具有GPU的硬件设备,集成在驾驶室内,形成具有预警和通信能力的车载监测设备。

本发明实施例所提出的一种车载终端,能够实时监测和智能评估机车司机的驾驶行为和驾驶状态,有助于及早发现可能的人为操作失误,确保行车安全。

如图3所示,为本发明又一实施例提供的一种地铁司机车载驾驶行为分析系统的结构示意图,包括:如前所述的车载终端、通信层和云管理平台,其中,

所述通讯层用于负责所述车载终端与云管理平台间的数据传输;

所述云管理平台用于实现在线自学习与大数据分析功能。

具体地,车载终端对司机的车载驾驶行为进行分析,在上述实施例中已经进行了描述,在此不再赘述。车载终端将所获得的司机的车载驾驶行为监测结果通过通讯层上报给云管理平台,云管理平台接收到车载终端的监测结果后,对所述监测结果进行记录,实现在线自学习与大数据分析功能,云管理平台与车载终端协同工作,形成一套基于深度学习的地铁司机车载驾驶行为分析系统。

本发明实施例所提供的系统能够帮助司机更加专注于驾驶地铁列车,在其出现疲劳驾驶时能够发出警报,使其能够更加安全的操控机车。同时该系统还可以为地面管理部门提供列车运行动态数据的实时监控,在异常发生的情况下对地铁列车司机的工作状态进行实时的监督和全程的记录,实时掌握非正常状况下整个列车的运行状况,提高对城市轨道交通运行安全的监管能力。

最后,本发明的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号