面向叉车司机实操考核与教练的危险行为检测方法及系统

摘要

本发明公开了一种面向叉车司机实操考核与教练的危险行为检测方法及系统，包括：将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；根据叉车司机位姿，并抓取该位置图像，利用Mask R‑CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用Mask R‑CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。本发明实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。

说明书

技术领域

本发明涉及叉车司机考核与教练领域，尤其涉及一种基于深度学习的面向叉车司机实操考核与教练的危险行为检测方法及系统。

背景技术

叉车广泛应用于港口、车站、机场、货场、工厂车间、仓库、流通中心和配送中心等，在船舱、车厢和集装箱内进行托盘货物的装卸、搬运作业，是托盘运输、集装箱运输中必不可少的设备。叉车司机的实操考核与教练质量关乎工程效率和工程安全。本方法涉及深度学习的方法，能对叉车司机实操考核与教练过程中的危险行为进行检测，有助于行业提升对叉车司机的教学培训质量，规范叉车司机的驾驶和操作行为习惯，从源头上降低叉车安全事故发生概率，有力保障叉车使用安全。

在本发明以前的叉车司机实操考核与教练的危险行为检测方法及系统现有技术中，有如下几篇对比专利和文献:

1)一种基于神经网络的公交司机违规行为检测系统(CN 109376634 A)公开了一种公交司机违规行为检测系统，通过采用神经网络的方法，采集司机各类行为视频进行判断。该方法采用神经网络与本发明采用的深度学习方法相区别，且本方法的危险行为判断利用计算得出判断结果。

2)机车司机行为识别方法及装置(CN 106941602 B)公开一种机车司机行为识别方法与系统，预先定义司机多类行为，采用深度学习算法，对司机日常几类操作进行识别。本发明采用Mask R-CNN深度学习方法，对司机身体姿态进行检测，并通过计算判断危险。

3)一种基于监控视频的游泳馆深水区早期危险行为检测方法(CN 111368743 A)公开了一种基于监控视频的游泳馆深水区早期危险行为检测方法，通过采集游泳视频，检测游泳者头部处于游动状态或者直立状态。本发明采用Mask R-CNN方法对叉车司机上半身进行检测，并计算判断危险状态。

发明内容

为解决上述技术问题，本发明的目的是提供一种面向叉车司机实操考核与教练的危险行为检测方法及系统。

本发明的目的通过以下的技术方案来实现：

面向叉车司机实操考核与教练的危险行为检测方法，包括：

A将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；

B根据叉车司机位姿，抓取该位置图像，利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；

C根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；

D工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用Mask R-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。

面向叉车司机实操考核与教练的危险行为检测方法及系统，包括：工业相机、工业相机夹具、上位机、喇叭；所述

工业相机，用于捕获司机姿态位置图像，并上传至上位机；

工业相机夹具，用于安装工业相机并调整角度固定相机；

上位机，用于识别所捕获的司机姿态位置图象，并计算判断司机是否处于危险行为；

喇叭，用于播放检测到司机危险行为后的提醒性音频。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

采用工业相机、上位机和喇叭，可以实时捕获叉车司机姿态图像并通过上位机识别计算出其所处位置像素坐标信息，对司机行为进行检测判断，并通过喇叭播报。本方法自动化程度高、速度快、对准精度高，可应用在叉车司机实操考核与教练过程中对司机的危险行为进行检测并提醒，具有实际意义和推广价值。

利用Mask R-CNN目标识别与图像分割方法，实现对叉车司机实操考核与教练过程中司机的危险行为进行智能识别检测。

附图说明

图1是面向叉车司机实操考核与教练的危险行为检测方法流程图；

图2是面向叉车司机实操考核与教练的危险行为检测方法程序框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，本发明的面向叉车司机实操考核与教练的危险行为检测方法，包括：

步骤10将工业相机安装于叉车前端，调整相机角度及焦距直至能清晰拍摄到叉车司机的腰间安全带及上半身部位，并记录调整后工业相机角度；

步骤20根据叉车司机位姿，并抓取该位置图像，利用Mask R-CNN目标识别与图像分割框架获取叉车司机位姿像素坐标，计算司机上半身位姿角度；

步骤30根据相机系统成像结构，得到像素间距与实际间距比例，计算出危险行为判断标准；

步骤40工业相机拍摄监测叉车司机姿态，检测安全带是否系好，利用Mask R-CNN识别司机姿态像素坐标，计算出安全性得分，判断行为是否危险。

如图2，上述步骤10确定的调整后工业相机镜头轴线方向与重力方向所成角度为α。

如图2，上述步骤20司机上半身位姿角度计算方法为：

设N

设N

由安全带部位基准坐标和肩部基准坐标可计算出司机位姿与竖直向上方向所成角度β：

如图2，上述步骤30判断危险行为安全标准为：

根据系统结构和相机成像面上一个像素间距对应的实际距离Δs

其中A

A

如图2，所述步骤40中，判断行为是否危险如下：

识别司机姿态行为，若识别出司机为系好安全带，直接判断司机处于危险行为，若系好安全带则继续检测判断。

设S

根据以上司机得分情况，可判断司机是否处于危险状态：

若检测判断结果为司机处于危险行为，则喇叭播报“危险，请注意安全”音频。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。