一种基于公共安全问题的主动图像识别预警系统及其处理方法

摘要

本发明提供一种基于公共安全问题的主动图像识别预警系统及其方法，包括：车载端设备端和平台端，车载端设备端包括：两组摄像头、网络硬盘录像机和边缘计算盒子，其中一组摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头组成，另一组摄像头由两个用于进行行为识别的行为识别摄像头组成，网络硬盘录像机用于两组所述摄像头的视频数据进行存储和网络交换，边缘计算盒子部署在车内司机上方风道中，边缘计算盒子用于对人脸识别摄像头和行为识别摄像头采集的信息进行处理；本发明的优点将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息。

说明书

技术领域

本发明属于公共交通安全技术领域，更为具体地，涉及一种应用于公交车、客运车上基于公共安全问题的主动图像识别预警系统及其方法。

背景技术

现在公交车辆、客运车辆等搭载乘客的车辆上大多数安装的视频监控终端只有视频记录的功能，而且这些视频记录仅仅作为事后取证，无法立即有效的提供预警、报警等紧急情况的提醒和记录。同时，大部分客运交通车辆上没有利用人脸识别技术和行为识别技术的、主动的公共服务安全技术方案。

发明内容

鉴于上述问题，本发明的目的是提供一种基于公共安全问题的主动图像识别预警系统及其处理方法，用于将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息，以克服上述现有技术的不足。

本发明提供的基于公共安全问题的主动图像识别预警系统的处理方法，包括以下步骤：

步骤S1：在公交车、客运车上安装主动图像识别预警系统，所述主动图像识别预警系统包括车载端设备端和平台端，其中车载端设备端由两组摄像头、网络硬盘录像机和边缘计算盒子组成，其中一组摄像头由三个人脸识别摄像头组成，另一组摄像头由两个行为识别摄像头组成；

步骤S11：利用三个人脸识别摄像头对车内乘客和车外行人进行人脸识别，利用两个行为识别摄像头对车内全景的拍摄，并对其进行行为识别；利用网络硬盘录像机对两组摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机；

步骤S12：利用网络硬盘录像机内部集成的存储模块将视频数据保存在本地硬盘中，利用网络硬盘录像机内部集成的网络交换模块将储存的数据传输至边缘计算盒子；利用边缘计算盒子对人脸识别摄像头和行为识别摄像头采集的信息进行处理；

步骤S13：利用平台端接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据；

步骤S2：通过在边缘计算盒子内部储存自定义用户分库模块，所述自定义用户分库模块内录入针对不同的用户分库采取的处理机制，其中所述处理机制为报警、预警、欢迎；

步骤S21：利用人脸识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部的人脸识别功能模块进行画面中的人脸面部识别，识别到特征信息后，与盒子内部的人脸特征数据库查询模块中的信息进行比对从而区分人脸信息；其中，人脸识别功能模块是实时对每一帧画面进行运算分析；

步骤S22：当边缘计算盒子接收到人脸识别摄像头获取的人脸特征信息后，与人脸特征数据库中的人脸信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息，其中报警信息包括报警内容、报警界别，其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；

步骤S23：利用平台端接收步骤S22的报警数据包，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；

步骤S23：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，包括欢迎上车、请大家注意安全、隐蔽提示报警音；

步骤S3：利用边缘计算盒子的行为识别功能处理模块判断乘客是否存在跌倒、打架、驾驶区异常闯入行为，如果出现以上行为则立即进行报警；

步骤S31：行为识别摄像头监控到的画面通过网络硬盘录像机传输至边缘计算盒子中，由边缘计算盒子内部行为识别功能处理模块进行画面中的人物行为识别，识别到特征信息后，与盒子内部的动作行为特征数据库中的信息进行比对从而区分行为信息；其中行为识别功能处理模块是实时对每一帧画面进行运算分析；

步骤S32：利用边缘计算盒子的动作行为特征数据库针对不同的动作信息，其中动作行为特征数据库包括驾驶舱多余手臂、行驶中的吸烟或喝水、推搡或打架等多种分库；

步骤S33：当边缘计算盒子接收到行为识别摄像头获取的行为特征信息后，与动作行为特征数据库中的行为信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏发送报警信息；其中报警信息包括报警内容、报警界别；其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；

步骤S34：平台端接收到上述报警数据包后，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；

步骤S35：利用驾驶员操作屏接收到边缘计算盒子发送来的报警信息后，会根据报警级别进行不同的语音提示，主要提示驾驶员驾驶舱异常请紧急停车、乘客区域异常请紧急停车、抽烟报警噪音等各种声音提醒。

作为优选，人脸特征数据库查询模块接收的上层人脸特征数据库区分为不同的分库，包括驾驶员脸部信息数据库、危险人员脸部信息数据库、特殊人员脸部信息数据库，上述数据库为现有数据库的利用。

本发明的另一个目的是提供一种基于公共安全问题的主动图像识别预警系统，包括：车载端设备端和平台端，所述车载端设备端包括：两组摄像头、网络硬盘录像机和边缘计算盒子，其中一组所述摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头组成，三个所述人脸识别摄像头分别部署在客车的上车门的上方、驾驶位上方和车外部中间位置；另一组摄像头由两个用于进行行为识别的行为识别摄像头组成，两个所述行为识别摄像头分别部署在车前部和车后部；所述网络硬盘录像机用于两组所述摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头和两个识别摄像头分别连接至网络硬盘录像机，所述网络硬盘录像机内部集成有存储模块和网络交换模块，所述存储模块用于将视频数据保存在本地硬盘中，所述网络交换模块用于将储存的数据传输至边缘计算盒子；所述边缘计算盒子部署在车内司机上方风道中，所述边缘计算盒子用于对人脸识别摄像头和行为识别摄像头采集的信息进行处理；所述平台端分别与网络硬盘录像机和边缘计算盒子分别链接，所述平台端用于接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据。

作为优选，所述边缘计算盒子内部设置有行为识别功能处理模块、人脸识别功能模块和自定义用户分库模块；所述行为识别功能处理模块用于处理两个行为识别摄像头采集到的预警信息并传递至车内报警系统及平台端，所述人脸识别功能模块用于处理三个人脸识别摄像头采集到的预警信息并传递至车内报警系统及平台端。

作为优选，所述平台端上设置有告警展示模块、人脸数据管理下发模块、设备管理模块和告警数据查询功能模块，所述告警展示模块用于接收到告警信息后，以弹窗、声音、颜色变化来提醒监控人员接收到最新的报警信息，并需要及时对信息进行人工干预和处理；展示模块展示方式包含web页面弹窗、告警声音播放、窗口边框颜色变化来突出显示的控制模块，人脸数据管理下发模块用于将获取到的人脸数据进行存储和管理，并主动下发至连接到平台上的所有车载终端E-BOX中，供车载终端E-BOX在进行人脸识别功能计算中提供对比信息数据,数据收集包括界面主动上传保存和联网联控主动接受二种方式，界面主动上传方式由管理人员手工在界面上进行操作输入人脸数据信息；联网联控主动接受方式由平台数据对接模块通过连接已授权的公安网络数据库主动获取人脸数据并保存至平台存储数据库中，设备管理模块用于管理所有连接至平台的车载终端设备，设备包括E-BOX、PS-BOX、摄像头、传感器,告警数据查询功能模块用于在平台展示界面的历史查询页面中查询历史告警数据，根据登录账号的权限展示对应权限下的平台接收到的所有告警信息，包括告警时间、地点、告警级别、信息内容、图片和视频素材、处理结果、处理意见。

本发明的优点及积极效果是：

1、本发明的基于车载终端的运算能力，将图像识别、预警和报警、事件记录、统一存储和传输等功能集中于车载终端上，使车辆本身具备了运算处理能力，及时提供预警和报警信息。并且解决了现在客运和公交车上只有视频记录，而且视频记录仅仅作为事后取证的问题；同时解决了无法及时发出预警的问题。

2、本发明针对现在公交车上只有视频记录，而且视频记录仅仅作为事后取证。车辆上没有利用人脸识别技术和行为识别技术的、主动的公共服务安全技术方案。如果有在逃犯出现在车辆上，除非在逃犯在车上出现犯罪行为，否则公安机关无从得知在逃犯是否出现在车辆上的问题。利用本申请公安机关就可以主动获知在逃犯或者其他需要关注人员是否出现在公交车上，一旦利用本系统发现这类人员，告警数据就可以主动通知到公安机关，方便其安排后续工作。因此使用本系统相当于为每个公交车配置一名乘警，最大化保护车上司乘人员的行程安全。

附图说明

通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的整体结构示意图。

图2为根据本发明实施例的系统流程图。

附图标记：网络硬盘录像机1，边缘计算盒子2，人脸识别摄像头3、4、5，行为识别摄像头6、7。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

实施例1

参阅图1，本发明提供的基于公共安全问题的主动图像识别预警系统的处理方法，包括以下步骤：

步骤S1：在公交车、客运车上安装主动图像识别预警系统，所述主动图像识别预警系统包括车载端设备端和平台端，其中车载端设备端由两组摄像头、网络硬盘录像机NVR1和边缘计算盒子2组成，其中一组摄像头由三个人脸识别摄像头3、4、5组成，另一组摄像头由两个行为识别摄像头6、7组成；

步骤S11：利用三个人脸识别摄像头3、4、5对车内乘客和车外行人进行人脸识别，利用两个行为识别摄像头6、7对车内全景的拍摄，并对其进行行为识别；利用网络硬盘录像机1对两组摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头3、4、5和两个识别摄像头6、7分别连接至网络硬盘录像机1；

步骤S12：利用网络硬盘录像机1内部集成的存储模块将视频数据保存在本地硬盘中，利用网络硬盘录像机1内部集成的网络交换模块将储存的数据传输至边缘计算盒子2；利用边缘计算盒子2对人脸识别摄像头3、4、5和行为识别摄像头6、7采集的信息进行处理，边缘计算盒子2可以通过网络硬盘录像机NVR1拉取摄像头视频流；边缘计算盒子2是车载端的计算核心，边缘计算盒子2部署在车内司机上方风道中。对于公共安全服务盒子实现如下功能：人脸识别、行为识别。

步骤S13：利用平台端接收并处理网络硬盘录像机和边缘计算盒子采集或分析的数据；

步骤S2：通过在边缘计算盒子2内部储存自定义用户分库模块，所述自定义用户分库模块内录入针对不同的用户分库采取的处理机制，其中所述处理机制为报警、预警、欢迎，所述自定义用户分库模块的报警由现有报警功能集成；

步骤S21：利用人脸识别摄像头3、4、5监控到的画面通过网络硬盘录像机1传输至边缘计算盒子2中，由边缘计算盒子2内部的人脸识别功能模块进行画面中的人脸面部识别，识别到特征信息后，与盒子内部的人脸特征数据库查询模块中的信息进行比对从而区分人脸信息；其中，人脸识别功能模块是实时对每一帧画面进行运算分析；

步骤S22：当边缘计算盒子2接收到人脸识别摄像头3、4、5获取的人脸特征信息后，与人脸特征数据库中的人脸信息进行比对；当比对信息一致率超过90％时，边缘计算盒子2触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏(中控屏幕)发送报警信息，其中报警信息包括报警内容、报警界别，其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；

步骤S23：利用平台端接收步骤S22的报警数据包，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；

步骤S23：利用驾驶员操作屏接收到边缘计算盒子2发送来的报警信息后，会根据报警级别进行不同的语音提示，包括欢迎上车(驾驶员识别成功)、请大家注意安全(小偷等异常预警)、隐蔽提示报警音(逃犯、嫌疑人等重点危险人员)；

步骤S3：利用边缘计算盒子2的行为识别功能处理模块判断乘客是否存在跌倒、打架、驾驶区异常闯入行为，如果出现以上行为则立即进行报警；

步骤S31：行为识别摄像头6、7监控到的画面通过网络硬盘录像机1传输至边缘计算盒子2中，由边缘计算盒子2内部行为识别功能处理模块进行画面中的人物行为识别(手臂动作、身体动作区分)，识别到特征信息后，与盒子内部的动作行为特征数据库中的信息进行比对从而区分行为信息；其中行为识别功能处理模块是实时对每一帧画面进行运算分析；

步骤S32：利用边缘计算盒子2的动作行为特征数据库针对不同的动作信息，其中动作行为特征数据库包括驾驶舱多余手臂、行驶中的吸烟或喝水、推搡或打架等多种分库；

步骤S33：当边缘计算盒子2接收到行为识别摄像头获取的行为特征信息后，与动作行为特征数据库中的行为信息进行比对；当比对信息一致率超过90％时，边缘计算盒子触发报警信息，并进行如下操作：1、截取照片并保存成图片，同时进行数据打包，将数据包发送至平台中；2、向网络硬盘录像机发送上述的数据包进行加密保存；3、向驾驶员操作屏(中控屏幕)发送报警信息；其中报警信息包括报警内容、报警界别；其中数据打包包括时间、地点、事件级别、内容描述、截取的图片；

步骤S34：平台端接收到上述报警数据包后，进行数据解压保存，并触发报警信息显示，在平台端的平台操作页面上进行报警信息弹窗显示、报警信息记录显示，需要监控人员手动对报警信息进行处理，并记录处理结果；处理结果在监控人员手动记录后，与报警信息同时保存在平台中供随时查询；平台记录的报警信息如没有处理结果的记录，则会向上一级别监控人员发送提示，有报警信息未处理，由企业管理进行问题管理职能上的处理；

步骤S35：利用驾驶员操作屏(中控屏幕)接收到边缘计算盒子2发送来的报警信息后，会根据报警级别进行不同的语音提示，主要提示驾驶员驾驶舱异常请紧急停车、乘客区域异常请紧急停车、抽烟报警噪音等各种声音提醒。

本实施例中人脸特征数据库查询模块接收的上层人脸特征数据库区分为不同的分库，包括驾驶员脸部信息数据库(欢迎库)、危险人员脸部信息数据库(报警库—从警方通缉和公布的信息中获取照片从而得到脸部信息)、特殊人员脸部信息数据库(预警库—从警方或公交公司内部发布出来的问题人员，例如小偷、拒载人员等)，上述数据库为现有数据库的利用。

实施例2

本实施例提供一种基于公共安全问题的主动图像识别预警系统，包括：车载端设备端和平台端，所述车载端设备端包括：两组摄像头、网络硬盘录像机1和边缘计算盒子2，其中一组所述摄像头由三个用于对车内乘客和车外行人进行人脸识别的人脸识别摄像头3、4、5组成，三个所述人脸识别摄像头3、4、5分别部署在客车的上车门的上方、驾驶位上方和车外部中间位置；另一组摄像头由两个用于进行行为识别的行为识别摄像头6、7组成，两个所述行为识别摄像头6、7分别部署在车前部和车后部；所述网络硬盘录像机1用于两组所述摄像头的视频数据进行存储和网络交换，三个所述人脸识别摄像头3、4、5和两个识别摄像头6、7分别连接至网络硬盘录像机1，所述网络硬盘录像机1内部集成有存储模块和网络交换模块，所述存储模块用于将视频数据保存在本地硬盘中，所述网络交换模块用于将储存的数据传输至边缘计算盒子；所述边缘计算盒子2部署在车内司机上方风道中，所述边缘计算盒子2用于对人脸识别摄像头3、4、5和行为识别摄像头6、7采集的信息进行处理；所述平台端分别与网络硬盘录像机1和边缘计算盒子2分别链接，所述平台端用于接收并处理网络硬盘录像机1和边缘计算盒子2采集或分析的数据。人脸识别摄像头和行为识别摄像头型号分别为：守望者SW-MI3024HF-X；守望者SW-MI3018FD-X；硬盘录像机：易甲文JH8-NVR；边缘计算盒子：智城GT-ZC-ZHCSGJ001。

本实施例中的边缘计算盒子内部设置有行为识别功能处理模块、人脸识别功能模块和自定义用户分库模块；所述行为识别功能处理模块用于处理两个行为识别摄像头采集到的预警信息并传递至车内报警系统及平台端，所述人脸识别功能模块用于处理三个人脸识别摄像头采集到的预警信息并传递至车内报警系统及平台端。

本实施例中的平台端上设置有告警展示模块、人脸数据管理下发模块、设备管理模块和告警数据查询功能模块，所述告警展示模块用于接收到告警信息后，以弹窗、声音、颜色变化来提醒监控人员接收到最新的报警信息，并需要及时对信息进行人工干预和处理；展示模块展示方式包含web页面弹窗、告警声音播放、窗口边框颜色变化来突出显示的控制模块，人脸数据管理下发模块用于将获取到的人脸数据进行存储和管理，并主动下发至连接到平台上的所有车载终端E-BOX中，供车载终端E-BOX在进行人脸识别功能计算中提供对比信息数据,数据收集包括界面主动上传保存和联网联控主动接受二种方式，界面主动上传方式由管理人员手工在界面上进行操作输入人脸数据信息；联网联控主动接受方式由平台数据对接模块通过连接已授权的公安网络数据库主动获取人脸数据并保存至平台存储数据库中，设备管理模块用于管理所有连接至平台的车载终端设备，设备包括E-BOX、PS-BOX、摄像头、传感器,告警数据查询功能模块用于在平台展示界面的历史查询页面中查询历史告警数据，根据登录账号的权限展示对应权限下的平台接收到的所有告警信息，包括告警时间、地点、告警级别、信息内容、图片和视频素材、处理结果、处理意见。

工作原理：车载终端和平台端通过网络下载特殊人员脸部信息、异常行为信息等特种信息，存储在边缘计算盒子中；通过安装在客运公共车辆上的监控摄像头采集车内人员脸部特征和行为特征，通过终端的边缘计算盒子内的智能AI进行业务行为对比(特殊人员人脸识别等)和判断(异常行为分析等)，得出异常结论；将异常结论以预警、报警的方式，通过5G网络传输至平台端的监控中心系统中，产生报警提醒，同时将采集的异常结论(包括时间、地点、视频截图、视频片段)打包集成后通过网络同步传输至车载存储设备及后台服务器存储；监控人员和驾驶员分别通过系统平台页面和车载语音提示等方式获取到该预警、报警信息的显示和语音提示。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。