一种船内关键区域多目标可视化管理系统及方法

摘要

本发明涉及一种船内关键区域多目标可视化管理系统及方法，包括：网络摄像头、图像计算服务器和可视化管理终端；所述网络摄像头采集船内关键区域视频帧；所述图像计算服务器采用基于计算机视觉的多目标智能分析算法对各路网络摄像头采集的视频帧进行实时计算分析，将多目标计算分析结果发送到可视化管理终端；所述可视化管理终端接收指定摄像头的实时视频流及图像计算服务器发送的对应视频流的多目标计算分析结果，并进行实时叠加显示，结合历史数据实现集运动轨迹分析、入侵报警、烟火预警为一体的多目标可视化管理。本发明能够使多目标可视化管理在满足实际应用需求的基础上得到最高的实时性。

说明书

技术领域

本发明属于可视化管理技术领域，涉及可视化管理系统及方法，尤其是一种船内关键区域多目标可视化管理系统及方法。

背景技术

对于大型舰船，在执行任务期间内部关键区域的人员管理和安全要素的管理尤为重要。目前，大型船舶内部针对人员管理和安全要素管理主要方法是采用视频监控和巡更，在舰船内部的关键区域安装摄像头，组成了传统的视频监控网络，由人工进行视频观察及监控管理。传统的监控管理仅提供视频的捕获、存储和回放等简单功能，往往只是在已经发生安全问题后才能被发现，发现问题的实时性高低只能取决于监控管理人员是否高度精神集中，对管理人员要求较高，而且无法进行预警管理，对多目标的安全管理可靠性较低、时效性较差。

发明内容

本发明的目的在于克服现有技术的不足，提出一种实时可靠、易部署、低成本的船内关键区域环境下基于计算机视觉技术的安全多目标可视化管理系统及方法。

本发明解决其现实问题是采取以下技术方案实现的：

一种船内关键区域多目标可视化管理系统，包括：网络摄像头、图像计算服务器和可视化管理终端。

所述网络摄像头采集船内关键区域视频帧，并为图像计算服务器和可视化管理终端提供稳定视频流。

所述图像计算服务器存储各路网络摄像头的实时视频流，采用基于计算机视觉的多目标智能分析算法对各路网络摄像头采集的视频帧进行实时计算分析，将多目标计算分析结果发送到可视化管理终端。

所述可视化管理终端接收指定摄像头的实时视频流及图像计算服务器发送的对应视频流的多目标计算分析结果，并进行实时叠加显示，结合历史数据实现集运动轨迹分析、入侵报警、烟火预警为一体的多目标可视化管理。

而且，所述多目标可视化管理包括对人员目标和烟火目标的管理。

而且，所述的网络摄像头、图像计算服务器、可视化管理终端的设备间视频流及信息传输由网线和网络交换设备组成的视频局域网完成。

一种船内关键区域多目标可视化管理方法，包括以下步骤：

步骤1：根据船内关键区域实际环境部署网络摄像头，并根据该区域多目标可视化管理需求构建多目标管理特征矩阵；

步骤2：图像计算服务器加载关键区域网络摄像头，获取并缓存各路网络摄像头的实时视频流；

步骤3：图像计算服务器基于多目标智能分析算法依次对缓存的各路摄像头视频帧进行计算分析，并向可视化管理终端实时发送多目标分析结果；

步骤4：可视化管理终端加载关注区域网络摄像头，获取网络摄像头的实时视频流并实时播放；

步骤5：可视化管理终端接收图像计算服务器发送的多目标分析结果，在播放视频流上进行叠加显示，结合历史数据实现集运动轨迹分析、入侵报警、烟火预警为一体的多目标可视化管理；

而且，所述步骤1的构建多目标管理特征矩阵的具体步骤包括：

(1)对该区域部署的摄像头分配唯一编码i，i＝1,2,…,N，其中N为该区域部署摄像头总数；

(2)对第i个摄像头进行多目标管理需求分析，设置特征参数Tra

Cam

(3)遍历关键区域所有摄像头，构建多目标管理特征矩阵T：

T＝(Cam

而且，所述步骤3的图像计算服务器基于多目标智能分析算法依次对缓存的各路摄像头视频帧进行计算分析的具体步骤包括：

(1)加载经训练得到的人脸特征模型M

(2)获取摄像头i的视频帧缓存队列Q

(3)判断多目标管理特征向量Cam

(4)判断多目标管理特征向量Cam

(5)判断多目标管理特征向量Cam

而且，所述步骤3第(3)步的具体步骤包括：

①从视频帧缓存队列Q

②通过特征提取神经网络对标准化后的视频帧图像进行特征提取，得到特征图，对每个特征图进行人员目标预测，计算存在人员目标的概率；

③采用非极大值抑制方法过滤特征图，得到最终的人员目标检测结果；

④采用卡尔曼滤波算法对人员目标的检测结果和预测值进行加权、迭代计算目标未来的状态位置；

⑤采用匈牙利匹配算法进行检测目标与预测目标结果的匹配程度，更新卡尔曼滤波器的参数；

而且，所述步骤3第(4)步的具体步骤包括：

①读取人脸识别特征模型M

②从视频帧缓存队列Q

③计算人脸特征向量R

而且，所述步骤3第(5)步的具体步骤包括：

①读取火焰颜色特征模型M

②从视频帧缓存队列Q

③提取候选火焰目标颜色特征向量C

④提取候选火焰目标频闪特征向量F

而且，所述步骤5的多目标分析结果包括人员目标跟踪信息、人员识别信息及烟火检测信息，采用UDP报文传输协议实现多目标分析结果由图像计算服务器向可视化管理终端的传输。

本发明的优点和有益效果：

1、本发明提供一种船内关键区域多目标可视化管理系统，包括：网络摄像头、图像计算服务器、可视化管理终端；本发明系统设备组成简单，易于在舰船现有的视频监视系统上进行集成扩展，只需额外部署图像计算服务器，网络摄像头、可视化管理终端以及视频及信息传输所依赖的视频网均可采用舰船原有设备，部署成本极低。

2.本发明提供一种船内关键区域多目标可视化管理方法，依据关键区域摄像头对多目标实际管理需求构建多目标管理特征矩阵，从而可以科学调用多目标智能分析算法，合理分配和使用图像计算服务器的计算资源，使得多目标可视化管理在满足实际应用需求的基础上得到最高的实时性。

3.本发明提供一种船内关键区域多目标可视化管理方法，采用基于计算机视觉技术的多目标智能分析算法，通过对视频帧中的人员目标检测、跟踪、识别实现对关键区域人员目标的管理；通过对视频帧中的烟火目标检测实现对关键区域安全要素的管理；基于计算机视觉技术的多目标可视化管理缓解了传统视频监控管理人员的工作强度，提升了多目标管理的可靠性、时效性。

附图说明

图1为本发明的一种船内关键区域多目标可视化管理系统组成图；

图2为本发明的一种船内关键区域多目标可视化管理方法原理图；

图3为本发明船内仓库区域网络摄像头部署图；

图4为本发明构建多目标管理特征矩阵步骤图；

图5为本发明多目标智能分析算法步骤图；

图6为本发明多目标分析结果报头结构图；

图7为本发明多目标分析结果信息单元结构图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种船内关键区域多目标可视化管理系统，如图1所示，包括：网络摄像头、图像计算服务器和可视化管理终端。

所述网络摄像头采集船内关键区域视频帧，并为图像计算服务器和可视化管理终端提供稳定视频流。

所述图像计算服务器存储各路网络摄像头的实时视频流，采用基于计算机视觉的多目标智能分析算法对各路网络摄像头采集的视频帧进行实时计算分析，将多目标计算分析结果发送到可视化管理终端。

所述可视化管理终端接收指定摄像头的实时视频流及图像计算服务器发送的对应视频流的多目标计算分析结果，并进行实时叠加显示，结合历史数据实现集运动轨迹分析、入侵报警、烟火预警为一体的多目标可视化管理。

在本实施例中，所述多目标可视化管理包括对人员目标和烟火目标的管理。

在本实施例中，所述的网络摄像头、图像计算服务器、可视化管理终端的设备间视频流及信息传输由网线和网络交换设备组成的视频局域网完成。

一种船内关键区域多目标可视化管理方法，如图2所示，包括以下步骤：

步骤1：根据船内关键区域实际环境部署网络摄像头，并根据该区域多目标可视化管理需求构建多目标管理特征矩阵；

所述步骤1的构建多目标管理特征矩阵的具体步骤包括：

(1)对该区域部署的摄像头分配唯一编码i，i＝1,2,…,N，其中N为该区域部署摄像头总数；

(2)对第i个摄像头进行多目标管理需求分析，设置特征参数Tra

Cam

(3)遍历关键区域所有摄像头，构建多目标管理特征矩阵T：

T＝(Cam

步骤2：图像计算服务器加载关键区域网络摄像头，获取并缓存各路网络摄像头的实时视频流；

步骤3：图像计算服务器基于多目标智能分析算法依次对缓存的各路摄像头视频帧进行计算分析，并向可视化管理终端实时发送多目标分析结果；

所述步骤3的图像计算服务器基于多目标智能分析算法依次对缓存的各路摄像头视频帧进行计算分析的具体步骤包括：

(1)加载经训练得到的人脸特征模型M

(2)获取摄像头i的视频帧缓存队列Q

(3)判断多目标管理特征向量Cam

所述步骤3第(3)步的具体步骤包括：

①从视频帧缓存队列Q

②通过特征提取神经网络对标准化后的视频帧图像进行特征提取，得到特征图，对每个特征图进行人员目标预测，计算存在人员目标的概率；

③采用非极大值抑制方法过滤特征图，得到最终的人员目标检测结果；

④采用卡尔曼滤波算法对人员目标的检测结果和预测值进行加权、迭代计算目标未来的状态位置；

⑤采用匈牙利匹配算法进行检测目标与预测目标结果的匹配程度，更新卡尔曼滤波器的参数；

(4)判断多目标管理特征向量Cam

所述步骤3第(4)步的具体步骤包括：

①读取人脸识别特征模型M

②从视频帧缓存队列Q

③计算人脸特征向量R

(5)判断多目标管理特征向量Cam

所述步骤3第(5)步的具体步骤包括：

①读取火焰颜色特征模型M

②从视频帧缓存队列Q

③提取候选火焰目标颜色特征向量C

④提取候选火焰目标频闪特征向量F

步骤4：可视化管理终端加载关注区域网络摄像头，获取网络摄像头的实时视频流并实时播放；

步骤5：可视化管理终端接收图像计算服务器发送的多目标分析结果，在播放视频流上进行叠加显示，结合历史数据实现集运动轨迹分析、入侵报警、烟火预警为一体的多目标可视化管理；

所述步骤5的多目标分析结果包含人员目标跟踪信息、人员识别信息及烟火检测信息，采用UDP报文传输协议实现多目标分析结果由图像计算服务器向可视化管理终端的传输。

下面结合具体案例对本发明作进一步说明：

设定应用场景为某型船内武器弹药仓库，仓库的基本形状、尺寸及网络摄像头的部署如图3所示，主要的部署信息详细描述如下：

1)仓库的基本形状为矩形，尺寸为长15.2米，宽9.6米；库门口为一宽2.3米的走廊；

2)总共部署7个网络摄像头，在仓库外部门口顶部部署1号摄像头，主要功能识别进入仓库门口区域人员身份；仓库内部共部署6个网络摄像头，分别部署在仓库四角的库顶及长边的中间部位，用于对仓库内部烟火目标进行实时监控，同时2号摄像头对出库人员进行人员检测识别。

在本实施例中，所述构建多目标管理特征矩阵的步骤如图4所示，详细描述如下：

步骤1：对该区域部署的摄像头分配唯一编码i，i＝1,2,…,N，其中N＝7为该区域部署摄像头总数；

步骤2：对第i个摄像头进行多目标管理需求分析，设置特征参数Tra

Cam

步骤3：遍历关键区域所有摄像头，构建多目标管理特征矩阵T：

T＝(Cam

在本实施例中，所述多目标智能分析算法步骤如图5所示，具体描述如下：

步骤1：加载经训练得到的人脸特征模型M

步骤2：获取摄像头i的视频帧缓存队列Q

步骤3：判断多目标管理特征向量Cam

步骤3.1：从视频帧缓存队列Q

步骤3.2：通过选取Darknet53特征提取神经网络对标准化后的视频帧图像进行特征提取，得到特征图，对每个特征图进行人员目标预测，计算存在人员目标的概率；

步骤3.3：采用非极大值抑制方法过滤特征图，得到最终的人员目标检测结果；

步骤3.4：采用卡尔曼滤波算法对人员目标的检测结果和预测值进行加权、迭代计算目标未来的状态位置；

步骤3.5：采用匈牙利匹配算法进行检测目标与预测目标结果的匹配程度，更新卡尔曼滤波器的参数；

步骤4：判断多目标管理特征向量Cam

步骤4.1：读取人脸识别特征模型M

步骤4.2：从视频帧缓存队列Q

步骤4.3：计算人脸特征向量R

步骤5：判断多目标管理特征向量Cam

步骤5.1：读取火焰颜色特征模型M

步骤5.2：从视频帧缓存队列Q

步骤5.3：提取候选火焰目标颜色特征向量C

步骤5.4：提取候选火焰目标频闪特征向量F

在本实施例中，所述多目标分析结果包含人员目标跟踪信息、人员识别信息及烟火检测信息，采用UDP报文传输协议实现多目标分析结果由图像计算服务器向可视化管理终端的传输。多目标计算分析结果报文由报头和信息单元两部分组成。

报头格式如图6所示，由信息长度、信息标识、时戳、启动标识等字段组成，定义如下：

1)信息长度：2个字节，表示本报文报头加上信息单元的总字节数；

2)信息标识：2个字节，标识不同的信息类型；0x0002表示人员目标跟踪信息，0x0003表示人员识别信息，0x0004表示烟火检测信息；

3)时戳：4个字节，表示该消息生成的时间；

4)启动标识：12个字节，标识本次图像计算服务器多目标智能分析算法启动时刻；

信息单元格式如图7所示，由摄像头编号、人员目标数量、烟火报警、人员目标序号、人员目标位置/名称等字段组成，定义如下：

1)摄像头编号：2个字节，为本报文包含计算结果所属的摄像头编号；

2)人员目标数量：1个字节，本报文跟踪人员目标数量，报头信息标识为0x0002或0x0003时有效；

3)烟火报警：2个字节，表示当前摄像头视频中是否存在烟火报警，0x0000标识无烟火报警，0x0001标识有烟火报警；报头信息标识为0x0004时有效；

3)人员目标序号：2个字节，人员目标跟踪算法计算过程中产生的唯一编号；报头信息标识为0x0002或0x0003时有效；

4)人员目标位置/名称：10个字节，当报头信息标识为0x0002时，该字段表示人员目标位置，即人员目标标识框在视频帧上的位置及大小信息；当报头信息标识为0x0003时，该字段表示人员目标名称，如果识别失败，则为NULL；

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。