一种基于桥梁防撞的船舶目标检测跟踪方法

摘要

本发明公开了一种基于桥梁防撞的船舶目标检测跟踪方法,包括以下步骤：先通过摄像机采集船舶的视频图像，并通过深度学习训练模型提取视频图像中的船舶特征，得到船舶类型和船舶位置框；然后根据步骤A中测得的船舶位置框，利用IOU方法持续检测船舶的当前位置，并将该船舶的当前位置迭代上一帧的船舶位置，得到船舶在移动过程中的连续位置信息；根据连续识别的船舶位置信息，描出船舶的运动轨迹。本发明能够实时检测船舶在视频图像内的位置坐标，并对各船舶进行编号和单独跟踪，从而避免检测过程中的目标丢失和漏检测问题，具有识别效果好、抗干扰能力强的特点。

说明书

技术领域

本发明涉及一种船舶的检测方法，特别是一种基于桥梁防撞的船舶目标检测跟踪方法。

背景技术

为了实现桥梁防撞的功能，目前在桥梁位置经常需要设置船舶检测机构，该船舶检测机构用于检测船舶的当前位置，当船舶处于接近桥梁位置并存在碰撞桥梁的风险时，则进行报警和船舶信息收集，进而减小船舶碰撞的可能性并方便在事故发生后的追查。目前常用的船舶检测技术多为雷达超声波、红外激光技术和视频图像检测技术等，其中视频图像检测技术相比其他技术由于具有检测成本低和使用方式简单的特点，已得到了越来越广泛的应用。

目前市场上的视频图像检测技术一般采用实时图像和背景差分，然后经二值化后使用区域生长算法得到船舶目标，然后对识别到的船舶目标进行跟踪和锁定。但这种差分方法容易受到光线、天气等外界条件的影响，且对于运动较慢或静止的物体的识别效果较差，从而容易出现跟踪目标的丢失和漏检测问题。

此外，视频图像检测技术在检测过程还容易受到干扰项的影响，如当检测范围内同时出现两艘船舶且两艘船舶交叉穿过时，由于该船舶在视频图像中会出现一段时间的重叠和遮挡，导致检测机构容易失去追踪目标，或将锁定目标转变为其他船舶，进一步降低了对船舶的检测效果。

因此，现有用于桥梁防撞的视频图像检测结构存在识别效果差、抗干扰能力弱的问题。

发明内容

本发明的目的在于，提供一种基于桥梁防撞的船舶目标检测跟踪方法。它具有识别效果好、抗干扰能力强的特点。

本发明的技术方案：一种基于桥梁防撞的船舶目标检测跟踪方法，包括以下步骤：

A.通过摄像机采集船舶的视频图像，并通过深度学习训练模型提取视频图像中的船舶特征，得到船舶类型和船舶位置框；

B.根据步骤A中测得的船舶位置框，利用IOU方法持续检测船舶的当前位置，并将该船舶的当前位置迭代上一帧的船舶位置，得到船舶在移动过程中的连续位置信息；

C.根据连续识别的船舶位置信息，描出船舶的运动轨迹。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤A中深度学习训练模型的训练方法具体包括以下步骤：

A1.采集船舶通过时的视频图像；

A2.由人工从视频图像中截取若干张船舶图像，该船舶图像包括新出现的船舶图像、船舶在区域中间位置时的图像和快离开的船舶图像；

A3.将步骤A2中截取到的船舶图像作为图片训练集，对深度学习训练模型进行训练。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤A3中深度学习训练模型的训练方法具体包括以下步骤：

A31.将图片训练集用人工标签制作软件做标记，生成xml文件；然后用FileSort软件将标记后的船舶图像和xml文件生成图片数据集；

A32.用Tensorflow的Faster Rcnn方法训练图片数据集，生成深度学习训练模型；

A33.用Tensorflow创建Session会话，并Create创建会话加载深度学习训练模型，用Session的Run方法识别，输出船舶类型和船舶位置框。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤A33中深度学习训练模型的船舶置信度C取值为0.8。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤B具体包括以下步骤：

B1.根据连续测得的多帧船舶位置框计算出船舶的运动方向；

B2.根据测得的船舶位置框判断船舶是否为新出现的船舶，若船舶为新出现的船舶时，对该船舶进行ID编号，并保存船舶的位置和类别；若船舶不是新出现的船舶时，进入下一步骤；

B3.判断船舶是否是快离开的船舶，若船舶为快离开的船舶时，进行标记；若船舶不是快离开的船舶时，进入下一步骤；

B4.计算当前船舶位置和上一帧船舶位置的IOU，当IOU≥0.8时将该ID编号的船舶位置更新为当前位置。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，新出现的船舶的判断方法为：当深度学习训练模型提取得到的船舶位置框满足：

该船舶位置框的右侧坐标到图片边缘之间的距离小于图片宽度的1/3，或者船舶位置框的左侧坐标到图片边缘之间的距离大于图片宽度的2/3；

该船舶位置框的运动方向朝向图像中间；

该船舶位置框没有对应的ID编号；

以及当前船舶位置框和上一帧船舶位置框的IOU≥0.85时；

判断该船舶为新出现的船舶。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，快离开的船舶的判断方法为：当深度学习训练模型提取得到的船舶位置框满足：

该船舶位置框的右侧坐标到图片边缘之间的距离小于图片宽度的1/4，或者船舶位置框的左侧坐标到图片边缘之间的距离大于图片宽度的3/4；

该船舶位置框的运动方向朝向图像边缘；

以及该船舶位置框有对应的ID编号时；

判断该船舶为快离开的船舶。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤B3中当船舶标记为快离开的船舶时，利用IOU方法持续检测该船舶的当前位置,当当前帧船舶位置框和上一帧船舶位置框的IOU＜0.85，或当前帧无法检测到该ID编号的船舶位置框时，在当前帧图像识别结束后删除该船舶的ID编号。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤B4中当IOU＜0.8时，保持该ID编号的船舶位置不更新。

前述的一种基于桥梁防撞的船舶目标检测跟踪方法中，所述步骤B中对船舶的检测频率为60次/分钟以上。

与现有技术相比，本发明具有以下特点：

(1)本发明将人工智能算法与视频图像技术进行结合，通过标记训练数据做船舶模型的训练，使相关参数拟合逼近船舶的理想外观，实际船舶算法检测通过加载训练好的深度学习训练模型，预测船舶在图像中的位置和外观范围，使其能够从实时拍摄的船舶图像中锁定船舶外形和位置坐标，从而有效提高对船舶的识别精准度和实时性；

(2)通过对每艘船舶的识别和ID编号，使本发明能够对每艘进入视频范围内的船舶进行标记，进而在船舶移动过程中持续保持对其的单独跟踪效果，从而有效避免因天气、船舶遮挡等干扰造成的目标丢失和追踪目标转移问题，进一步提高本发明的抗干扰能力和识别效果；

(3)通过对船舶移动过程中的实时位置更新，使本发明在检测过程中还能够绘制出船舶在进入检测范围后的实时运动轨迹，从而方便其他船舶分析设备通过船舶运动轨迹计算出船舶是否存在碰撞桥梁的可能性，即提高了本发明的功能性和追踪效果；

(4)在上述基础上，本发明还限定了对船舶位置和朝向的判定方法，从而进一步提高对船舶的判定准确度和抗干扰能力，避免船舶在边缘位置的不规则移动导致的计算误差，进而提高本发明的鲁棒性和检测准确度；通过对船舶置信度的具体限定，还能够进一步提高对船舶的检测准确度和抗干扰能力，即不仅避免了类似船舶外形的物体造成的误跟踪，又能准确检测到每艘进入的船舶；

(5)在上述配合下，本发明在实际使用中的总体船舶检测和抓拍正确率能够达到97％以上，且检测频率能够达到60次/分钟以上，进而有效提高后续算法对船舶运动轨迹的计算准确度；

所以，本发明具有识别效果好、抗干扰能力强的特点。

附图说明

图1为连续测得的多帧船舶位置框的示意图；

图2为船舶在图像中的检测效果图；

图3为多艘船舶在同一图像中的检测效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例。一种基于桥梁防撞的船舶目标检测跟踪方法，构成如图1所示，包括以下步骤：

A.通过摄像机采集船舶的视频图像，并通过深度学习训练模型提取视频图像中的船舶特征，得到船舶类型和船舶位置框；

B.根据步骤A中测得的船舶位置框，利用IOU方法持续检测船舶的当前位置，并将该船舶的当前位置迭代上一帧的船舶位置，得到船舶在移动过程中的连续位置信息；

C.根据连续识别的船舶位置信息，描出船舶的运动轨迹。

所述步骤A中深度学习训练模型的训练方法具体包括以下步骤：

A1.通过桥梁上安装的摄像机采集船舶通过时的视频图像，并录入硬盘录像机；

A2.由人工查看的方式通过硬盘录像机从视频图像中截取若干张船舶图像，该船舶图像包括新出现的船舶图像、船舶在区域中间位置时的图像和快离开的船舶图像，图像采集数量在10000张以上，优选为15000张；

新出现的船舶图像为船舶位置框的右侧坐标到图片边缘之间的距离小于图片宽度的1/3，或者船舶位置框的左侧坐标到图片边缘之间的距离大于图片宽度的2/3；

快离开的船舶图像为船舶位置框的右侧坐标到图片边缘之间的距离小于图片宽度的1/4，或者船舶位置框的左侧坐标到图片边缘之间的距离大于图片宽度的3/4；

A3.将步骤A2中截取到的船舶图像作为图片训练集，对深度学习训练模型进行训练。

所述步骤A3中深度学习训练模型的训练方法具体包括以下步骤：

A31.将图片训练集用人工标签制作软件做标记，生成xml文件；然后用FileSort软件将标记后的船舶图像(Jpeg文件)和xml文件生成为PASCAL Voc2007图片数据集格式；

A32.用Tensorflow的Faster Rcnn方法训练图片数据集，生成深度学习训练模型frozen_inference_graph.pb；

A33.用Tensorflow创建Session会话，并Create创建会话加载深度学习训练模型，用Session的Run方法识别，输出船舶类型和船舶位置框。

所述步骤A33中深度学习训练模型的船舶置信度C取值为0.8。

所述步骤B具体包括以下步骤：

B1.根据连续测得的两帧船舶位置框计算出船舶的运动方向，该运动方向分为朝向图像中间位置和朝向图像边缘位置；

B2.根据测得的船舶位置框判断船舶是否为新出现的船舶，判断时间从第二帧测得的船舶位置框开始计算，若船舶为新出现的船舶时，对该船舶进行ID编号，并保存船舶的位置和类别，每条船舶的ID编号是唯一的，长度32位；若船舶不是新出现的船舶时，进入下一步骤；

B3.判断船舶是否是快离开的船舶，若船舶为快离开的船舶时，进行标记；若船舶不是快离开的船舶时，进入下一步骤；

B4.计算当前船舶位置和上一帧船舶位置的IOU，当IOU≥0.8时将该ID编号的船舶位置更新为当前位置。

所述步骤B1中新出现的船舶的判断方法为：当深度学习训练模型提取得到的船舶位置框满足：

该船舶位置框的右侧坐标Cur_Position_Righ到图片边缘之间的距离小于图片宽度的1/3，或者船舶位置框的左侧坐标Cur_Position_Left到图片边缘之间的距离大于图片宽度的2/3；船舶位置框如图1-3所示，图2中的标记A为船舶位置框的左侧坐标，标记B为船舶位置框的右侧坐标；

连续测得的两帧图像中均存在该船舶位置框，且船舶位置框的运动方向朝向图像中间；

该船舶位置框没有对应的ID编号；

以及当前船舶位置框和上一帧船舶位置框的IOU≥0.85时；

判断该船舶为新出现的船舶；

若当前船舶位置框和上一帧船舶位置框的IOU＜0.85时，则不认为是新出现的船舶。

所述步骤B2中快离开的船舶的判断方法为：当深度学习训练模型提取得到的船舶位置框满足：

该船舶位置框的右侧坐标Cur_Position_Righ到图片边缘之间的距离小于图片宽度的1/4，或者船舶位置框的左侧坐标Cur_Position_Left到图片边缘之间的距离大于图片宽度的3/4；

该船舶位置框的运动方向朝向图像边缘；

以及该船舶位置框有对应的ID编号时；

判断该船舶为快离开的船舶。

所述步骤B3中当船舶标记为快离开的船舶时，利用IOU方法持续检测该船舶的当前位置,当当前帧船舶位置框和上一帧船舶位置框的IOU＜0.85，或当前帧无法检测到该ID编号的船舶位置框时，在当前帧图像识别结束后删除该船舶的ID编号。

所述步骤B4中当IOU＜0.8时，则认为该帧画面为干扰项产生的错误位置，保持该ID编号的船舶位置不更新。

所述步骤B中对船舶的检测频率为60次/分钟。

本发明的工作原理：当船舶进入摄像机的摄像范围后，由深度学习训练模型从摄像机拍摄的视频图像中提取出船舶的位置框和船舶类型；通过对深度学习训练模型的训练，使得提取得到的船舶位置框能够接近船舶在该位置的外观范围。当深度学习训练模型检测到该船舶是新进入摄像范围的船舶后，对其进行ID编号和信息保存，从而方便对该船舶在摄像范围内的持续跟踪。当船舶在摄像范围内连续移动，由深度学习训练模型对该ID编号的船舶进行锁定和连续跟踪，从而得到船舶的实时位置信息。深度学习训练模型提取得到的船舶的连续位置信息还能够通过计算形成船舶的运动轨迹，并通过常规的分析方法根据运动轨迹计算出船舶是否存在碰撞桥梁的可能性。