结合卷积神经网络和数据融合的大桥方位识别方法及系统

摘要

本发明公开了一种结合卷积神经网络和数据融合的大桥方位识别方法及系统，其方法包括：获取相机图像数据；利用训练好的卷积神经网络判断图像中是否存在大桥；当存在大桥时，提取大桥图像坐标；将海事雷达数据转换到相机的图像平面；在图像平面上匹配大桥图像坐标和海事雷达数据的图像坐标；计算大桥在海事雷达中的方位。本发明结合卷积神经网络和数据融合的大桥方位识别方法及系统通过卷积神经网络判断图像中是否存在大桥，并将海事雷达数据转换到相机的图像平面，实现和大桥的图像坐标的数据融合，从而求出大桥相对于智能船舶的方位信息。具有准确性高、可靠性好的优点。

说明书

技术领域

本发明涉及智能船舶技术领域，特别涉及一种结合卷积神经网络和数据融合的大桥方位识别方法及系统。

背景技术

随着人工智能产业的兴起，智能船舶作为其中的一部分备受瞩目。智能船舶航行于内河时，如果航道上有跨江大桥，海事雷达会获取到跨江大桥的数据，从而会出现一条横在航道的屏障，因此只从海事雷达的数据判断，则该航道无法通行。为了消除这种影响，需要对于水面上的目标物体进行感知，不仅需要识别出物体的特征，还需要判断出物体的方位，这样才能够对自主航行起到是否需要避障，还是忽略物体等辅助作用。

现有技术中使用卷积神经网络识别航标，高架等物体，没有用于识别跨江大桥，因此卷积神经网络的构造不相同。而且现有技术只识别出物体的分类特征，比如说物体属于航标，高架等，并不能知晓这些物体的方位，因此对智能船舶的自主航行的辅助作用不大。

发明内容

本发明要解决的技术问题是提供一种准确性高、可靠性好的结合卷积神经网络和数据融合的大桥方位识别方法及系统。

为了解决上述问题，本发明提供了一种结合卷积神经网络和数据融合的大桥方位识别方法，其包括：

获取相机图像数据；

利用训练好的卷积神经网络判断图像中是否存在大桥；

当存在大桥时，提取大桥图像坐标；

将海事雷达数据转换到相机的图像平面；

在图像平面上匹配大桥图像坐标和海事雷达数据的图像坐标；

计算大桥在海事雷达中的方位。

作为本发明的进一步改进，所述卷积神经网络包括Conv层、ReLU层、Pool层、Affine层、Dropout层和Softmax层，所述Conv层为卷积层，用于对图像数据做卷积运算；所述ReLU层为使用ReLU函数的激活函数层；所述Pool层为池化层；所述Affine层为全连接层，用于正向和反向传播计算；所述Dropout层用于随机地删除一定数量的神经元；所述Softmax层为输出层，利用适用于分类问题的Softmax函数，用于输出图像中是否存在跨江大桥的结果。

作为本发明的进一步改进，图像数据在每个层之间的处理和传递的先后顺序为：Conv层，ReLU层，Conv层，ReLU层，Pool层，Conv层，ReLU层，Conv层，ReLU层，Pool层，Affine层，ReLU层，Dropout层，Affine层，Dropout层，Softmax层。

作为本发明的进一步改进，所述将海事雷达数据转换到相机的图像平面，包括：将海事雷达数据转换到相机坐标系，再将海事雷达数据从相机坐标系转换到图像平面。

作为本发明的进一步改进，利用以下公式将海事雷达数据转换到相机坐标系：

其中，P

作为本发明的进一步改进，利用以下公式将海事雷达数据从相机坐标系转换到图像平面：

其中，(x,y,z)

为了解决上述问题，本发明还提供了一种结合卷积神经网络和数据融合的大桥方位识别系统，其包括：

图像获取模块，用于获取相机图像数据；

判断模块，用于利用训练好的卷积神经网络判断图像中是否存在大桥；

坐标提取模块，用于当存在大桥时，提取大桥图像坐标；

数据转换模块，用于将海事雷达数据转换到相机的图像平面；

匹配模块，用于在图像平面上匹配大桥图像坐标和海事雷达数据的图像坐标；

方位计算模块，用于计算大桥在海事雷达中的方位。

作为本发明的进一步改进，所述将海事雷达数据转换到相机的图像平面，包括：将海事雷达数据转换到相机坐标系，再将海事雷达数据从相机坐标系转换到图像平面。

作为本发明的进一步改进，利用以下公式将海事雷达数据转换到相机坐标系：

其中，P

作为本发明的进一步改进，利用以下公式将海事雷达数据从相机坐标系转换到图像平面：

其中，(x,y,z)

本发明的有益效果：

本发明结合卷积神经网络和数据融合的大桥方位识别方法及系统通过卷积神经网络判断图像中是否存在大桥，并将海事雷达数据转换到相机的图像平面，实现和大桥的图像坐标的数据融合，从而求出大桥相对于智能船舶的方位信息。具有准确性高、可靠性好的优点。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明优选实施例中结合卷积神经网络和数据融合的大桥方位识别方法的示意图；

图2是本发明优选实施例中图像数据在每个层之间的处理和传递的先后顺序示意图；

图3是本发明优选实施例中的相机前投影模型下各坐标系的关系示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为本发明优选实施例中结合卷积神经网络和数据融合的大桥方位识别方法，该方法包括以下步骤：

S10、获取相机图像数据。

S20、利用训练好的卷积神经网络判断图像中是否存在大桥。其中，所述大桥包括跨江大桥、跨海大桥等。

所述卷积神经网络的构造适用于识别图像中的大桥，可选的，所述卷积神经网络包括Conv层、ReLU层、Pool层、Affine层、Dropout层和Softmax层，所述Conv层为卷积层，用于对图像数据做卷积运算；所述ReLU层为使用ReLU函数的激活函数层；所述Pool层为池化层，用于简化处理减少存储空间大小；所述Affine层为全连接层，用于正向和反向传播计算；所述Dropout层用于随机地删除一定数量的神经元，用于防止过拟合；所述Softmax层为输出层，利用适用于分类问题的Softmax函数，用于输出图像中是否存在跨江大桥的结果。

如图2所示，可选的，图像数据在每个层之间的处理和传递的先后顺序为：Conv层，ReLU层，Conv层，ReLU层，Pool层，Conv层，ReLU层，Conv层，ReLU层，Pool层，Affine层，ReLU层，Dropout层，Affine层，Dropout层，Softmax层。

可选的，该卷积神经网络优化参数时使用Adam方法，可以提高对参数空间的搜索，使得参数能够尽快地收敛。

S30、当存在大桥时，提取大桥图像坐标。否则，返回步骤S10。

S40、将海事雷达数据转换到相机的图像平面。包括：将海事雷达数据转换到相机坐标系，再将海事雷达数据从相机坐标系转换到图像平面。可选的，转换时采用相机的前投影模型，参照图3。

可选的，利用以下公式将海事雷达数据转换到相机坐标系：

其中，P

可选的，利用以下公式将海事雷达数据从相机坐标系转换到图像平面：

其中，(x,y,z)

S50、在图像平面上匹配大桥图像坐标和海事雷达数据的图像坐标。可选的，匹配方法为就近匹配，在大桥的图像坐标周围搜索海事雷达数据。

S60、计算大桥在海事雷达中的方位。即可得到大桥相对于智能船舶的方位。

本发明优选实施例中还公开了一种结合卷积神经网络和数据融合的大桥方位识别系统，该系统包括图像获取模块、判断模块、坐标提取模块、数据转换模块、匹配模块和方位计算模块。

图像获取模块用于获取相机图像数据。

判断模块用于利用训练好的卷积神经网络判断图像中是否存在大桥；其中，所述大桥包括跨江大桥、跨海大桥等。

所述卷积神经网络的构造适用于识别图像中的大桥，可选的，所述卷积神经网络包括Conv层、ReLU层、Pool层、Affine层、Dropout层和Softmax层，所述Conv层为卷积层，用于对图像数据做卷积运算；所述ReLU层为使用ReLU函数的激活函数层；所述Pool层为池化层，用于简化处理减少存储空间大小；所述Affine层为全连接层，用于正向和反向传播计算；所述Dropout层用于随机地删除一定数量的神经元，用于防止过拟合；所述Softmax层为输出层，利用适用于分类问题的Softmax函数，用于输出图像中是否存在跨江大桥的结果。

如图2所示，可选的，图像数据在每个层之间的处理和传递的先后顺序为：Conv层，ReLU层，Conv层，ReLU层，Pool层，Conv层，ReLU层，Conv层，ReLU层，Pool层，Affine层，ReLU层，Dropout层，Affine层，Dropout层，Softmax层。

可选的，该卷积神经网络优化参数时使用Adam方法，可以提高对参数空间的搜索，使得参数能够尽快地收敛。

坐标提取模块用于当存在大桥时，提取大桥图像坐标。否则，通过所述图像获取模块继续获取相机图像数据。

数据转换模块用于将海事雷达数据转换到相机的图像平面。包括：将海事雷达数据转换到相机坐标系，再将海事雷达数据从相机坐标系转换到图像平面。可选的，转换时采用相机的前投影模型，参照图3。

可选的，利用以下公式将海事雷达数据转换到相机坐标系：

其中，P

可选的，利用以下公式将海事雷达数据从相机坐标系转换到图像平面：

其中，(x,y,z)

匹配模块用于在图像平面上匹配大桥图像坐标和海事雷达数据的图像坐标。可选的，匹配方法为就近匹配，在大桥的图像坐标周围搜索海事雷达数据。

方位计算模块用于计算大桥在海事雷达中的方位。即可得到大桥相对于智能船舶的方位。

本发明结合卷积神经网络和数据融合的大桥方位识别方法及系统通过卷积神经网络判断图像中是否存在大桥，并将海事雷达数据转换到相机的图像平面，实现和大桥的图像坐标的数据融合，从而求出大桥相对于智能船舶的方位信息。具有准确性高、可靠性好的优点。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。