一种基于深度学习的无人船海上场景图像实时分割方法

摘要

本发明涉及一种基于深度学习的无人船海上场景图像实时分割方法，该方法包括以下步骤：步骤1，采集海上场景图像数据，采集到的图像数据按照设定比例分为训练集、验证集和测试集，对采集到的图像标记出分割点，并对图像进行数据增强和预处理；步骤2，建立卷积神经网络；步骤3，将训练集图像输入到卷积神经网路中，对网络进行训练，通过验证集评价网络效果并进行调节参数；步骤4，将测试集输入到训练好的网络中，实现对测试集图像的分割。与现有技术相比，本发明具有在保持精度的同时大大降低了网络的参数，使网络能够在移动设备终端也可以运行，并且神经网络运行速度快，能够达到实时分割的效果等优点。

说明书

技术领域

本发明涉及图像处理技术，尤其是涉及一种基于深度学习的无人船海上场景图像实时分割方法。

背景技术

当前，随着深度学习的逐渐崛起，它在计算机视觉领域产生了广泛的应用。如图像分类、目标检测、语义分割、行为识别等领域。其中语义分割主要是对图像中的每一个像素点进行分类，从而实现计算机对图像的理解。近年来语义分割被应用于无人车、无人机、医疗影像设备中。

对于语义分割，目前的方法主要是收集图像多个尺度的特征，进行特征融合。并且对图像进行下采样操作，以达到提取图像高级语义特征的效果，如：PSPNet、DeepLab、SegNet等，这些网络的分割效果很好，但是效果很慢，并且网络参数巨大，无法在嵌入式设备中得到应用。如何来保证精度的前提下，寻找一种速度最快的网络结构成为需要解决的技术问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的无人船海上场景图像实时分割方法，该方法在保持精度的同时大大降低了网络的参数，使网络能够在移动设备终端也可以运行，并且神经网络运行速度快，能够达到实时分割的效果。

本发明的目的可以通过以下技术方案来实现：

根据本发明的一个方面，提供了一种基于深度学习的无人船海上场景图像实时分割方法，该方法包括以下步骤：

步骤1，采集海上场景图像数据，采集到的图像数据按照设定比例分为训练集、验证集和测试集，对采集到的图像标记出分割点，并对图像进行数据增强和预处理；

步骤2，建立卷积神经网络；

步骤3，将训练集图像输入到卷积神经网路中，对网络进行训练，通过验证集评价网络效果并进行调节参数；

步骤4，将测试集输入到训练好的网络中，实现对测试集图像的分割。

作为优选的技术方案，所述的步骤1具体包括以下步骤：

步骤1.1，采集的海上场景图像，图像包括沙滩、海水、船只、垃圾、小岛、灯塔和天空；

步骤1.2，按设定比例将图像分为训练集、验证集和测试集；

步骤1.3，对采集到的图像需要分割的像素点进行标注，并进行数据预处理和数据增强。

作为优选的技术方案，所述的设定比例为7:2:1。

作为优选的技术方案，所述的步骤2具体包括以下步骤：

建立的卷积神经网络采用编码-解码结构，其中编码结构模型包括5个模块，5个模块输入的通道数分别为3、8、16、32、64，输出通道数为8、16、32、64、128；每个模块由2个深度可分离卷积和1个scSE注意力机制组成；

解码结构模型包括4个模块，每个模块由2个深度可分离卷积组成，每个模块输入的通道分别为128、64、32、16，输出通道数为64、32、16、3。

作为优选的技术方案，所述的编码结构模型提取特征步骤为：

(1)接收特征图后，对特征图坐深度可分离卷积，即：对特征图中每个通道分别进行3x3卷积层，随后输出特征图所有通道一起进行1x1的卷积层，在经过一个ReLU激活函数和BN层，分别对特征进行非线性激活和批次归一化；

(2)在上述步骤中得到的输出特征图，重复一次上述的过程；

(3)将上一步得到的特征输入到scSE注意力机制中，通过注意力机制提取全局信息，在经过一个线性激活函数和BN层，输出特征图。

作为优选的技术方案，所述的解码结构模型的解码操作包括：

(1)将由编码结构得到的最终特征图通过上采样层进行2倍的上采样，然后与编码部分产生的大小相同的特征图进行叠加；

(2)将叠加后的上采样输入到深度可分离卷积中，即：每个通道分别进行3x3卷积层，随后输出特征图所有通道一起进行1x1的卷积层，在经过一个ReLU激活函数和BN层，分别对特征进行非线性激活和批次归一化；

(3)每个模块的操作都进行上述两步骤，最后将特征图恢复到原图大小。

作为优选的技术方案，所述的深度可分离卷积包括深度卷积层和点卷积层。

作为优选的技术方案，所述的scSE注意力机制可获得全局的特征信息，于解决传统卷积只可以获得局部信息。

作为优选的技术方案，所述的步骤3具体包括以下步骤：

步骤3.1，采用softmax分类器对神经网络得到的输出特征图进行分类；

步骤3.2，使用交叉熵损失函数与L2正则化，用来测预测的分割图和实际分割图之间的差距；

步骤3.3，用Adam优化算法来对损失函数进行优化，加快模型的收敛；

步骤3.4，训练集数据每轮训练后，就将验证集数据输入神经网络中，通过验证集数据得到的数据中取最好的验证结果，保存网络模型，并将其作为调参的依据。

作为优选的技术方案，所述的步骤4具体包括以下步骤：

用测试集数据来测试训练好的神经网络的效果，用于减少因为摄像头采集所产生的抖动误差；将图片按五个一组分组，求出平均的分割结果。

与现有技术相比，本发明基于深度学习的无人船海上场景实时语义分割方法的，能够用很少的参数获得较高的精确度，同时分割速度也比传统方法有很大的进步。并且能够在小型机器上运行，提升整个海上场景分割的能力。

附图说明

图1为本发明的流程图；

图2为本发明中的卷积神经网络的结构图；

图3为本发明中的scSE模块的结构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明一种基于深度学习的无人船海上场景实时分割方法，以提高语义分割的性能，提升整个海洋场景实时识别的性能

如图1所示，本发明的一种基于深度学习的无人船海上场景实时分割方法，包括如下步骤：

步骤1、采集海上场景图像数据，采集到的图像数据按照7:2:1比例分为训练集、验证集和测试集，对采集到的图像标记出分割点，并对图像进行数据增强和预处理；

步骤2、建立卷积神经网络；

步骤3、将训练集图像输入到卷积神经网路中，对网络进行训练，通过验证集评价网络效果并进行调节参数；

步骤4、将测试集输入到训练好的网络中，实现对测试集图像的分割。

所述的步骤2具体包括以下步骤：

建立的卷积神经网络采用编码-解码结构，其中编码结构模型包括5个模块，5个模块输入的通道数分别为3、8、16、32、64，输出通道数为8、16、32、64、128；每个模块由2个深度可分离卷积和1个scSE注意力机制组成；

解码结构模型包括4个模块，每个模块由2个深度可分离卷积组成，每个模块输入的通道分别为128、64、32、16，输出通道数为64、32、16、3。

所述的编码结构模型提取特征步骤为：

(1)接收特征图后，对特征图坐深度可分离卷积，即：对特征图中每个通道分别进行3x3卷积层，随后输出特征图所有通道一起进行1x1的卷积层，在经过一个ReLU激活函数和BN层，分别对特征进行非线性激活和批次归一化；

(2)在上述步骤中得到的输出特征图，重复一次上述的过程；

(3)将上一步得到的特征输入到scSE注意力机制中，通过注意力机制提取全局信息，在经过一个线性激活函数和BN层，输出特征图。

所述的解码结构模型的解码操作包括：

(1)将由编码结构得到的最终特征图通过上采样层进行2倍的上采样，然后与编码部分产生的大小相同的特征图进行叠加；

(2)将叠加后的上采样输入到深度可分离卷积中，即：每个通道分别进行3x3卷积层，随后输出特征图所有通道一起进行1x1的卷积层，在经过一个ReLU激活函数和BN层，分别对特征进行非线性激活和批次归一化；

(3)每个模块的操作都进行上述两步骤，最后将特征图恢复到原图大小。

所述的深度可分离卷积包括深度卷积层和点卷积层。所述的scSE注意力机制可获得全局的特征信息，于解决传统卷积只可以获得局部信息。

作为优选的技术方案，所述的步骤3具体包括以下步骤：

步骤3.1，采用softmax分类器对神经网络得到的输出特征图进行分类；

步骤3.2，使用交叉熵损失函数与L2正则化，用来测预测的分割图和实际分割图之间的差距；

步骤3.3，用Adam优化算法来对损失函数进行优化，加快模型的收敛；

步骤3.4，训练集数据每轮训练后，就将验证集数据输入神经网络中，通过验证集数据得到的数据中取最好的验证结果，保存网络模型，并将其作为调参的依据。

所述的步骤4具体包括以下步骤：

用测试集数据来测试训练好的神经网络的效果，用于减少因为摄像头采集所产生的抖动误差；将图片按五个一组分组，求出平均的分割结果。

为了更好本发明的一种基于深度学习的无人船海上场景实时分割方法，对网络原理进行说明，如图2所示：

网络基于U-Net架构，但是U-Net网络参数量很大，无法在小型终端中使用并且存分割速度慢，不能满足实时分割的需求。目前流行的轻量级网络框架有MobileNet、MobileNet V2、ShuffleNet v1、ShuffleNet V2。

对比发现直接在上述网络中进行语义分割，虽然可以实现实时语义分割，但是却无法保证高精度的要求。对此采用深度可分离卷积大大降低了传统卷积中大参数问题。

输入大小为D

在下采样每层模块的最后使用scSE模块，如图3所示。在传统的卷积神经网络中，卷积核智能提取局部特征，从而忽略全局特征，造成图像细节丢失，本文采用scSE模块则可以获取全局的信息，将全局信息融合在特征图中，提高网络精度。

本发明所述的基于深度学习的无人船海上场景实时语义分方法有几个关键的技术点：1)使用深度可分离卷积替换传统卷积，减少网络参数量，达到实时分割效果。2)加入scSE模块获取全局信息，提高分割精度。。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。