一种基于视觉感知的无人水下航行器自主循迹方法

摘要

本发明公开了一种基于视觉感知的无人水下航行器自主循迹方法，包括：将拍摄到的水下图像的多维度环境特征转换到HSV颜色空间进行去背景处理、解算得到包含目标轨迹的二值化图像；采用腐蚀和膨胀处理方式对二值化图像进行去噪处理获得有效图像；搭建神经网络控制器，将预处理好的有效图像作为输入，航行器正确移动方向的标签信息作为输出从而训练优化神经网络控制器，寻求最优规划路径并将其转换为水下航行器的转弯控制指令从而获得自主视觉感知循迹运动控制方法；采用水下航行器进行实验，通过实验验证和仿真分析证明所提出的自主视觉感知循迹运动控制方法的有效性和稳定性。

说明书

技术领域

本发明涉及水下航行器自主循迹领域，尤其涉及一种基于视觉感知的无人水下航行器自主循迹方法。

背景技术

中国是世界上淡水养鱼发展最早的国家之一，近年来，随着水产养殖业的迅速发展，导致了部分地区水环境的恶化。因此，大力推广水产生态养殖技术已成为当下的要务。目前，水产养殖监测方式多为系统式监测，其出现问题时无法及时查找溯源并解决问题。因此，水产养殖的无人化全覆盖监控对精准锁定解决问题、降低养殖品损耗具有显著意义。

根据研究现状来看，当前水产养殖的无人化多依赖图像监控处理系统，然而在这种情况下，摄像头的成像质量易受水质影响，且主流面相水产养殖方面的水下航行器在循迹方面仍需要人为操控。

发明内容

根据现有技术存在的问题，本发明公开了一种基于视觉感知的无人水下航行器自主循迹方法，具体包括如下步骤：

将拍摄到的水下图像的多维度环境特征转换到HSV颜色空间进行去背景处理、解算得到包含目标轨迹的二值化图像；

采用腐蚀和膨胀处理方式对二值化图像进行去噪处理获得有效图像；

搭建神经网络控制器，将预处理好的有效图像作为输入，航行器正确移动方向的标签信息作为输出从而训练优化神经网络控制器，寻求最优规划路径并将其转换为水下航行器的转弯控制指令从而获得自主视觉感知循迹运动控制方法；

采用水下航行器进行实验，通过实验验证和仿真分析证明所提出的自主视觉感知循迹运动控制方法的有效性和稳定性。

进一步的，将拍摄到的水下图像中的多维度环境特征转换到HSV颜色空间进行去背景处理得到HSV图像：

设(r,g,b)分别是水下图像一个颜色的红、绿和蓝坐标，设max为(r,g,b)中的最大者，设min为(r，g，b)中的最小者，计算在HSV空间中的(h，s，v)值，其中h∈[0，360)为角度的色相角，s，v∈[0，1)为饱和度和亮度；

对HSV图像分别设置对应轨迹颜色上限阈值和下限阈值，经过上下限滤波得到HSV的三个单通道图像，通过运算、合并以及解算过程得到包含目标轨迹的二值化图像。

进一步的，采用腐蚀和膨胀方式扩张和收缩图像连通区域，对二值化图像进行如下优化处理：

设T为n×n的模板，根据结构元素的形状不同设置不同参数，对于正方形的结构元素，T(i，j)＝1，模板中所有参数为1，I为进行形态学操作的二值图像，T(i，j)为0或1，则腐蚀的公式描述如下公式所示：

式中，Erode(x，y)为腐蚀运算后的结果，I(x，y)为进行形态学操作的二值图像(x，y)位置的灰度值，T(i，j)为模板中(i，j)位置的参数；

进行膨胀操作：

式中，dilate(x，y)为腐蚀算法处理后的结果，I(x，y)为进行膨胀操作的二值图像(x，y)位置的灰度值，T(i，j)为模板中(i，j)位置的参数。

进一步的，制作有效图像的标签，其中标签内容为水下航行器正确移动的方向，所述神经网络控制器包括三层全连接网络，其中输入层包括38400个神经元作为循迹图像的处理单元，隐含层包括64个神经元，输出层包括5个神经元，并分别对应Sigmoid激活函数，输出5个控制指令，假设输入层由向量x来表示，则隐含层输出的计算形式为：

式中，w

由于采用了上述技术方案，本发明提供的一种基于视觉感知的无人水下航行器自主循迹方法，该方法通过先进的形态学水下图像处理技术和数据驱动的航行器控制方法，实现了水下航行器自主感知与运动控制一体化的循迹航行需求，在水产养殖方面，该方法摆脱了摄像头成像质量的影响和人为监控的束缚，在保证监控准确性的前提下，大幅度提高了水产养殖无人化全覆盖监控的工作效率、降低养殖品损耗和养殖成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的整体流程图；

图2为本发明中的RGB图像转换HSV格式流程图；

图3为本发明中水下图像形态学(腐蚀和膨胀)处理流程图；

图4为本发明中水下图像HSV转换、腐蚀和膨胀去噪效果图；

图5为本发明中全连接神经网络的结构图；

图6为本发明中实验的整体硬件配置示意图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于视觉感知的无人水下航行器自主循迹方法，具体包括如下步骤：

S1:为了凸显路径信息，将拍摄到的多维度环境特征转换到HSV颜色空间进行去背景处理，如图2所示为水下RGB图像转换HSV格式流程图，其首先将摄像头所示的RGB图像进行处理，使其转换为针对用户观感的HSV模型。具体的转化过程为：

设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数，设max等于(r，g，b)中的最大者，设min等于(r，g，b)中的最小者。要找到在HSV空间中的(h，s，v)值，这里的h∈[0，360)是角度的色相角，而s，v∈[0，1)是饱和度和亮度，计算为

v＝max (3)

经过上述多维度环境特征空间的转换，即可将水下航行器所拍摄的RGB图像转换为HSV图像。在上述的基础上进行过滤背景，在阈值化处理与图像合成阶段，对HSV三通道图像分别设置对应轨迹颜色上限阈值和下限阈值，经过上下限滤波得到HSV的三个单通道图像，通过按位与运算合并三通道图像，然后解算得到包含目标轨迹的二值化图像。

S2：将数学形态学运用于图像处理解决图像中的噪点问题，通过腐蚀和膨胀形态学运算扩张和收缩连通区域，将S1输出的HSV图像进行进一步的处理。腐蚀和膨胀操作主要用于水下二值图像中，其中腐蚀和膨胀均指对于水下循迹图像中的高亮轨迹部分，腐蚀操作从边缘缩小高亮区域可以削弱突起，膨胀操作从边缘扩大高亮区域能够补齐空洞。在水下的二值图像中，轨迹部分灰度值为1，背景部分灰度值为0。设T为n×n的模板，根据结构元素的形状不同设置不同参数，对于正方形的结构元素，T(i，j)＝1，模板中所有参数为1。I为进行形态学操作的二值图像，T(i，j)为0或1。则腐蚀的公式描述如下公式所示：

式中，Erode(x，y)为腐蚀运算后的结果，I(x，y)为进行形态学操作的二值图像(x，y)位置的灰度值，T(i，j)为模板中(i，j)位置的参数。

通过公式(4)可以得知，通过进行图像腐蚀，若模板对应像素点中存在0值时，中心点结果为0，当模板对应图像灰度值为全1或全0时，腐蚀后灰度不发生改变。如图4中的腐蚀处理部分所示，经过腐蚀操作后，其二值图像中边缘突起被“腐蚀”，可是一些较小的区域可能受到过度的清除，所以需要进一步进行膨胀操作使高亮轨迹部分平滑度和完整度更高，其膨胀操作的过程如公式为：

式中，dilate(x，y)为腐蚀算法处理后的结果，I(x，y)为二值图像(x，y)位置的灰度值，对其进行膨胀操作值，T(i，j)为模板中(i，j)位置的参数。

由公式可知，在模板对应像素点中若存在1值，即目标点灰度值为1，当模板对应的所有像素点值全为0或1时，此时目标点灰度值不发生改变。如图3所示为水下图像形态学处理(腐蚀和膨胀)流程图，其腐蚀过程是求二值图边缘像素点附近的局部最小值，膨胀过程是求二值图边缘像素点附近的局部最大值。水下图像HSV转换，以及腐蚀和膨胀去噪效果如图4所示，HSV转换提取了路径信息，腐蚀和膨胀操作可以用于分离和连接物体，通过腐蚀操作将原本连接的物体断开，膨胀操作将原本不相连的物体连接，二者的紧密配合可将复杂的水下嘈杂循迹图像转化为一种路径高亮、背景全黑的循迹效果图，为航行器的决策提供了有效的输入保证。

S3：随后利用预处理好的图像，以航行器正确移动方向为标签信息，有监督地训练优化神经网络模型，寻求最优规划路径，判断水下航行器的转弯方向并转换为控制指令。具体步骤如下：

将S1和S2处理好的黑底高亮循迹图进行手工标注，主要标注内容为水下航行器的转向。此部分的神经网络有三层全连接网络组成，其中输入层由38400个神经元组成，作为循迹图像的处理单元，隐含层由64个神经元组成，输出层由5个神经元组成，并分别对应Sigmoid激活函数，输出5个控制指令(前进后退、左右转和停止)。

如图5所示，神经网路的层与层之间是全连接结构，输入层神经元主要负责接收信息，隐藏层神经元负责对输入信息进行加工处理。假设输入层由向量x来表示，则隐含层输出的计算形式为：

式中，w

S4:利用二次开发的水下航行器进行实验，通过仿真分析和真实环境中实验，验证所提出的自主视觉感知循迹运动控制技术的有效性和稳定性。

首先搭建实验所需的硬件环境，然后对软件进行二次开发，使本专利算法程序通过UDP通信协议与水下航行器地面控制站进行连接，从而将水下感知的视频信息实时转化成水下航行器各通道的控制指令，进而操纵水下航行器执行期望的运动。本实验所搭建水下航行器自主循迹实验平台包括实验水池、水下航行器、地面控制站等软硬件，并结合AI单模块计算机等辅助设备来进行相关实验。

本实验的整体硬件配置示意图如图6所示，左侧部分为水下航行器BlueRov2的硬件配置和连接过程，其中树莓派作为水下航行器中的微型计算机，通过电缆接收来自地面控制站的通道指令，经过处理后发送至航行控制器中，相机云台、推进器和照明灯都是由其统一管理和分派指令。右侧部分主要通过TX2微型计算机来提取QGC地面控制站的视频图像，并进行深度预测算法和强化控制算法的运算，然后输出的线速度和角速度信号发送至QGC地面控制站，进而控制水下航行器进行运动。开发水下航行器地面站软件，使其与TX2微型计算机之间可以相互收发数据，最终在TX2微型计算机中，利用OpenCV提取航行器视频帧，实时处理输出线速度和角速度信息，并转化成各通道的控制指令，通过UDP通信发送至地面控制站中进而控制航行器运动。

在实验水池中，布置水下不同形状的光带，使得水下航行器识别水下光带外观轮廓，进而输出动作信息，使其具备一定的自主识别和决策能力。经实验验证，本文所设计的水下航行器自主感知识别循迹方法在实际运行中具有一定的可行性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。