基于ROV搭载双频前视声呐的海底环境可视化方法及装置

摘要

本发明涉及一种基于ROV搭载双频前视声呐的海底环境可视化方法及装置，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

说明书

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于ROV搭载双频前视声呐的海底环境可视化方法及装置。

背景技术

声呐，是利用声波在水中的传播和反射特性，通过电声转换和信息处理进行导航和测距的技术，也指利用这种技术对水下目标进行探测和通讯的电子设备，是水声学中应用最广泛、最重要的一种装置，也是实现海底环境可视化的重要手段。在目前的海底环境可视化手段中，主要是通过ROV(Remote Operated Vehicle遥控无人潜水器)搭载双频前视声呐扫描海底环境图像，并根据图像拼接技术拼接扫描成像来完成海底可视化与实时监测，帮助工程人员及时评估施工效果，为施工过程提供决策依据。而图像拼接一般指通过提取待拼接图像对中的特征点或特征物体，进行特征匹配，并根据匹配的结果计算后一幅图像的变换矩阵，将后一幅图像进行变换，使其与前一幅图像处于同一坐标系下，再将两幅图像进行拼接。

海底环境多帧图像拼接方法有很强的特殊性，适用于某一扫描的拼接方法可能在另一个扫描中完全不适用，针对双频前视声呐图像拼接方法，需要考虑声呐图像中不可避免的噪声和并不丰富的几何特征，对声呐图像进行去噪处理，并筛选图像的匹配点对。

在传统技术中，一般是直接通过所有匹配点对进行变换矩阵的计算，这种方法在没有误检特征点或不存在误匹配特征点对的情况下效果较好，但由于声呐图像特征信息并不特别丰富，误检或误匹配并不少见，仍然使用这种方法容易导致变换矩阵计算错误，从而导致图像转换错误，严重错误的可能使拼接无法继续进行。

由此可见，传统的基于ROV搭载双频前视声呐的海底环境可视化方法还存在以上缺陷。

发明内容

基于此，有必要针对传统的基于ROV搭载双频前视声呐的海底环境可视化方法还存在的缺陷，提供一种基于ROV搭载双频前视声呐的海底环境可视化方法及装置。

一种基于ROV搭载双频前视声呐的海底环境可视化方法，包括步骤：

获取声呐原始扫描数据；其中，声呐原始扫描数据为ROV搭载的双频前视声呐沿着规划路径对海底环境进行连续扫描的扫描结果；

将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；

从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点；其中，特征点为待拼接图像中各像素点曲率的局部最大值点；

根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子；其中，相邻两幅待拼接图像的特征点间的描述子与欧式距离用于确定匹配度；

对特征点进行自适应筛选，并通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上，以完成待拼接图像的拼接，实现海底环境可视化。

上述的基于ROV搭载双频前视声呐的海底环境可视化方法，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

在其中一个实施例中，在从扇形图像序列中提取多帧待拼接图像的过程之前，还包括步骤：

对扇形图像序列进行自适应双边滤波处理。

在其中一个实施例中，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列的过程，包括步骤：

对可视化图像作坐标转换处理，获得待填充图像；

对待填充图像作插值处理，获得扇形图像序列。

在其中一个实施例中，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点的过程，如下式：

对各像素点进行如下计算：

其中，f(x,y)为当前像素点的像素值；

则作为局部最大值点的特征点如下式：

在其中一个实施例中，特征区域为4×4的矩形区域；

其中，各矩形区域分别计算4个特征向量，得到64维特征点描述子。

在其中一个实施例中，特征向量包括矩形区域内25个像素的水平方向值之和、垂直方向值之和、水平方向绝对值之和以及垂直方向绝对值之和。

在其中一个实施例中，通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上的过程，包括步骤：

设一待拼接图像与其相邻的待拼接图像的匹配特征点分别为P

将H乘以一非零因子以使h

h

h

以上式构造出特征点P

基于此将一待拼接图像转换到其相邻的待拼接图像的坐标系上。

一种基于ROV搭载双频前视声呐的海底环境可视化装置，包括：

数据获取模块，用于获取声呐原始扫描数据；其中，声呐原始扫描数据为ROV搭载的双频前视声呐沿着规划路径对海底环境进行连续扫描的扫描结果；

坐标转换模块，用于将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；

特征点提取模块，用于从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点；其中，特征点为待拼接图像中各像素点曲率的局部最大值点；

特征计算模块，用于根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子；其中，相邻两幅待拼接图像的特征点间的描述子与欧式距离用于确定匹配度；

图像拼接模块，用于对特征点进行自适应筛选，并通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上，以完成待拼接图像的拼接，实现海底环境可视化。

上述的基于ROV搭载双频前视声呐的海底环境可视化装置，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

一种计算机存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一实施例的基于ROV搭载双频前视声呐的海底环境可视化方法。

上述的计算机存储介质，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的基于ROV搭载双频前视声呐的海底环境可视化方法。

上述的计算机设备，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

附图说明

图1为一实施方式的基于ROV搭载双频前视声呐的海底环境可视化方法流程图；

图2为一实施方式的声呐扫描规划示意图；

图3为另一实施方式的基于ROV搭载双频前视声呐的海底环境可视化方法流程图；

图4为一实施方式的坐标转换处理示意图；

图5为一实施方式的声呐图像的构建示意图；

图6为特征点描述子计算示意图；

图7为一实施方式的基于ROV搭载双频前视声呐的海底环境可视化装置模块结构图。

具体实施方式

为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于ROV搭载双频前视声呐的海底环境可视化方法。

图1为一实施方式的基于ROV搭载双频前视声呐的海底环境可视化方法流程图，如图1所示，一实施方式的基于ROV搭载双频前视声呐的海底环境可视化方法包括步骤S100至步骤S104：

S100，获取声呐原始扫描数据；其中，声呐原始扫描数据为ROV搭载的双频前视声呐沿着规划路径对海底环境进行连续扫描的扫描结果；

其中，预先为搭载了双频前视声呐的ROV规划路径，控制ROV沿规划路径对海底环境进行扫描。其中，声呐原始扫描数据以特定存储格式进行存储。在获取声呐原始扫描数据时，以特定存储格式对应的读取方式进行读取。作为一个较优的实施方式，以二进制方式读取声呐原始扫描数据，以完成数据获取。

在其中一个实施例中，在步骤S100中获取声呐原始扫描数据的过程之前，还包括步骤：控制ROV沿规划路径对海底环境进行连续扫描。图2为一实施方式的声呐扫描规划示意图，如图2所示，规划路径的规划需要考虑声呐的扫描范围，以使连续两次扫描的重叠部分不少于整张图像的5％至15％。其中，重叠部分太少很难保证拼接精度，太多会增加扫描和拼接的工作量，并可能会使精度降低。作为一个较优的实施方式，规划路径使连续两次扫描的重叠部分不少于整张图像的10％。

S101，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；

其中，可视化图像一般为矩形图像，将矩形图像形式的可视化图像进行坐标转换处理。

图3为另一实施方式的基于ROV搭载双频前视声呐的海底环境可视化方法流程图，如图3所示，步骤S101中将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列的过程，包括步骤S200和步骤S201：

S200，对可视化图像作坐标转换处理，获得待填充图像；

图4为一实施方式的坐标转换处理示意图，如图4所示，矩形ABCD是声呐扫描得到的某一帧矩形图像，P是矩形图像中需要转换的一个采样点，扇形A’B’C’D’是转换后的图像，O’是扇形对应的圆心，P’是转换后的采样点，依据坐标转换关系，可得转换公式为：

其中，ρ＝L

S201，对待填充图像作插值处理，获得扇形图像序列。

在进行坐标转换处理后，待填充图像中还存在部分区域未被填充，尤其是顶部位置，为了使图像均匀、不留白，对空白处进行插值处理，即将空白像素前一列的像素值赋值给该像素。图5为一实施方式的声呐图像的构建示意图，如图5所示，构建出扇形图像序列的声呐图像如图5所示。

S102，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点；其中，特征点为待拼接图像中各像素点曲率的局部最大值点；

在其中一个实施例中，从扇形图像序列中提取用于清晰、完整地反映海底环境的16帧待拼接图像I

对各像素点进行如下计算：

其中，f(x,y)是当前点的像素值。

使用如下判别式处理各像素点，并与邻域内的26个点进行比较，将局部极大值点作为特征点。

在其中一个实施例中，如图3所示，在步骤S102中从扇形图像序列中提取多帧待拼接图像的过程之前，还包括步骤S300：

S300，对扇形图像序列进行自适应双边滤波处理。

对扇形图像序列进行自适应双边滤波处理得到平滑图像序列，如下式：

其中，q是滤波窗口中心点，p是窗口内的某一点，S是窗口内像素点的集合，W

S103，根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子；其中，相邻两幅待拼接图像的特征点间的描述子与欧式距离用于确定匹配度；

其中，特征区域的特征向量、特征点描述子数量与特征区域的形状相关，在其中一个实施例中，特征区域为4×4的矩形区域；

其中，各矩形区域分别计算4个特征向量，得到64维特征点描述子。

作为一个较优的实施方式，图6为特征点描述子计算示意图，如图6所示，25个像素的特征向量包括水平方向值之和Σdx、垂直方向值之和Σdy、水平方向绝对值之和Σ|dx|以及垂直方向绝对值之和Σ|dy|，把这4个值作为每个矩形区域的特征向量，一共有4×4×4＝64维向量作为特征点描述子。

而欧式距离计算公式为：

S104，对特征点进行自适应筛选，并通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上，以完成待拼接图像的拼接，实现海底环境可视化。

基于特征点的匹配度这一匹配关系的建立，根据图像拼接算法将一待拼接图像转换到其相邻的待拼接图像的坐标系上，以完成相邻待拼接图像的拼接。基于此，由相邻待拼接图像的一一拼接，完成整体的海底环境可视化图像。

在其中一个实施例中，步骤S104中通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上的过程，包括步骤：

设一待拼接图像与其相邻的待拼接图像的匹配特征点分别为P

将H乘以一非零因子以使h

h

h

其中，h

以上式构造出特征点P

基于此将一待拼接图像转换到其相邻的待拼接图像的坐标系上。

在其中一个实施例中，为了减少特征点的误匹配对计算图像坐标系转换的影响，以自适应特征筛选方法进行优化，如下式所示。

matchePoints[i][0].distance<α*matchePoints[i][1].distance

其中，matchePoints[i][0].distance是一对匹配点中的第一个特征点的欧式距离；通过将每一对匹配点对的第一个特征点的欧式距离除以和第二个特征点的欧式距离，并对其进行升序排序，由于4对匹配特征点即可计算出变换矩阵，所以将第5个匹配点对的计算值赋值给α。作为一个较优实施方式，α有16个值，包括0.11、0.23和0.09。

在其中一个实施例中，为了避免前视声呐图像下方存在的大量黑像素对拼接效果的影响，以局部区域融合的方式来进行图像拼接，即仅针对待拼接图像的后一幅待拼接图像的右半边进行拼接，避免其左半边的大量黑像素覆盖前一幅图像。

上述任一实施例的基于ROV搭载双频前视声呐的海底环境可视化方法，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

本发明实施例还提供了一种基于ROV搭载双频前视声呐的海底环境可视化装置。

图7为一实施方式的基于ROV搭载双频前视声呐的海底环境可视化装置模块结构图，如图7所示，一实施方式的基于ROV搭载双频前视声呐的海底环境可视化装置包括模块100、模块101、模块102、模块103和模块104：

数据获取模块100，用于获取声呐原始扫描数据；其中，声呐原始扫描数据为ROV搭载的双频前视声呐沿着规划路径对海底环境进行连续扫描的扫描结果；

坐标转换模块101，用于将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；

特征点提取模块102，用于从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点；其中，特征点为待拼接图像中各像素点曲率的局部最大值点；

特征计算模块103，用于根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子；其中，相邻两幅待拼接图像的特征点间的描述子与欧式距离用于确定匹配度；

图像拼接模块104，用于对特征点进行自适应筛选，并通过特征点的匹配度将一待拼接图像转换到其相邻的待拼接图像的坐标系上，以完成待拼接图像的拼接，实现海底环境可视化。

上述的基于ROV搭载双频前视声呐的海底环境可视化装置，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的基于ROV搭载双频前视声呐的海底环境可视化方法。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种基于ROV搭载双频前视声呐的海底环境可视化方法。

上述计算机设备，在获取到声呐原始扫描数据后，将声呐原始扫描数据转换为可视化图像，并对可视化图像作坐标转换处理，获得扇形图像序列；进一步地，从扇形图像序列中提取多帧待拼接图像，并确定各待拼接图像的特征点，以此根据待拼接图像的特征点选取特征区域，并计算各特征区域的特征向量，得到特征点描述子，以确定特征点的匹配度，并对特征点进行自适应筛选，以指示特征点对应的一待拼接图像转换到其相邻的待拼接图像的坐标系上，完成待拼接图像的拼接，实现海底环境可视化。基于此，降低特征匹配中的误匹配对计算图像坐标系转换的影响。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。