一种侧扫声呐图像拼接方法

摘要

本发明公开了一种侧扫声呐图像拼接方法，包括：对侧扫声呐图像依次进行图像滤波、图像几何校正以及基于生成对抗网络的声呐图像灰度校正网络进行灰度校正；计算预处理后的侧扫声呐图像中每个像素的经纬度；对待匹配侧扫声呐图像进行特征点提取，得到待匹配区域；基于经纬度信息对图像重叠区域进行网格划分；根据网格划分结果对待匹配区域中的特征点进行匹配；对得到的匹配特征点进行筛选，剔除误匹配点；采用多频带融合与最大融合相结合的融合方法对图像进行融合，得到侧扫声呐拼接图像。本发明公开的侧扫声呐图像拼接方法提高了侧扫声呐图像拼接的质量，能够在保留更多信息与细节的前提下实现声呐图像的拼接。

说明书

技术领域

本发明涉及声呐图像技术领域，更具体的说是涉及一种侧扫声呐图像拼接方法。

背景技术

在社会飞速发展的今天，技术不断创新，而资源成为制约发展的一个重要因素。为了获取更多的资源，人们试图从多方面开发资源，海洋中蕴藏的各种资源走入人们的视线，海洋的价值也越来越被人类重视。如何充分开发利用海洋资源，已经成为当今世界各个国家下一步的战略目标。我国的海洋资源十分丰富，而这些丰富的海洋资源，是我国实现持续高速发展的强劲动力。为了更好地开发海洋，全面了解海底地形地貌是当前亟待解决的问题，这是各种海洋活动的基础。

由于海洋的特殊环境，现阶段的海洋探测技术较为有限。光学技术与声学技术是目前应用较多的探测手段。光学探测方法是利用各种类型的光波对目标物体进行探测，而声学探测则主要依靠声波信号采集信息。光在海水中的穿透力弱，极易被海水吸收，因此，光学探测的范围较小。而且由于海洋环境的限制，依靠潜水员人工探测的方法也难以进行。声呐系统采用的声波在海水中具有很强的穿透性，传播范围广，随着其精度的提升，更加适合应用于海洋探测。因此，声呐探测技术成为海洋探测的主要手段。

侧扫声呐设备不能直接获得整个海底的地形地貌图像，而是获得小片段的条带图像，这些条带图像依据时间顺序进行排列。侧扫声呐在采集水下信息的同时，传感器还会记录对应的图像位置、船速等信息，但这些信息无法直接帮助我们进行图像判读，碎片化的地形图还是为后期判读带来了极大困难。同时受成像范围限制，感兴趣的同一目标可能存在不同图像中。因此，利用图像拼接技术得到完整的海底地形图具有重要意义。

因此，如何提供一种侧扫声呐图像拼接方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种侧扫声呐图像拼接方法，提高了侧扫声呐图像拼接的质量，能够在保留更多信息与细节的前提下实现声呐图像的拼接。

为了实现上述目的，本发明采用如下技术方案：

一种侧扫声呐图像拼接方法，包括：

S1图像预处理：对侧扫声呐图像依次进行图像滤波、图像几何校正以及基于生成对抗网络的声呐图像灰度校正网络进行灰度校正；

S2图像匹配：计算预处理后的侧扫声呐图像中每个像素的经纬度；

对待匹配侧扫声呐图像进行特征点提取，得到待匹配区域；

基于所述经纬度信息初步确定图像的重叠区域，对两幅图像中相同经纬度对应的图像重叠区域进行网格划分；

根据网格划分结果对待匹配区域中的特征点进行匹配；

对得到的匹配特征点进行筛选，剔除误匹配点；

S3图像融合：利用最大值融合方法对多频带融合方法中各频段图像进行融合，得到侧扫声呐拼接图像。

优选的，所述S1中几何校正包括斜距校正和速度校正。

优选的，所述声呐图像灰度校正网络的构建过程为：

(1)建立图像数据集：对侧扫声呐图像进行裁剪，统一图像尺寸至设定大小；

(2)构建生成器网络：依次包括1个卷积层、8个残差块以及1个卷积层，且对称层间引入跳跃连接；

(3)构建判别器网络：依次包括4个卷积层、多尺度池化层以及1个1*1的卷积层，且多尺度池化层的池化特征上采样并连接；

(4)构建损失函数：

L＝αL

其中L

(5)训练模型：通过构建的图像数据集训练上述模型，满足要求即可。

优选的，S2中计算每个像素的经纬度具体过程为：

(1)计算图像中每个像素表示的实际距离，计算公式为：

其中，W表示侧扫声呐设备的侧扫范围，w表示侧扫声呐图像的宽度；

(2)计算像素的经纬度：

lon

lat

其中，x表示侧扫声呐图像中某一像素点距离中心点的距离，coef_lon与coef_lat分别为经纬度换算因子，lon

优选的，所述S1中采用引导滤波算法。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种侧扫声呐图像拼接方法，主要用于解决现有的侧扫声呐图像拼接方法的拼接困难、拼接结果质量不高、细节丢失等问题。针对图像变形严重，灰度畸变问题，进行图像几何校正，并设计了一种基于生成对抗网络的灰度校正方法。针对图像特征点匹配困难，难以匹配问题，采用基于位置信息的侧扫声呐图像匹配方法，并运用基于位置信息改进的移动网格运动统计方法进行匹配特征点的筛选，完成最终匹配。针对图像变形严重，存在阴影区域问题，采用多频段融合与最大值融合方法相结合的方法，得到质量更高，细节信息保留更加完善的大篇幅的侧扫声呐图像，使得融合取得了更好的效果。本发明的侧扫声呐图像拼接方法能够有效实现侧扫声呐图像拼接，得到质量更高的海底地形地貌图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1是本发明方法流程图。

附图2是本发明图像灰度校正网络结构图，其中图(a)表示生成器网络结构，图(b)表示判别器网络结构。

附图3是本发明图像匹配流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种侧扫声呐图像拼接方法，如图1所示，包括以下几个步骤：

步骤一：侧扫声呐图像滤波，应尽可能滤除侧扫声呐图像中的噪声并尽量减少图像细节信息的丢失，采用引导滤波算法进行侧扫声呐图像滤波工作。

步骤二：侧扫声呐图像几何校正，包括斜距校正与速度校正。

对侧扫声呐图像进行几何校正，旨在校正声呐图像中几何畸变，使得图像能够更为真实的反映海底地形地貌，方便后续图像匹配融合。

步骤三：构建基于生成对抗网络的声呐图像灰度校正网络，并基于声呐图像灰度校正网络进行侧扫声呐图像灰度校正。其具体操作步骤如下：

(1)建立图像数据集，对声呐图像进行裁剪，统一图像的尺寸(将图像裁剪到指定大小，其中图像宽度需要固定为800像素大小。用户可以依据硬件条件调节图像的高度)，并进行图像翻转，扩增图像数据集，提升网络性能，防止过拟合；

(2)构建生成器网络，网络结构如附图2(a)所示。该网络由一个普通卷积层开始，然后采用残差块，中间由8个残差块连接而成，并在残差块之间引入跳跃连接。最后在残差块后连接一个9*9的卷积层。生成器网络中的所有层都是使用Relu激活函数，最后一个层除外，在最后一个层中，将tanh缩放应用于图像输出。

采用对称全卷积网络结构，并添加残差网络结构，以便更好地保留输入图像的细节信息与结构信息。针对生成过程中的信息瓶颈，在生成器的对称层间引入跳跃连接，可以防止梯度消失现象的发生，同时有助于梯度反向传播，加快训练过程，有助于保留图像细节信息。为了获得更多有用的信息，采用累加的方法，而不是简单地将对称层的所有通道连接起来。

(3)构建判别器网络，网络结构如附图2(b)所示。判别器的网络中使用普通的卷积层作为基础，整个判别器由五个卷积层与多尺度池化层构成。其中池化采用不同尺度，然后将池化特征上采样并连接，并进行1*1卷积，最后经由sigmoid函数输出，得到最终结果。

判别器网络对输入图像进行概率估计，判断图像是真实图像数据还是经由生成器生成的校正图像。

(4)构建损失函数。结合感知损失函数、对抗损失函数以及欧几里得损失函数，将它们以适当的权重结合起来，形成新的细化的损失函数，其公式如下：

L＝αL

其中L

(5)训练模型，初始化学习率(根据实验经验为了保证实验效果一般将学习率设置为lr＝0.0002)、batch_size(根据用户实验机器的配置自由选择，一般取值为batch_size＝2

步骤四：声呐图像匹配，将侧扫声呐图像的位置信息与特征匹配相结合，改进图像特征匹配与特征点筛选方式，提出基于位置信息的侧扫声呐图像匹配方法，算法流程如下：

(1)对于待匹配侧扫声呐图像A和B，首先根据侧扫声呐图像的自身特点，通过侧扫声呐记录的图像经纬度信息以及航向等信息结合侧扫声呐硬件参数，可以计算出每个像素所对应的经纬度。

计算公式如下：

计算图像中每一个像素表示的实际距离d(该距离单位为米)，计算公式如下

其中W表示侧扫声呐的扫测范围，w表示侧扫声呐图像的宽度。

假设侧扫声呐图像中的某一像素点距离图像中心点的距离为x，则该点的经纬度可以用下式计算：

lon

lat

coef_lon＝360/40009000

coef_lat＝360/40075412

coef_lon与coef_lat分别为经纬度换算因子，lon

(2)对待匹配图像进行图像特征点提取，并与设定的阈值比较，若单位区域内特征点数量小于阈值，认为该区域为地形平坦的地势，不进行后续匹配，大于阈值，该区域则进行匹配。

(3)结合经纬度信息对图像重叠区域进行网格划分，使得两幅图像网格依据经纬度信息相对应。

(4)根据网格划分，对提取到的特征点进行匹配。为了避免真实位置信息与图像中目标之间的偏差，对特征点的匹配应在选定网格及其相邻的8个网格之间进行。

(5)对得到的匹配特征点进行筛选，剔除其中的误匹配点。

步骤五：声呐图像融合，采用多频带融合与最大值融合相结合的融合方法对侧扫声呐图像进行融合，多频带融合方法能够取得较好的融合结果，而最大值融合能够消除图像中因山体遮挡产生阴影。依据特征点确定分界线位置，对分界线做平滑处理。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。