首页> 中国专利> 一种基于光衰减和深度估计的水下图像清晰化处理方法

一种基于光衰减和深度估计的水下图像清晰化处理方法

摘要

本发明公开了一种基于光衰减和深度估计的水下图像清晰化处理方法,包括:S1、获取待处理水下图像;S2、对待处理水下图像进行场景深度估计运算,得到待处理水下图像的场景深度图;S3、提取待处理水下图像的背景光值,根据提取背景光值对待处理水下图像进行色彩预处理,并估算色彩预处理后的待处理水下图像的光衰减率;S4、根据待处理水下图像的场景深度图、背景光值和光衰减率对待处理水下图像进行水深值估计;S5、根据估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率,对待处理水下图像进行复原处理。与现有技术相比,本发明能够提升对水下图像色彩及对比度复原处理的准确度,获得更好的水下图像清晰化成像质量。

著录项

  • 公开/公告号CN113850747A

    专利类型发明专利

  • 公开/公告日2021-12-28

    原文格式PDF

  • 申请/专利权人 重庆理工大学;

    申请/专利号CN202111151760.9

  • 申请日2021-09-29

  • 分类号G06T5/50(20060101);G06T7/50(20170101);G06T7/90(20170101);

  • 代理机构50212 重庆博凯知识产权代理有限公司;

  • 代理人黄河

  • 地址 400054 重庆市巴南区李家沱红光大道69号

  • 入库时间 2023-06-19 13:26:15

说明书

技术领域

本发明涉及水下图像处理领域,具体涉及一种基于光衰减和深度估计的水下图像清晰化处理方法。

背景技术

高质量的水下图像能提供丰富的视觉信息,在近距离的水下工程中具有重要作用。然而,光在水下传播时呈指数式衰减,这种衰减性在不同波长的光上存在差异性。从公共海域至沿海水域,在不同水质情况下,同一波长的光的衰减性也不尽相同。同时,悬浮物质和水体介质会改变光传播轨迹,相机接收的可靠信息进一步减少。这些复杂情况造成水下图像呈现不同的色彩失真程度。因此,目前相机获取的水下图像因色彩失真而难以直接满足水下视觉应用的需求,需要依赖于对水下图像的色彩及对比度复原处理作为水下视觉应用的技术补充。

由于水下环境的复杂性,水对光会产生吸收与散射效应,这会导致水下图像色偏与对比度下降的问题。水下图像清晰化技术就是通过对图像进行色彩调整、增强等技术处理,来尽可能地对水下图像的色偏与对比度下降问题进行纠正,使得水下图像的色彩更自然、呈现更清晰。

当前水下图像复原处理算法可以分为成像模型法和图像增强方法。成像模型法一般基于原始大气散射模型,构建水下成像模型,模型中的主要参数是透射率和背景光。在成像模型上,光衰减率和深度值与这两个参数具有高度相关性。然而,基于成像模型的现有大多数算法采用固定的光衰减率复原图像,在多类型的水下图像处理中算法鲁棒性较低;同时,与深度值相关的场景深度信息可分为场景深度图和水面至目标物的水深值,目前已经有一些较为成熟的针对图像的场景深度估计算法,主要用于进行常规的水上空间场景图像的场景深度估计,而由于水下图像受到水下光影环境的影响,如果直接使用现有的场景深度估计算法对水下图像进行场景深度估计会造成一定的估计误差,另一方面,当前已知图像数据的水下场景深度数据较为稀少,尚不足以用于实现水下场景深度估计的有监督网络训练,因此通过训练有监督网络模型实施水下场景深度估计的方案也受到技术条件的阻碍,此外,现有关于水下图像的水深值估计方法均普遍较为复杂,难以得到广泛的实施应用。上述这些因素,都对水下图像的色彩及对比度复原处理准确度和效果带来了不利影响。

综上所述,如何更加准确地对水下图像进行色彩及对比度复原处理,获得更好的水下图像清晰化成像质量,成为了本领域技术人员急需解决的一个技术问题。

发明内容

针对现有技术存在的上述不足,本发明提供了一种基于光衰减和深度估计的水下图像清晰化处理方法,用以提升对水下图像色彩及对比度复原处理的准确度,以获得更好的水下图像清晰化成像质量。

为解决上述技术问题,本发明采用了如下的技术方案:

一种基于光衰减和深度估计的水下图像清晰化处理方法,包括如下步骤:

S1、获取待处理水下图像;

S2、对待处理水下图像进行场景深度估计运算,得到待处理水下图像的场景深度图;

S3、提取待处理水下图像的背景光值,根据提取背景光值对待处理水下图像进行色彩预处理,并估算色彩预处理后的待处理水下图像的光衰减率;

S4、根据待处理水下图像的场景深度图、背景光值和光衰减率对待处理水下图像进行水深值估计;

S5、根据估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率,对待处理水下图像进行复原处理,得到待处理水下图像的清晰化图像。

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S2中,将已知的水下样本图像以及伪水下深度图像作为训练输入数据,对场景深度估计网络进行训练,再利用训练后的场景深度估计网络,对待处理水下图像进行处理,得到待处理水下图像的场景深度图;所述伪水下深度图像,是利用带有深度标签的水上空间场景图像进行雾化合成处理,再进行水下图像风格迁移处理后所得到的图像。

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述场景深度估计网络的训练步骤包括:

S201、获取水下样本图像和带有深度标签的水上空间场景图像;所述水上空间场景图像的深度标签用于指示水上空间场景图像的场景深度信息;所述水下样本图像是指作为可用训练样本的已有水下图像,但原始的水下样本图像并不带有深度标签。

S202、借助大气散射数据,对获取的水上空间场景图像进行雾化合成处理,得到水上空间场景雾化合成图像;

S203、将水下样本图像作为风格迁移网络的训练输入数据进行风格迁移训练,然后使用训练后的风格迁移网络对水上空间场景雾化合成图像进行水下图像风格迁移处理,将处理得到的图像作为伪水下深度图像;

S204、将伪水下深度图像作为场景深度估计网络的训练输入数据,将伪水下深度图像对应的水上空间场景图像的深度标签作为场景深度估计网络的训练结果标签,对场景深度估计网络进行预备训练;

S205、使用预备训练后的场景深度估计网络对水下样本图像进行场景深度估计,得到水下样本图像的深度标签;所述的水下样本图像的深度标签用于指示水下样本图像的场景深度信息;

S206、将水下样本图像和伪水下深度图像再作为预备训练后的场景深度估计网络的训练输入数据,将水下样本图像的深度标签以及伪水下深度图像对应的水上空间场景图像的深度标签作为预备训练后的场景深度估计网络的训练结果标签,再次进行训练,得到完全训练后的场景深度估计网络;

S207、使用完全训练后的场景深度估计网络对待处理水下图像进行场景深度估计,得到待处理水下图像的场景深度值,并根据所述待处理水下图像的场景深度值进行深度图像转换处理,得到待处理水下图像的场景深度图。

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S3中,提取待处理水下图像的背景光值的方式为:

根据待处理水下图像的场景深度图,选取待处理水下图像中场景深度值前5%大的图像区域作为背景光取值区域,再从所述背景光取值区域中选取RGB三色彩通道之和前1%大的像素点作为背景光候选点,将各背景光候选点在每个色彩通道的中位值作为相应色彩通道的背景光值:

B

式中,在c∈{r,g,b}时,B

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,若待处理水下图像为伪水下深度图像,则在通过步骤S2处理得到待处理水下图像的场景深度值后,执行步骤S3之前,先对待处理水下图像做场景深度变换处理;

按如下公式对待处理水下图像做场景深度变换处理:

其中,dep为场景深度变换后的待处理水下图像的场景深度值;Median()为中位值运算符;d为场景深度变换之前待处理水下图像的场景深度值;Sig

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S3中,对待处理水下图像进行色彩预处理的方式为:

针对待处理水下图像中的每个像素点,基于其G色彩通道的值对R、B色彩通道在如下的光衰减率比值条件下进行色彩预处理:

式中,I

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S3中,估算色彩预处理后的待处理水下图像的光衰减率的方式为:

首先,根据待处理水下图像的场景深度图,选取待处理水下图像中场景深度值前5%大的图像区域作为背景光取值区域,再从色彩预处理后的待处理水下图像中对应背景光取值区域的各个像素中选取RGB三色彩通道之和前1%大的像素点作为背景光候选点,将各背景光候选点在每个色彩通道的中位值作为相应色彩通道的背景光值:

然后,根据如下关系式估算色彩预处理后的待处理水下图像在R色彩通道的光衰减率:

式中,β

在得到色彩预处理后的待处理水下图像在R色彩通道的光衰减率后,根据红、绿、蓝光波长之间的光衰减率比值关系,即可分别求得色彩预处理后的待处理水下图像在G色彩通道的光衰减率β

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S4包括:

S401、根据光衰减系数与水深值、背景光的关系式确定第一水深候选值D

式中,B

S402、按如下公式确定第二水深候选值D

其中,

式中,在c∈{r,g,b}时,B

S403、确定最终水深值D

D

式中,Max()为求最大值运算符;将所述最终水深值D

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S5中,按如下公式对待处理水下图像进行图像复原处理:

式中,J(i)为对待处理水下图像进行图像复原所得的清晰化图像中第i个像素点的像素值;H(i)为对待处理水下图像进行无光衰减处理后所得的无光衰减图像中第i个像素点的像素值;在c∈{r,g,b}时,H

其中,若待处理水下图像为真实水下图像,则d(i)为待处理水下图像中第i个像素点的场景深度值,且dep(i)=d(i);

若待处理水下图像为伪水下深度图像,则dep(i)为待处理水下图像进行场景深度变换后第i个像素点的场景深度值,d(i)为待处理水下图像进行场景深度变换之前第i个像素点的场景深度值。

上述基于光衰减和深度估计的水下图像清晰化处理方法中,作为优选方案,所述步骤S5中,在得到待处理水下图像的清晰化图像后,还进一步进行对比度增强处理,得到待处理水下图像的最终清晰化图像。

相比于现有技术,本发明的有益效果在于:

1、本发明的水下图像清晰化处理方法结合了水下图像的估计水深值、场景深度图、背景光值和光衰减率等多维度数据,对水下图像进行综合性的复原处理,以降低对水下图像的复原误差,提升对水下图像色彩及对比度复原处理的准确度,从而能够获得更好的水下图像清晰化成像质量。

2、不同水体环境的光衰减率导致原始图像呈现差异性颜色失真,本发明方法中通过推导水下光学成像模型建立了背景光、光照强度与光衰减率之间的数学关系式,实现了单幅图像光衰减率的自适应估计,能有效复原水下真实场景,以确保本方法在多类型水体环境中的鲁棒性。

3、针对水下RGB-D数据稀少、对水下场景深度估计网络进行有监督网络训练难的问题,本发明方法中提出了一种水下图像结合伪水下深度图的场景深度估计网络训练策略,利用双任务网络联合训练的方式,大幅扩充了训练数据的数据量,来满足训练场景深度估计网络的训练数据量需求,实现了水下场景深度估计网络的无监督训练,并且更好地保证对待处理水下图像的场景深度估计准确性。

4、现有技术较少涉及水深值估计,本发明方法中提出了一种基于光散射特性的单幅图像全局水深估计方法,结合水下图像的场景深度图、背景光值和光衰减率进行水深值估计,以更好地保证水深估计准确度。

附图说明

图1为本发明基于光衰减和深度估计的水下图像清晰化处理方法的流程图。

图2为本发明基于光衰减和深度估计的水下图像清晰化处理方法的示例流程图。

图3为伪水下深度图像与真实水下图像的结构相似性关系示意图。

图4为风格迁移网络和场景深度估计网络的双任务网络联合训练处理过程示意图。

图5为R、G、B色光之间的光衰减的比值关系和拟合曲线图。

图6为最终水深值不同选取方式的水下图像清晰化效果示例对比图。

图7为本发明实验中的光衰减估计结果曲线图。

图8为本发明实验中采用不同场景深度估计方法对水下图像的场景深度估计结果对比示例图。

图9为本发明实验中不同水下图像清晰化处理方法的处理结果对比结果示例图。

具体实施方式

下面结合附图对本发明进一步的详细说明。

如图1所示,本发明公开了一种基于光衰减和深度估计的水下图像清晰化处理方法,包括如下步骤:

S1、获取待处理水下图像;

S2、对待处理水下图像进行场景深度估计运算,得到待处理水下图像的场景深度图;

S3、提取待处理水下图像的背景光值,根据提取背景光值对待处理水下图像进行色彩预处理,并估算色彩预处理后的待处理水下图像的光衰减率;

S4、根据待处理水下图像的场景深度图、背景光值和光衰减率对待处理水下图像进行水深值估计;

S5、根据估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率,对待处理水下图像进行复原处理,得到待处理水下图像的清晰化图像。

本发明提出的水下图像清晰化处理方法,针对待处理水下图像自身的数据特点进行光衰减和深度估计,一方面通过场景深度估计运算获得待处理水下图像的场景深度图,另一方面根据待处理水下图像自身的背景光进行光衰减率的估算,并根据待处理水下图像的场景深度图、背景光值和光衰减率进行水深值估计,最后集合上述所有数据进行水下图像复原,通过这些组合手段来提升水下图像色彩及对比度复原处理的准确度,从而获得成像质量和效果都更好的清晰化水下图像。不仅如此,如果为了使得水下图像的清晰化呈现效果更佳,在上述步骤S5中得到水下图像的清晰化图像后,甚至可以再进一步进行对比度增强处理,来获得成像效果更佳的最终清晰化图像。

下面对本发明方案进行更详细的说明,以体现本发明方案更多的技术细节。

本发明基于光衰减和深度估计的水下图像清晰化处理方法示例流程图如图2所示,具体包括如下步骤:

S1、获取待处理水下图像。

获取的待处理水下图像,是指准备作为图像色彩复原对象的水下图像。

S2、对待处理水下图像进行场景深度估计运算,得到待处理水下图像的场景深度图。

具体实施时,可以采用已有的场景深度估计算法对待处理水下图像进行场景深度估计运算。不过,由于现有较为成熟的场景深度估计算法,主要应用在对水上空间场景图像的处理中效果较佳,而如果用于对水下图像的场景深度估计,由于水下图像受到水下光影环境的影响等原因,就容易造成一定的深度估计误差。

因此,作为更优选的方案,最好是能够通过已知的、且带有场景深度信息的水下图像来训练一个场景深度估计网络,然后使用训练得到的场景深度估计网络对待处理水下图像进行场景深度估计运算,更容易保证场景深度估计的准确性。但该方案的实施又面临一个新的问题,现有的带场景深度信息的水下图像样本数据不多,尚不足以用于对水下场景深度估计实现有监督网络训练。

为了解决这个问题,本发明提出一种新的解决方案,采用水下图像结合伪深度图策略来训练场景深度估计网络,即,通过已知的水下样本图像以及伪水下深度图像作为训练输入数据来训练场景深度估计网络;其中的伪水下深度图像,是利用带有深度标签的水上空间场景图像进行雾化合成处理,再进行水下图像风格迁移处理后所得到的图像,由此,就大幅扩充了训练数据的数据量,来满足训练场景深度估计网络的训练数据量需求;然后再利用训练得到的场景深度估计网络对待处理水下图像进行场景深度估计运算,就能够更好地保证场景深度估计的准确性。

基于本发明提出的上述水下图像结合伪水下深度图的场景深度估计网络训练策略,其具体的训练步骤如下:

S201、获取水下样本图像和带有深度标签的水上空间场景图像;所述水上空间场景图像的深度标签用于指示水上空间场景图像的场景深度信息。

其中,水下样本图像是指作为可用训练样本的已有的水下图像,这些作为可用训练样本的已有水下图像可以来自UIEB数据集、RUIE数据集等互联网络已有图像数据库,但由于已有图像数据库中的水下图像数据也往往很少带有深度数据信息(由于通过既有技术获取水下图像的深度数据信息的技术难度较高),因此获取到的水下样本图像通常也并不带有深度标签。因此需要考虑采用其它方式来获得水下样本图像的场景深度信息。

水上空间场景图像,是指空气介质空间中的场景图像(水上的表达是相对于水下图像而言的)。具体实施时,水上空间场景图像的获取渠道很多,例如可以从日常生活中进行图像采集获得,或者从NYU数据集等一些已知的互联网络已有图像数据库获得;同时,由于水上空间场景图像的深度数据信息采集技术已较为成熟,因此能够容易地获得带有深度标签(指示场景深度信息)的水上空间场景图像。

S202、借助大气散射数据,对获取的水上空间场景图像进行雾化合成处理,得到水上空间场景雾化合成图像。

该步骤可以借助已有的一些大气散射数据模型,对从NYU数据集等已有图像数据库获得的水上空间场景图像进行雾化合成处理,形成雾化后的水上空间场景雾化合成图像,使得图像中呈现的光衰减率增加、对比度下降,以更好地模拟水下图像的实际对比度情况。这些带有场景深度信息的水上空间场景雾化合成图像,在后续的处理环节中,既可用于训练场景深度估计网络,又可用于辅助提取水下样本图像的场景深度信息。

对图像进行雾化合成处理的方法为现有技术,例如可以采用文献“HAHNER M,DAID,SAKARIDIS C,et al.Semantic understanding of foggy scenes with purelysynthetic data[C].IEEE Intelligent Transportation Systems Conference,2019:3675-3681.”中的雾化合成方法,当然,也可以采用其他已有的图像雾化合成处理方法,来处理生成水上空间场景雾化合成图像。

为了说明通过上述雾化合成处理得到的水上空间场景雾化合成图像与真实水下图像的对比度相似性,可通过DCP算法(暗通道先验去雾算法)来估计水上空间场景雾化合成图像数据集的透射率t

d

式中,Norm()为归一化函数。

然后,分别计算真实水下图像的灰度图与水上空间场景雾化合成图像对应的水上场景伪深度图的灰度图,并加以比较二者灰度图之间的结构相似性(SSIM);如图3所示,在图3中,(a)图为水上空间场景雾化合成图像,(b)图真实水下图像,(c)图为水上空间场景雾化合成图像(a)对应的水上场景伪深度图的灰度图,(d)图为真实水下图像(b)的灰度图,(e)图为灰度图(c)与灰度图(d)的结构相似性(SSIM)曲线图;从图3中(e)图所示的二者灰度图的结构相似性曲线可以看到,通过灰度图体现出来的水上空间场景雾化合成图像的对比度情况,与真实水下图像的对比度情况相比,是具有较高相似度的。

这也说明了通过上述步骤处理得到的水上空间场景雾化合成图像,能够很好地模拟水下图像的实际对比度情况的。

S203、将水下样本图像作为风格迁移网络的训练输入数据进行风格迁移训练,然后使用训练后的风格迁移网络对水上空间场景雾化合成图像进行水下图像风格迁移处理,将处理得到的图像作为伪水下深度图像。

真实水下图像相比于水上空间场景图像而言,除了光衰减率较高、对比度下降的差异之外,另一方面的差异则主要体现于图像场景的色偏,并且由于水下场景光影条件复杂,若通过简单的人工操作调色处理,比较难调整模拟出真实水下图像的实际色偏情况。因此,本发明借助了图像风格迁移的方式来处理该问题。

步骤S203的处理目的是利用水下样本图像对水上空间场景雾化合成图像通过风格迁移处理,使得处理得到后的伪水下深度图像的色彩风格更加接近真实水下图像。风格迁移是较为成熟的图像处理技术,其技术思路是,使用具有图像风格特征的图像数据训练风格迁移网络;利用训练后的风格迁移网络对输入的图像进行处理,就能得到具有相近风格特征的图像。在本发明方案中,主要应用风格迁移处理使得伪水下深度图像能够具备更加接近真实水下图像的色彩风格,加之此前通过雾化合成处理对水下图像实际对比度情况的模拟,使得此步骤得到的伪水下深度图像的呈现效果能够非常接近于真实水下图像。并且值得注意的是,由此得到的伪水下深度图像源自于水上空间场景图像,带有场景深度标签信息,使得伪水下深度图像成为了带有场景深度标签信息的水下图像模拟数据,可用于场景深度估计网络的训练和水下样本图像的场景深度信息提取。

在具体实施时,该步骤中可以采用FC-DenseNets(全卷积密集块网络)作为风格迁移网络的主网络,风格迁移网络采用CycleGANs(循环生成对抗网络)的结构。

S204、将伪水下深度图像作为场景深度估计网络的训练输入数据,将伪水下深度图像对应的水上空间场景图像的深度标签作为场景深度估计网络的训练结果标签,对场景深度估计网络进行预备训练。

由于伪水下深度图像带有深度标签,因此该步骤使用伪水下深度图像对场景深度估计网络进行预备训练,并使用伪水下深度图像对应的水上空间场景图像的深度标签作为场景深度估计网络的训练结果标签,通过预备训练使得场景深度估计网络具备一定的场景深度估计能力,用以后续对水下样本图像进行场景深度估计。并且,由于具备深度标签的水上空间场景图像容易获得,因此能够较好地保证预备训练的训练数据来源和训练效果。

具体实施时,可以采用FC-DenseNets作为场景深度估计网络的主网络,判决器使用70×70PatchGANs(马尔科夫判别器)。

S205、使用预备训练后的场景深度估计网络对水下样本图像进行场景深度估计,得到水下样本图像的深度标签;所述到水下样本图像的深度标签用于指示水下样本图像的场景深度信息。

通过该步骤来估计获得水下样本图像的深度标签,使得具有深度标签的水下样本图像也可作为进一步训练场景深度估计网络的基础数据使用。

S206、将水下样本图像和伪水下深度图像再作为预备训练后的场景深度估计网络的训练输入数据,将水下样本图像的深度标签以及伪水下深度图像对应的水上空间场景图像的深度标签作为预备训练后的场景深度估计网络的训练结果标签,再次进行训练,得到完全训练后的场景深度估计网络。

虽然此前通过预备训练已使得场景深度估计网络具备了一定的场景深度估计能力,但伪水下深度图像毕竟并非真实水下图像数据;因此,更进一步地联合具有深度标签的真实水下样本图像以及伪水下深度图像对场景深度估计网络进行再次训练,对于提升场景深度估计网络针对真实水下图像的场景深度估计能力,具有重要意义和实际提升效果。

S207、使用完全训练后的场景深度估计网络对待处理水下图像进行场景深度估计,得到待处理水下图像的场景深度值,并根据所述待处理水下图像的场景深度值进行深度图像转换,得到待处理水下图像的场景深度图。

经过完全训练后的场景深度估计网络具有对真实水下图像的场景深度估计能力,因此,能够较好地保证对待处理水下图像进行场景深度信息估计的准确性。

实际上,上述步骤S203~S206的风格迁移网络及场景深度估计网络的训练及处理过程,可以看做针对于风格迁移网络及场景深度估计网络形成的整体联合网络的一个双任务网络联合训练处理过程,可通过图4所示的示意流程来表示该双任务网络联合训练处理过程。

在具体实施时,该联合训练处理过程中,风格迁移网络和场景深度估计网络的主网络都可以采用FC-DenseNets(全卷积密集块网络),epoch次数可以设为200;batch大小可以设为1;学习率初始值可以设为0.0001,采用分段式衰减,1~50epoch为初始值,50~100epoch为0.99×0.0001,100~200epoch为0.0001×(1-0.01×(epoch-100));优化器可以采用Adam算法。

其中,风格迁移部分的损失函数L

式中,L

场景深度估计部分的损失函数L

式中,L

式中,权重ω的值为是0.1。

伪深度损失项通过SSIM值表示伪水下深度图和深度估计图之间的结构性误差:

其中,

S3、提取待处理水下图像的背景光值,根据提取背景光值对待处理水下图像进行色彩预处理,并估算色彩预处理后的待处理水下图像的光衰减率。

水深度对于水下场景环境的背景光亮度以及光衰减强度都会受到直接影响,具体表现为,随着水深度的增加,水下图像的背景光亮度减弱、光衰减强度增强。

该步骤就是对待处理水下图像进行背景光值的提取及光衰减率估算,以便于后续结合这些数据信息更为准确的进行水深值估计。

具体实施时,考虑到背景光位于深度值较大的区域,因此根据待处理水下图像的场景深度图,选取待处理水下图像中场景深度值前5%大的图像区域作为背景光取值区域;而由于水下图像的成像模型上的背景光由白光衰减形成,可知其RGB通道值都较大,因此,从待处理水下图像的背景光取值区域中选取RGB三色彩通道之和前1%大的像素点作为背景光候选点,将各背景光候选点在每个色彩通道的中位值作为相应色彩通道的背景光值:

B

式中,在c∈{r,g,b}时,B

此外,在具体实施时,在提取待处理水下图像的背景光值之前,还可以先考虑是否需要先对待处理水下图像做场景深度变换处理。

如果待处理水下图像是真实的水下场景图像,则不需要再做场景深度变换;而如果是在进行数据测试等情况下,使用伪水下深度图等RGB-D图像数据(RGB-D图像数据是指带有场景深度信息的RGB图像数据)作为测试用的待处理水下图像,则在通过步骤S2)处理得到待处理水下图像的场景深度值后,执行步骤S3)的背景光值提取处理之前,需要考虑伪水下深度图的场景视距与水下场景视距的差异,对其进行场景深度变换。

例如,如果测试使用的RGB-D图像数据为伪水下深度图像(利用带有深度标签的水上空间场景图像进行雾化合成处理,再进行水下图像风格迁移处理后所得到的图像),该伪水下深度图像对应的原始水上空间场景图像的实际空间视距范围Sig

其中,dep为场景深度变换后的待处理水下图像的场景深度值;Median()为中位值运算符;d为场景深度变换之前待处理水下图像的场景深度值,可以利用场景深度估计网络对伪水下深度图像进行深度估计处理而获得;Sig

之所以对于伪水下深度图像需要做水下场景深度变换处理,是因为与真实水下图像相比,利用水上空间场景图像处理得到的伪水下深度图像的背景光状态还是存在一定的差异,通过上述水下场景深度变换处理,才能使得提取到的背景光值更真实地反映该伪水下深度图像模拟场景的背景光状态。

而后,要进行水下图像的光衰减率估计,需要先推导水下光学模型,以确定各波长光的衰减率关系;具体实施时,光学模型可表示为:

I(i)=(H(i)·e

式中,I(i)为水下图像中第i个像素点的像素值,H(i)是水下图像对应的无光衰减图像中第i个像素点的像素值;D是水下图像的水深值;d(i)是水下图像中第i个像素点的场景深度;B水下图像的是背景光;β是光衰减率;e为自然指数常数。

式中,在c∈{r,g,b}时,B

光衰减率与相关参数的关系式:

确定各波长光衰减率之间的比值关系式如下:

关系表现为各波长之间的背景光和最大亮度强度的比值关系。

图5示出了R、G、B色光之间的光衰减的比值关系和拟合曲线图;图5中,(a)图为B色光和G色光的光衰减率比值曲线图,(b)图为R色光和B/R的拟合曲线图,(c)图为R色光和G/R的拟合曲线图。

由于蓝光(B)与绿光(G)之间存在近似线性相关,如图5的(a)所示,因此,在确定的数据范围内,多项式拟合方法具有低误差的优势,采用多项式拟合法可构建红光的光衰减估计模型:

式中,

表1光衰减模型系数

此外,在背景光作用下,光线种不同色彩成分在水下场景的分布特性有所不同,考虑到水下图像的R、G、B色彩分布特性,在进行待处理水下图像的光衰减率之前,先针对待处理水下图像中的每个像素点,基于其G色彩通道的值对R、B色彩通道在如下的光衰减率比值条件下进行色彩预处理:

式中,I

综上,在对待处理水下图像进行色彩预处理后,按如下方式估算色彩预处理后的待处理水下图像的光衰减率:

首先,根据待处理水下图像的场景深度图,选取待处理水下图像中场景深度值前5%大的图像区域作为背景光取值区域,再从色彩预处理后的待处理水下图像中对应背景光取值区域的各个像素中选取RGB三色彩通道之和前1%大的像素点作为背景光候选点,将各背景光候选点在每个色彩通道的中位值作为相应色彩通道的背景光值:

然后,根据如下关系式估算色彩预处理后的待处理水下图像在R色彩通道的光衰减率:

式中,β

在得到色彩预处理后的待处理水下图像在R色彩通道的光衰减率后,根据红、绿、蓝光波长之间的光衰减率比值关系,即可分别求得色彩预处理后的待处理水下图像在G色彩通道的光衰减率β

S4、根据待处理水下图像的场景深度图、背景光值和光衰减率对待处理水下图像进行水深值估计。

在通过此前的处理获得待处理水下图像的场景深度图、背景光值和光衰减率数据后,就可以根据这些数据对待处理水下图像进行水深值估计处理了。

具体实施时,步骤S4包括:

S401、根据光衰减系数与水深值、背景光的关系式确定第一水深候选值D

式中,B

S402、基于雾天图像各通道均值极为接近的特点,即:

Mean(H

因此,按如下公式确定第二水深候选值D

其中,

式中,在c∈{r,g,b}时,B

S403、确定最终水深值D

D

式中,Max()为求最大值运算符;将所述最终水深值D

在实际的复原处理过程中,如果从两个水深候选值D

S5、根据估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率,对待处理水下图像进行复原处理,得到待处理水下图像的清晰化图像。

具体实施时,可以先利用估计的水深值以及待处理水下图像的场景深度图、背景光值和光衰减率等参数,对待处理水下图像进行无光衰减处理:

式中,在c∈{r,g,b}时,H

其中,若待处理水下图像为真实水下图像,则d(i)为待处理水下图像中第i个像素点的场景深度值,且dep(i)=d(i);

若待处理水下图像为伪水下深度图像,则dep(i)为待处理水下图像进行场景深度变换后第i个像素点的场景深度值,d(i)为待处理水下图像进行场景深度变换之前第i个像素点的场景深度值。待处理水下图像进行场景深度变换处理的方式如前述步骤S3)中所述。

然后,考虑到无光衰减图像中仍然存在后向散射问题,采用大气散射模型去雾,在图像内容相同的情况下,场景深度估计值是不变的,因此进一步进行散射复原,得到待处理水下图像的清晰化图像:

式中,J(i)为对待处理水下图像进行图像复原处理所得的清晰化图像中第i个像素点的像素值;H(i)为对待处理水下图像进行无光衰减处理后所得的无光衰减图像中第i个像素点的像素值;A为大气光的值,通常设置为255;α为散射系数通常,通常设置为0.4。在这里的计算中,由于考虑到无论是真实水下图像还是伪水下深度图像,其散射复原去雾处理的场景深度估计值都是不变的,因此直接采用待处理水下图像中第i个像素点的场景深度值d(i)(即便待处理水下图像为伪水下深度图像,也采用场景深度变换之前的像素点场景深度值d(i))参与运算。

最后,就可以对处理得到的待处理水下图像的清晰化图像进行输出和显示。

综上所述,与现有技术相比,本发明具有以下技术优势:

(1)本发明的水下图像清晰化处理方法结合了水下图像的估计水深值、场景深度图、背景光值和光衰减率等多维度数据,对水下图像进行综合性的复原处理,以降低对水下图像的复原误差,提升对水下图像色彩及对比度复原处理的准确度,从而能够获得更好的水下图像清晰化成像质量。

(2)不同水体环境的光衰减率导致原始图像呈现差异性颜色失真,本发明方法中通过推导水下光学成像模型建立了背景光、光照强度与光衰减率之间的数学关系式,实现了单幅图像光衰减率的自适应估计,能有效复原水下真实场景,以确保本方法在多类型水体环境中的鲁棒性。

(3)针对水下RGB-D数据稀少、对水下场景深度估计网络进行有监督网络训练难的问题,本发明方法中提出了一种水下图像结合伪水下深度图的场景深度估计网络训练策略,利用双任务网络联合训练的方式,大幅扩充了训练数据的数据量,来满足训练场景深度估计网络的训练数据量需求,实现了水下场景深度估计网络的无监督训练,并且更好地保证对待处理水下图像的场景深度估计准确性。

(4)现有技术较少涉及水深值估计,本发明方法中提出了一种基于光散射特性的单幅图像全局水深估计方法,结合水下图像的场景深度图、背景光值和光衰减率进行水深值估计,以更好地保证水深估计准确度。

实验及实验数据

本实验在NYU数据集上根据现有的10种光衰减率,利用水下成像模型合成水下图像,建立了10种类型的水下合成图像数据集,每个类型的水下合成图像包含1449张。在成像模型中,水深值设为7,真实背景光值设为255,10种类型的光衰减率如表2所示。

表2十种类型的光衰减系数β

根据本发明提出的方法获取每张图像的背景光并估计光衰减系数,对同类型的所有估计结果求均值,最终结果如图7所示。实线为真实光衰减系数,点线为光衰减系数估计值,估计值和真实值基本相等。在第10种水体环境中,蓝光真实值和估计值的误差在0.1左右,与蓝光衰减严重以及图像偏暗有关。总体上,实验结果表明本发明的光衰减估计方法在水下合成图像中是准确的。

为了体现本发明方法中对水下图像的场景深度估计的效果,本实验还对比采用了Berman、UDCP、Galdran、Peng、UWD等水下图像清晰化方法中用到的场景深度估计算法,与本发明进行比较,如图8所示;图8中,从左至右的各列分别为原始图像、真实深度图、Berman、UDCP、Galdran、Peng、UWD以及本发明中的场景深度估计结果。本发明方法中对水下图像的场景深度估计的网络结构与UWD类似,不同之处在于引入伪水下深度图来提高深度估计的准确度。Sea-thru提供了具有水下真实场景深度的RGB-D数据集,在此数据集上分别与几种先进的水下场景深度估计方法对比。考虑到部分方法估计的是透射率,对各算法的导向滤波结果根据S201推导场景深度,主观结果如图8所示。可以看到,相比与其它方法,本发明方法的场景深度估计结果更接近于真实深度图。为了验证无监督训练的效果,深度估计网络并未使用Sea-thru训练和微调。本发明通过RMSE客观指标衡量各算法的深度估计结果和深度真实值的误差,结果如表3所示。

表3水下场景深度估计算法的客观分数

结合主客观对比,Berman采用“雾线法”估计深度,但该方法的先验条件来自自然雾天图像,这并不符合水下特点;UDCP在GB通道上估计深度,导致深度值估计整体较低;Galdran根据红通道特点,结合RGB通道估计深度,并且测试数据来自公共海域,符合算法原理,因此全局深度较为准确;Peng利用模糊特点估计深度,这避免了光衰减的影响,有准确的深度值;UWD通过雾天RGB-D图像和水下RGB图像的相互转换实现水下深度估计,结果中存在伪影,这与3通道到4通道的转换过程中图像内容改变有关。本发明的深度估计主观结果更接近真实深度,同时在客观分数中具有最优结果。

最后,为了体现本发明方法对于水下图像的最终复原处理效果,本实验还采用了三种经典水下图像清晰化算法和四种近两年的水下图像清晰化先进算法与本发明进行比较,分别为三种经典水下图像清晰化算法分别为UDCP、ULA和NUDCP算法,四种近两年的水下图像清晰化算法分别为Galdran、Li、Peng、Berman等人提出的水下图像清晰化算法,各个算法的水下图像复原处理结果如图9所示;图9中,从左至右的各列分别为原始图像、原始图像的预处理结果图像、UDCP、Galdran、Li、Peng、ULA、Berman、NUDCP以及本发明方法的图像复原处理结果。UDCP主要利用GB通道估计透射率解决散射问题,然而没有解决光衰减问题,即使图像偏色情况较弱,最终结果仍存在颜色失真。Galdran对R通道取反操作后估计透射率,这在一定程度上补偿了衰减后的透射图,但对偏绿色水体环境的处理效果不佳。Li在透射率上引入了I类光衰减系数,并根据自然图像直方图先验采用直方图规定法进一步校正图像,然而在不符合先验的图像上存在伪影和块效应,如图9第二行和第四行所示。Peng根据模糊先验估计场景深度,在散射问题上有所效果,但并未解决颜色失真问题,在高亮度区域还存在内容失真。ULA则通过RGB之间的线性关系估计场景深度,同样使用了I类光衰减系数,然而在部分图像中存在R通道过饱和,处理结果整体偏红。Berman利用十种光衰减系数处理图像并通过灰度世界先验选择最佳结果,但也存在鲁棒性差的问题。NUDCP通过背景光估计模型获取图像背景光,并利用背景光补偿透射率,结果较好,但存在过曝光导致的失真现象。本发明方法通过背景光和估计模型获取光衰减率,并引入了水深因素,在多类图像上有较好的主观效果,且鲁棒性高。

本发明选择了包含各类水质情况的70张图像,从色度、对比度、图像内容量和水下综合指标四个层面衡量算法性能。考虑到评价指标的局限性,剔除所有算法中极高的异常分数,对合理分数取平均值,客观评价结果如表4所示,加粗字体为单个指标中最高的分数。

表4水下处理算法的客观分数

在色度指标上使用色散评价方法,该方法在CIELab颜色空间上基于人眼感知衡量图像色偏情况。K表示色偏分数,分数越大则表明颜色失真越严重。光衰减模型的估计值与每张图像的衰减情况相适应,能较好解决多种水质图像,因此在所有对比算法中具有最高的分数。NUDCP的颜色复原分数为第二高,这与主观结果相符。Peng过度增强图像对比度,这导致颜色失真加重,因此评价分数较低。

平均梯度能较好地衡量图像对比度,该指标值越高则对比度越高。在所有对比算法中,Li的分数与本发明较为接近,然而仍有部分图像存在偏色,因此分数略低于本发明。虽然UDCP和Galdran都未引入光衰减系数,但在平均梯度分数上UDCP高于Galdran,这是因为UDCP的去雾效果优于Galdran。

本发明采用能量熵指标表示复原算法在图像内容复原上的性能,值越高表示图像的内容量越多。在一些图像中Li的去雾效果优于本发明,因此本发明方法的分数略低于Li的分数。然而,平坦区域的伪影和块效应也会影响该指标,结合主观图像,本发明方法较好地复原了水下图像内容。其他算法的处理结果中存在过曝光、对比度过增强和红色过饱和导致的内容失真,因此能量熵分数都较低。

UCIQE是一种水下综合评价方法,广泛用于水下处理算法的质量评价中。在所有对比算法中,本发明具有最高的分数,表明该算法能较好地复原水下失真图像。Li以自然图像直方图先验为校正标准,而Berman以自然图像的颜色恒常性为标准,这两个方法都以自然图像先验作为标准,因此都具有较高的综合分数。NUDCP虽然有较好的主观效果,但过曝光失真是分数较低的主要原因。

最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管通过参照本发明的优选实施例已经对本发明进行了描述,但本领域的普通技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本发明的精神和范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号