基于局部SoG的水下图像清晰化方法

摘要

本发明公开了一种基于局部SoG的水下图像清晰化方法，包括以下步骤：设水下图像为原图像，用该原图像的边界值进行边界扩充得到填充后的图像；然后，取一个局部域大小为N×N像素点的窗口，利用该窗口在边界扩充后的图像的各个通道中进行平移，估计每个局部域内的光源颜色，将局部域的光源颜色作为窗口中心像素点的光源颜色eλ；并通过光源颜色eλ与原始光源颜色之间的衰减特性分别求出三个颜色通道的透射率tλ和其对应的方差σλ；最后，对方差σλ最大的透射率进行循环分块操作以获取背景光，从而得到最终的清晰的图像。通过大量实验证明，本发明提出的算法在提高图像清晰度、恢复图像颜色等方面有着非常好的性能。

说明书

技术领域

本发明涉及一种计算机图像处理方法，尤其涉及一种水下图像清晰化方法。

背景技术

水下图像在海洋能源勘探、海洋环境监测与保护以及海洋军事等领域扮演着非常重要 的角色^[1]。但因水下环境特殊，难以获取高质量的水下图像。溶解在水中的有机物和悬浮在 水中的颗粒物会对光产生吸收和散射效应，造成图像对比度下降，场景可见范围缩小，图 像质量降低^[2]。因此，水下图像清晰化问题在计算机视觉应用领域和数字图像处理领域亟待 解决^[3]。

由于水下图像与雾天图像拥有相似的成像模型和图像特征，不少学者采用基于暗通道 先验的去雾方法来处理水下图像^[4]。但如果在水下环境中直接使用暗通道先验会出现透射率 估计偏大，背景光偏小等问题^[5]。因此，在使用基于暗通道先验的方法处理水下图像之前， 需对水下图像进行颜色失真去除。其中，最常用的颜色恒常性算法为ShadeofGray算法^[6]。

ShadeofGray(SoG)算法应用的前提为均匀光照条件，因此估计的光源颜色在全局都 是一致的。但在水下环境中，由于光在水中的衰减与波长和传播距离相关，估计的光源颜 色应该是衰减的，也就是说场景中各点的光源颜色不相同，这与ShadeofGray算法估计出 的全局唯一的光源颜色结果矛盾。

[参考文献]

[1]SchettiniR,CorchsS.Underwaterimageprocessing:stateoftheartofrestoration andimageenhancementmethods.EURASIPJournalonAdvancesinSignalProcessing,2010(1), 2010:1-14.

[2]S.Bazeille.Visionsous-marinemonoculairepourlareconnaissanced’objets[Ph.D. thesis].2008,Universit′edeBretagneOccidentale.

[3]J.Mertens,F.Replogle.Useofpointspreadandbeamspreadfunctionsforanalysisof imagingsystemsinwater.JournaloftheOpticalSocietyofAmerica,1977,67(8):1105-1117.

[4]J.S.Jaffe.Computermodelingandthedesignofoptimalunderwaterimagingsystems. IEEEJournalofOceanicEngineering,1990,15(2):101–111.

[5]HaochengWen,YonghongTian,TiejunHuang,etal..Singleunderwaterimage enhancementwithanewopticalmodel.In:ProceedingsofIEEEInternationalSymposium onCircuitsandSystems,Beijing,China,2013:753-756.

[6]G.Finlayson,E.Trezzi.Shadesofgrayandcolourconstancy[C].In:Proceedingsof12th ColorImagingConference,Scottsdale,USA,2004,2004:37-41.

[7]LiFang,WuJin-yong,WangYi-ke,etal..Acolorcastdetectionalgorithmof robustperformance.In:ProceedingsofIEEEInternationalConferenceon AdvancedComputationalIntelligence,Nanjing,China,2012:662-664.

[8]YujieLi,HuiminLu,LifengZhang,etal..Real-timevisualizationsystemfor deep-seasurveying.MathematicalProblemsinEngineering,2014,2014(1):809-812.

[9]StephanT,FrühbergerP,WerlinS,etal..Modelbasedimagerestorationfor underwaterimages.In:ProceedingsofSPIEOpticalMetrology2013,Bellingham,USA,2013: 87911F-1-87911F-9.

发明内容

针对现有技术中由于场景中各点的光源颜色不相同，与采用ShadeofGray算法估计出 的全局唯一的光源颜色结果相矛盾，本发明提出一种基于局部SoG的水下图像清晰化方法， 首先，利用原始图像估计每一个局部域的光源颜色，并将其作为区域中心像素点的光源颜 色。然后，利用得到的光源颜色分别计算三个颜色通道的透射率和其对应的方差。最后， 对方差最大的透射率图进行循环分块操作以获取背景光，从而得到最终的复原图像。通过 大量实验证明，本发明提出的算法在提高图像清晰度、恢复图像颜色等方面有着非常好的 性能。

为了解决上述技术问题，本发明提出的一种基于局部SoG的水下图像清晰化方法，包 括以下步骤：

步骤一、输入水下图像为原图像I(x)，用该原图像I(x)的边界值进行边界扩充得到填 充后的图像I_λ(x)；

I_λ(x)＝∫_ωe(λ)S(x,λ)P(λ)dλ(1)

式(1)中，ω表示整个可见光波长范围，λ为入射光波长，x为像素点，e(λ)表示入 射光的分布，S(x,λ)为图像I_λ(x)中的某一点对入射光的反射率，P(λ)表示相机对入射光 的感光特性；

步骤二、在该图像中取一个大小为N×N像素点的窗口，利用该窗口在图像I_λ(x)的各 个通道上逐行的从左到右进行平移，每次移动一个像素形成一局部域Ω，估计每个局部域Ω 的光源颜色，步骤是：

设该图像I_λ(x)的场景中所有物体表面的任意一个局部域Ω的平均反射是无色差的， 即：

$\frac{{\int }_{\Omega }S(x,\lambda )dx}{{\int }_{\Omega }dx}=k---\left(2\right)$

式(2)中，Ω表示图像I_λ(x)中某个局部域，k为[0,1]之间的一个常数；

所以，局部域Ω的光源颜色如下：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}={\mathrm{ke}}_{\Omega \lambda }---\left(3\right)$

式(3)中，p为常数，取值范围为4～10，e_Ωλ为局部域Ω的光源颜色，在一个局部域 Ω中光源颜色的各通道分量为单值；将局部域Ω的光源颜色e_Ωλ作为局部域中心像素点的光 源颜色e_λ：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}={\mathrm{ke}}_{\lambda }=k{\bar{e}}_{\lambda }\exp (-c_{\lambda }d(x\left)\right)---\left(4\right)$

式(4)中，c_λ是入射光在水中的衰减系数，d(x)为景深，e_λ是局部域中心像素点的 光源颜色，所述光源颜色e_λ的元素值中包含了图像I_λ(x)各通道的颜色衰减特征，是图 像I_λ(x)的光源颜色，设为常数；

步骤三：利用局部域中心像素点的光源颜色e_λ和图像I_λ(x)的光源颜色之间的颜色 衰减特性求出图像I_λ(x)的RGB三通道透射率t_λ：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}=k{\bar{e}}_{\lambda }{t}_{\lambda }---\left(5\right)$

选择R通道的透射率t_R作为待分块的透射率；

步骤四：建立图像I_λ(x)像素的索引index；与此同时，选择待分块的透射率t_R上半部 分中均值和标准差最小的部分进行循环分块操作，循环4次后得到透射率块，根据图像I_λ(x) 像素索引index，确定该透射率块在图像I_λ(x)中对应的图像块，通过求取该对应的图像块 RGB三通道的均值得到该图像I_λ(x)的背景光B_λ,∞；根据式(6)得到清晰图像J_λ(x)：

$J_{\lambda }\left(x\right)=\frac{\left(I_{\lambda }\right(x)-B_{\lambda ,\infty })}{t_{\lambda }\left(x\right)}+B_{\lambda ,\infty }---\left(6\right)$

与现有技术相比，本发明的有益效果是：

本发明提出的基于局部SoG的水下图像清晰化方法是通过计算图像中每一个局部域的 光源颜色来获取场景中每一个点的衰减特性，从而得到各通道的透射率及其方差，并利用 透射率估计背景光，最终得到清晰图像。

附图说明

图1是本发明图像清晰化处理流程图；

图2(a)是实施例1的原始图像；

图2(b)是对图2(a)所示原始图像经过传统ShadeofGray算法获得的效果图像；

图2(c)是对图2(a)所示原始图像经过本发明处理方法估计的光源颜色中R通道分量；

图2(d)是对图2(a)所示原始图像经过本发明处理方法获得的效果图像；

图3(a)是实施例2的原始图像，其中，C＝13.48，K＝2.47；

图3(b)是对图3(a)所示原始图经过文献[8]提出的方法获得的效果图像，其中，C＝13.48， K＝2.47；

图3(c)是对图3(a)所示原始图经过本发明处理方法获得的效果图像，其中，C＝35.72， K＝1.69；

图4(a)是实施例3的原始图像，其中，C＝10.01，K＝2.44；

图4(b)是对图4(a)所示原始图经过文献[9]提出的方法获得的效果图像，其中，C＝12.61， K＝1.89；

图4(c)是对图4(a)所示原始图经过本发明处理方法获得的效果图像，其中，C＝20.64， K＝1.38。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施 例仅对本发明进行解释说明，并不用以限制本发明。

水下图像可以看作是在蓝(绿)色灯光下拍摄的图像，图像中的蓝(绿)色基调可认 为是光源颜色，可用颜色恒常性算法去除。ShadeofGray算法是GrayWorld算法的改进形 式，在处理水下图像时能够获得更好的效果。GrayWorld假设认为：场景中所有物体表面 的平均反射是无色差的，即

$\frac{\int S(x,\lambda )dx}{\int dx}=k$

GrayWorld算法估计光源e的过程可以表示如下:

$\frac{\int I\left(x\right)dx}{\int dx}=ke$

ShadeofGray算法利用Minkowski范数代替GrayWorld算法中简单求平均的操作，能 够获得更好的处理结果。该算法估计光源e的方法如下：

$\left(\frac{\int {\left(I\right(x\left)\right)}^{p}dx}{\int dx}\right)=ke$

其中，p和k为常数。

ShadeofGray算法应用的前提为均匀光照条件，因此估计的光源颜色在全局都是一致 的。但在水下环境中，由于入射光在水中的衰减与波长和传播距离相关，估计的光源颜色 应该是衰减的，也就是说场景中各点的光源颜色不相同，这与ShadeofGray算法估计出的 全局唯一的光源颜色结果矛盾。

如图1所示，本发明提出的一种基于局部SoG的水下图像清晰化方法，包括以下步骤：

步骤一、输入水下图像为原图像I(x)，用该原图像I(x)的边界值进行边界扩充得到填 充后的图像I_λ(x)；

I_λ(x)＝∫_ωe(λ)S(x,λ)P(λ)dλ(1)

式(1)中，ω表示整个可见光波长范围，λ为入射光波长，x为像素点，e(λ)表示入 射光的分布，S(x,λ)为图像I_λ(x)中的某一点对入射光的反射率，P(λ)表示相机对入射光 的感光特性；

步骤二、在该图像中取一个大小为N×N像素点的窗口，利用该窗口在图像I_λ(x)的各 个通道上逐行的从左到右进行平移，每次移动一个像素形成一局部域Ω，估计每个局部域Ω 的光源颜色，步骤是：

设该图像I_λ(x)的场景中所有物体表面的任意一个局部域Ω的平均反射是无色差的， 即：

根据上述对于ShadeofGray算法在水下环境使用时出现的弊端，本发明提出基于局部 GrayWorld假设，即：场景中所有物体表面的任意一个局部域的平均反射是无色差的

$\frac{{\int }_{\Omega }S(x,\lambda )dx}{{\int }_{\Omega }dx}=k---\left(2\right)$

式(2)中，Ω表示图像I_λ(x)中某个局部域，k为[0,1]之间的一个常数；

所以，局部域Ω的光源颜色如下：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}={\mathrm{ke}}_{\Omega \lambda }---\left(3\right)$

式(3)中，p为常数，取值范围为4～10，e_Ωλ为局部域Ω的光源颜色，在一个局部域 Ω中光源颜色的各通道分量为单值；将局部域Ω的光源颜色e_Ωλ作为局部域中心像素点的光 源颜色e_λ：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}={\mathrm{ke}}_{\lambda }=k{\bar{e}}_{\lambda }\exp (-c_{\lambda }d(x\left)\right)---\left(4\right)$

式(4)中，c_λ是入射光在水中的衰减系数，d(x)为景深，e_λ是局部域中心像素点的 光源颜色，所述光源颜色e_λ的元素值中包含了图像I_λ(x)各通道的颜色衰减特征，是图 像I_λ(x)的光源颜色，通过大量实验数据可知,为[0.9,1]之间的一个常数；

步骤三：利用局部域中心像素点的光源颜色e_λ和图像I_λ(x)的光源颜色之间的颜色 衰减特性求出图像I_λ(x)的RGB三通道透射率t_λ：

${\left(\frac{{\int }_{\Omega }{\left(I_{\lambda }\right(x\left)\right)}^{p}dx}{{\int }_{\Omega }dx}\right)}^{\frac{1}{p}}=k{\bar{e}}_{\lambda }{t}_{\lambda }---\left(5\right)$

选择R通道的透射率t_R作为待分块的透射率；

步骤四：为方便将透射率图与原图像相对应，建立图像I_λ(x)像素的索引index；与此 同时，为了保证尽可能的除去人工光源的影响，选择透射率图和索引的上半部分进行操作， 进一步讲，选择待分块的透射率t_R上半部分中均值和标准差最小的部分进行循环分块操作， 循环4次后得到的透射率块，根据图像I_λ(x)像素索引index，确定该透射率块在图像I_λ(x) 中对应的图像块，通过求取该对应的图像块RGB三通道的均值得到该图像I_λ(x)的背景光 B_λ,∞；根据式(6)得到清晰图像J_λ(x)：

$J_{\lambda }\left(x\right)=\frac{\left(I_{\lambda }\right(x)-B_{\lambda ,\infty })}{t_{\lambda }\left(x\right)}+B_{\lambda ,\infty }---\left(6\right)$

实施例1：

为了验证本发明提出算法的有效性，将本发明算法与ShadeofGray算法进行对比，图 2(a)是实施例1的原始图像。图2(b)是对图2(a)所示原始图像经过传统ShadeofGray算法获 得的效果图像，图2(c)是对图2(a)所示原始图像经过本发明处理方法估计的光源颜色中R通 道分量，显然，本发明处理结果符合人们对透射率的认知，即：近景处透射率大，远景处 透射率小；散射程度弱处透射率大，散射严重处透射率小。图2(d)是对图2(a)所示原始图像 经过本发明处理方法获得的效果图像，根据图2(d)可以看出本发明算法明显去除了图像中后 向散射的影响,并且较好的保持了原图像的色调信息,更符合人们对水下图像的认知经验。实 验结果表明，ShadeofGray算法只能实现有限的颜色补偿功能，而本发明提出的算法可以 较好地补偿图像中各点的光源颜色。

实施例2

为客观评价本发明中所运用的局部SoG，使用文献[7]中提出的一种鲁棒的色偏检测方 法说明彩色图像色偏情况。计算的K值越大，表示图像色偏越严重。

$K=\frac{100\sqrt{mean\_a^2+mean\_b^2}}{\sqrt{M\_a^2+M\_b^2}max\left(\right|\min \left(\right({\sigma }^2-Thres),1)|,1)}$

其中，mean_a，mean_b分别表示Lab颜色空间中a，b两个分量的均值，M_a,M_b分 别表示a,b两个分量的平均差，σ²为L分量的方差，Thres为阈值，H,W为图像的分别率。

与此同时，使用Lab颜色空间的L分量计算图像的对比度C，C越大说明图像细节越 清晰。

$C=\underset{i=1}{\overset{i=num}{\Sigma }}\frac{\sqrt{\frac{1}{N_i}\left|\right|{\mathrm{Lb}}_i\left(x\right)-{\mathrm{Lb}}_i|{|}_2^2}}{{\mathrm{Lb}}_i}$

其中,num表示L分量分块数目，N_i为第i个L分量块的像素数，Lb_i(x)表示第i个L 分量块中像素点x的像素值，Lb_i为第i个L分量块的均值。

图3(a)是实施例2的一原始图像，其中，C＝13.48，K＝2.47；图3(b)是对图3(a)所示原 始图经过文献[8]提出的使用一种结合暗通道先验与导向三角双边滤波估计透射率的方法获 得的效果图像，其中，C＝13.48，K＝2.47；图3(c)是对图3(a)所示原始图经过本发明处理方 法获得的效果图像，其中，C＝35.72，K＝1.69。

图4(a)是实施例2的另一原始图像，其中，C＝10.01，K＝2.44；图4(b)是对图4(a)所示 原始图经过文献[9]提出的利用暗通道先验得到一个类景深函数，并通过该景深函数求得景 深的方法获得的效果图像，其中，C＝12.61，K＝1.89；图4(c)是对图4(a)所示原始图经过本 发明处理方法获得的效果图像，其中，C＝20.64，K＝1.38。

综上，由实施例2中两组图像可知，本发明图像清晰化处理方法在提高水下图像清晰 度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更 加自然。从客观指标上来看，本发明方法也在图像对比度和色偏问题上优于文献[8]和文献 [9]的算法。

尽管上面结合图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式， 上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明 的启示下，在不脱离本发明宗旨的情况下，还可以作出很多变形，这些均属于本发明的保 护之内。