首页> 中国专利> 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法

基于暗原色和交替方向乘子法优化的湍流图像盲复原方法

摘要

本发明涉及一种基于暗原色和交替方向乘子法优化的湍流图像盲复原方法,首先,基于多尺度的思想,在每一层尺度上对图像施加暗原色先验约束、对点扩散函数施加稀疏约束和能量约束,然后,采用坐标下降法交替迭代估计当前尺度下的模糊核和图像。当达到最大尺度时,得到最终估计的模糊核,最后,再结合总变分模型,采用导数交替方向乘子法实现图像细节快速恢复。本发明方法采用清晰图像的暗原色先验信息作为约束项,有利于代价函数在迭代过程中收敛到清晰解,解决了盲复原算法在最大后验概率框架下使用梯度先验信息约束易求得模糊解的问题,故在复原结果的视觉上,能恢复出更多的图像细节,振铃效应更少,有效提升了复原质量。

著录项

  • 公开/公告号CN106920220A

    专利类型发明专利

  • 公开/公告日2017-07-04

    原文格式PDF

  • 申请/专利权人 西北工业大学;

    申请/专利号CN201710101304.0

  • 发明设计人 李晖晖;鱼轮;杨宁;郭雷;

    申请日2017-02-24

  • 分类号G06T5/00;

  • 代理机构西北工业大学专利中心;

  • 代理人王鲜凯

  • 地址 710072 陕西省西安市友谊西路127号

  • 入库时间 2023-06-19 02:45:36

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-07-19

    授权

    授权

  • 2017-07-28

    实质审查的生效 IPC(主分类):G06T5/00 申请日:20170224

    实质审查的生效

  • 2017-07-04

    公开

    公开

说明书

技术领域

本发明属于数字图像处理方法,涉及一种单帧大气湍流退化图像复原新方法,具体涉及一种基于暗原色和交替方向乘子法优化的湍流图像盲复原方法,将图像去雾中的暗原色理论应用于湍流图像盲复原领域,发明成果可用于各类军事或民用的图像图像去模糊处理系统中。

背景技术

飞行器在大气层内以超声速飞行时,与大气之间发生剧烈相互作用形成复杂的高温湍流场,这种湍流效应会使得飞行器的光学系统接收到的目标图像偏移、抖动、模糊等,从而严重影响其探测、识别和跟踪目标的能力,严重时甚至无法检测识别目标。因此,从湍流退化图像中有效地复原出原始目标图像,是实现超声速巡航成像探测及精确制导必须解决的关键问题之一。

湍流的最大特点是具有很强的随机性,这使得建模时很难描述和测定点扩散函数(point spread function,PSF)的具体形式,必须从观察图像中以某种方式估计出退化信息。对这类严重的病态问题,目前大多采用盲复原算法进行处理,即在最大后验概率(Maximum Posterior Probability,MAP)的框架下,依据模糊核和清晰图像的先验知识,运用有效的估计准则复原出目标图像。利用盲复原算法解决这类去模糊问题的关键是如何设计有效的清晰图像的先验知识指导图像复原,目前常用的清晰图像的先验知识大部分集中在对自然图像梯度分布的统计研究上,如Fergus等人采用高斯混合模型来刻画图像的梯度分布,Shan等人构造分段函数来拟合图像的梯度分布,Krishnan等人采用超拉普拉斯分布来近似图像的梯度分布,但这些先验知识规律只符合特定场景下的图像,且在MAP框架下直接应用这些先验知识,盲复原算法很容易得到模糊解,这就产生了矛盾。为了避免盲复原算法在MAP框架下使用图像梯度分布先验信息约束而易得到局部最优解的问题,Levin不再采用联合估计目标图像和模糊核的方式,改用直接从模糊图像中先估计出模糊核,然后采用一种非盲复原算法估计出目标图像;Fergus改用变分贝叶斯的方法来复原图像,这两种算法处理的优点是理论上最有可能收敛到全局最优解,但算法计算代价高,耗时,相对来讲,MAP框架简洁明了,易于求解。

在MAP框架下,为了使盲复原算法尽可能的收敛到清晰解,常见的有两种处理思路,一种是寻找更合适的清晰图像的先验信息,如Krishnan采用稀疏比值l1/l2范数作为约束项,Michaeli利用图像块循环尺度不变性作为先验信息约束项,但这些约束仅限于特定场景下的图像。Pan首次将图像去雾中的暗原色先验理论应用到图像去模糊中,在处理运动模糊图像、低照度模糊图像以及非一致模糊图像中取得了不错的效果,但算法自身缺陷是对噪声敏感,当模糊图像存在较大的噪声时,算法的处理结果有振铃效应;另一种思路是引入边缘选择,利用强边缘来恢复图像,但这类方法牵扯复杂的边缘选择,如何设计“大的梯度保留与小的梯度舍弃”规则是个问题,且在图像的显著性不是很强时,算法就选不到合适的边缘来估计模糊核。

可见,传统的大气湍流图像盲复原方法,在噪声或模糊程度比较严重的情况下,图像复原视觉质量差,易产生伪迹,对噪声敏感。

发明内容

要解决的技术问题

为了避免现有技术的不足之处,本发明提出一种基于暗原色和交替方向乘子法优化的湍流图像盲复原方法,提升湍流降质图像的复原质量,提高抗噪性能。

本发明的基本思想是:在MAP框架下,基于多尺度的思想,首先对输入的观测图像采用由粗到精的图像金字塔方法估计模糊核,在暗原色约束和图像梯度约束下,即时估计每一个尺度下的清晰图像和模糊核,当尺度达到最大时,得到最终估计的模糊核,然后在总变分模型下,采用ADMM优化求解目标图像,通过各向异性滤波器去除噪声,最后当算法满足收敛条件时,得到最终的估计图像。

技术方案

一种基于暗原色和交替方向乘子法优化的湍流图像盲复原方法,其特征在于步骤如下:

步骤1、每一层尺度上估计模糊核和目标图像:基于多尺度思想,对目标观测图像y采用如下代价函数估计原始目标图像x和模糊核k:

采用坐标下降法来交替求解x和k;上式中,y为目标观测图像,x为原始目标图像,代表卷积,k为模糊核,γ,μ和γ是参数权重,代表图像的梯度,D(x)代表图像的暗原色约束;

步骤2、交替方向乘子法优化:根据估计的模糊核k,采用交替方向乘子法优化求解最终估计的原始目标图像x,方法如下:

图像复原的总变分模型为:

其中,D是离散梯度算子,τ为参数权重;

基于导数空间的图像复原总变分模型为:

其中,d=Dx,μ为参数权重。添加辅助变量f,令f=d;

定义增广拉格朗日函数为:

采用交替方向乘子法更新参数f,d和q,给定参数f和q,d通过下式进行求解:

更新求解d时,构造d的拉格朗日对偶函数为:

KKT条件为:

对应的解为:

将上式中的B=kTk+δI,公式(6)放在傅里叶域中求解采用ADMM优化算法进行求解,设定eps=10-4,收敛条件为:当算法收敛时,得到最终估计的原始目标图像x。

所述坐标下降法来交替求解x和k的步骤为:

步骤a:将公式(1)拆分为以下两个代价函数:

步骤b、每一层尺度上目标图像x的估计:

采用半二次变量分离解决公式(9)中的L0最小化问题,对D(·)引入辅助变量u,对图像的水平梯度和垂直梯度分别引入g=(gh,gv),改写公式(9)为:

通过交替迭代最小化x,u和g来进行求解公式(11)中x,u和g中的任意一个变量;

求解变量x时,提取公式(11)中求x的部分:

其中公式(12)中的非线性算子D(I)等于选择矩阵M乘以向量x:

D(x)=Mx(13)

非线性算子选择矩阵M满足:

其中,z为选择矩阵M中的第i行的元素,j为图像I在给定的图像块下最小像素值对应的位置;

通过以下公式估计出当前尺度下的目标图像x:

上式中Tk是模糊核k的Toeplitz矩阵,在y,g和u的向量形式下,利用快速傅里叶变换FFT求解出上式的向量矩阵;

求出当前尺度下估计的目标图像x后,利用以下公式求解u和g:

步骤c、每一层尺度上目标图像模糊核k的估计:求得估计的图像x后,公式(10)变成最小二乘问题,采用基于梯度的方法求解,改写公式(10):

其中,代表原始目标图像的梯度,代表模糊图像的梯度,k为模糊核,γ为参数权重;

在每一次迭代中估计出当前尺度下的模糊核后,对模糊核施加非负性约束和能量约束:

当尺度达到最大时,得到最终估计的模糊核k。

有益效果

本发明提出的一种基于暗原色和交替方向乘子法优化的湍流图像盲复原方法,首先,基于多尺度的思想,在每一层尺度上对图像施加暗原色先验约束、对点扩散函数施加稀疏约束和能量约束,然后,采用坐标下降法交替迭代估计当前尺度下的模糊核和图像。当达到最大尺度时,得到最终估计的模糊核,最后,再结合总变分模型,采用导数交替方向乘子法实现图像细节快速恢复。由于所提算法使用的先验信息约束有利于得到清晰解,解决了传统盲复原算法在MAP框架下使用图像梯度分布先验信息易求得模糊解的问题,同时,所提算法在总变分模型下能收敛到全局最优解,可以有效抑制图像复原过程中产生的伪迹,恢复出更好的目标图像细节,最终使得所求解具有较好的复原效果。

本发明主要优点包括以下几个方面:第一,采用暗原色先验信息进行约束,代价函数在迭代过程中,整体能量低,更有利于得到“清晰解”,解决了盲复原算法在MAP框架下使用梯度分布先验信息约束易得到“模糊解”的矛盾问题;第二,由于变分法能大概率收敛到全局最优解,因此在得到估计的模糊核后,构造图像复原总变分模型,采用导数交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)来优化求解目标图像,在每一次迭代中仅需要四步FFT变换,速度快;第三,针对传统大气湍流图像盲复原算法抗噪性能差的问题,采用各向异性滤波去噪,且在去噪的同时,能恢复出更多的图像细节,获得比较令人满意的复原效果。

附图说明

图1:本发明方法复原图像的流程图

图2:采用不同复原算法对模拟湍流退化图像进行盲复原结果

(a)源图像;(b)湍流退化图像;(c)IBD算法复原结果;(d)Zhu[2013]所提算法复原结果;(e)李晖晖[2015]所提算法复原结果;(f)Pan[2016]所提算法复原结果;(g)本发明所提算法复原结果;

图3:采用不同复原算法对实际湍流退化图像进行盲复原结果

(a)湍流退化图像;(b)IBD算法复原结果;(c)Zhu[2013]所提算法复原结果;(d)李晖晖[2015]所提算法复原结果;(e)Pan[2016]所提算法复原结果;(f)本发明所提算法复原结果;

具体实施方式

现结合实施例、附图对本发明作进一步描述:

本文实验实施的硬件环境是:acer V3-572G-59TB计算机,4G内存,840M独显,酷睿i5-4210U,软件环境为运行于Windows7旗舰版64位,MATLAB软件为R2013b。本文做了两组类型的实验,一组是模拟数据,另一组是实测数据。模拟数据采用256piexls×256piexls的海事卫星图像,通过谱反演法模拟大气湍流的相位屏,对卫星图像进行湍流退化模糊的仿真实验,本实验设定大气相干长度r0=0.05m,望远镜口径直径D=1.0m。图像实测数据采用Zhu[2013]给定的大气湍流图像测试数据库。

本发明具体实施如下:

步骤1每一层尺度上估计模糊核和目标图像:基于多尺度思想,对目标观测图像y采用如下代价函数估计原始目标图像x和模糊核k:

其中,y为目标观测图像,x为原始目标图像,代表卷积,k为模糊核,γ,μ和γ是参数权重,代表图像的梯度,D(x)代表图像的暗原色约束。上述代价函数中,第一项为数据保真项,衡量估计图像和原始目标图像之间的相似程度,第二项为点扩散函数的约束项,第三项为对目标图像的梯度约束,保证估计的图像可以保留较大的梯度,最后一项是目标图像的暗原色先验信息约束项。

采用坐标下降法来交替求解x和k,将公式(20)拆分为以下两个代价函数:

(a)每一层尺度上目标图像x的估计

采用半二次变量分离解决公式(21)中的L0最小化问题,对D(·)引入辅助变量u,对图像的水平梯度和垂直梯度分别引入g=(gh,gv),这样公式(21)可以改写为:

交替迭代最小化x,u和g来进行求解公式(23)中的任意一个变量,将公式(23)中求x的部分提取出来,如下所示:

非线性算子D(I)等于选择矩阵M乘以向量x:

D(x)=Mx(25)

非线性算子选择矩阵M满足:

其中,z为选择矩阵M中的第i行的元素,j为图像I在给定的图像块下最小像素值对应的位置。借助选择矩阵M,通过公式(27)即时估计出目标图像x:

上式中Tk是模糊核k的Toeplitz矩阵,y,g和u分别代表的是y,g和u的向量形式。利用快速傅里叶变换(FFT)法求解出上式的向量矩阵。

求出即时估计的目标图像x后,利用以下两式求解u和g:

(b)每一层尺度上目标图像模糊核k的估计

由步骤1中的(a)求得即时估计的图像x后,公式(22)变成最小二乘问题,采用基于梯度的方法求解,将公式(3)改写如下:

其中,代表原始目标图像的梯度,代表模糊图像的梯度,k为模糊核,γ为参数权重。

在每一次迭代中估计出当前尺度下的模糊核后,对模糊核施加非负性约束和能量约束,如下式:

当尺度达到最大时,得到最终估计的模糊核k。

步骤2交替方向乘子法优化:由步骤1得到最终估计的模糊核k后,采用交替方向乘子法优化求解最终估计的原始目标图像x。

图像复原的总变分模型一般可以表达如下:

其中,D是离散梯度算子,τ为参数权重。

基于导数空间的图像复原总变分模型为:

其中,d=Dx,μ为参数权重。添加辅助变量f,令f=d。定义增广拉格朗日函数为:

采用交替方向乘子法更新参数f,d和q,关键是求解d,给定参数f和q,d可以通过下式进行求解:

更新求解d时,构造d的拉格朗日对偶函数为:

KKT条件为:

对应的解为:

上式中的B=kTk+δI,公式(38)放在傅里叶域中求解,采用ADMM优化算法进行求解,设定eps=10-4,收敛条件为:当算法收敛时,可以得到最终估计的原始目标图像x。

选用图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)为模拟湍流退化图像数据客观评价指标,定量的评价不同图像采用不同算法的复原效果。客观评价结果如表1所示。其中峰值信噪比的定义式如式(39)所示。

PSNR=10*log(2552/MSE)(39)

式(39)中,*代表乘法,MSE代表均方误差,其定义式如式(40)所示。

式(40)中m和n分别表示图像的长度和宽度,f(i,j)和分别表示理想图像和被评价图像在像素点(i,j)处的灰度值。

表1模拟湍流图像的各算法对比

算法PSNR(dB)IBD13.5881Pan[2016]17.5771李晖晖[2015]17.3317本文17.8309

选用图像的灰度平均梯度(Gray Mean Grads,GMG)和拉普拉斯梯度模(LaplacianSum,LS)来衡量实测退化图像的复原效果。GMG和LS属于无参评价,能有效的反映图像的对比度和纹理变化特征,其值越大表示图像细节越多、边缘越锐利,图像质量越好。其中GMG和LS的计算公式分别为:

其中g表示大小为M×N的被评价图像,i和j分别表示图像g的行坐标和列坐标。

客观评价结果如表2所示。

表2实测湍流退化图像各算法对比

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号