用于低信噪比图像序列的频空时域联合去噪与恢复系统

摘要

本发明公开用于低信噪比图像序列的频空时域联合去噪与恢复系统，属于气动光学与图像处理相结合的交叉领域。去噪系统包括：频域去噪模块，用于获取像方含噪目标图像，采用高斯环状滤波算法去噪；空域去噪模块，用于对频域去噪后的图像，采用梯度最小化的L0平滑滤波算法去噪；时域去噪模块，用于对空域去噪后的图像，采用连续多帧取平均方式去噪。恢复系统还包括：传输效应校正模块，用于采用一阶不变矩约束的最大似然估计方法，校正多域去噪图像；恢复模块，用于对校正后图像进行传感器去模糊和超分辨率，得到最终恢复图像。图像经本发明提出的系统处理后，信噪比有明显提高，校正图像保留更多的边缘和细节信息，同时有效提高目标图像的分辨率。

说明书

技术领域

本发明属于气动光学与图像处理相结合的交叉领域，更具体地，涉及用于低信噪比图像序列的频空时域联合去噪与恢复系统。

背景技术

气动光学是研究高速绕流对高速飞行器成像探测的影响的一门学科。带有光学成像探测系统的高速飞行器在大气层内飞行时，光学头罩与来流之间形成复杂的流场，对光学成像探测系统造成除热辐射外的光学波前传输畸变或传输干扰，引起被观测对象图像的偏移、抖动、模糊，这种效应就称为气动光学传输效应。这种效应降低了成像探测系统的效能，导致遥感、探测、导航和制导功能的丧失。因此需要发明新的数字处理技术，改善和恢复成像的品质，将图像进行恢复和校正。

传统图像恢复方法适用于高信噪比图像，对低信噪比图像

发明内容

针对现有技术的缺陷，本发明的目的在于提供用于低信噪比图像序列的频空时域联合去噪与恢复系统，旨在解决现有方法对于低信噪比图像恢复效果差的问题。

为实现上述目的，第一方面，本发明提供了一种用于低信噪比图像序列的频空时域联合去噪系统，该系统包括：

频域去噪模块，用于获取像方含噪目标图像，采用高斯环状滤波算法去噪；

空域去噪模块，用于对频域去噪后的图像，采用梯度最小化的L0平滑滤波算法去噪；

时域去噪模块，用于对空域去噪后的图像，采用连续多帧取平均方式去噪；

所述高斯环状滤波算法具体如下：

(1)对像方含噪目标图像g傅里叶变换并中心化，得到中心化频谱G(u，v)；

(2)构造不同半径的滤波函数H(u，v)；

(3)中心化频谱G(u，v)与不同半径的滤波函数H(u，v)点乘后，对各点乘结果进行逆傅里叶变换，得到去噪图像序列；

(4)从去噪图像序列中选取最优解对应的图像，作为频域去噪后的图像。

优选地，所述滤波函数H(u，v)具体如下：

其中，0＜λ

优选地，构造不同半径的滤波函数H(u，v)具体如下：

选取不同的环状滤波器的小圆半径R

选取不同的环状滤波器的大圆半径R

其中，(x

优选地，所述滤波函数为圆形、椭圆形或者圆形与椭圆形的混合。

优选地，所述选取最优解的准则为：

其中，P

优选地，所述梯度最小化的L0平滑滤波算法中，平滑因子λ用于调节图像的平滑成熟和输出图像与输入图像的相似程度，自适应参数初值β

为实现上述目的，第二方面，本发明提供了一种用于低信噪比图像序列的频空时域联合恢复系统，所述恢复系统包括：

如第一方面所述的去噪系统，用于对像方含噪目标图像进行多域去噪，得到多域去噪图像；

传输效应校正模块，用于采用一阶不变矩约束的最大似然估计方法，校正多域去噪图像；

恢复模块，用于对校正后图像进行传感器去模糊和超分辨率插值，得到最终恢复图像。

优选地，所述恢复模块通过以下方式实现去模糊：

先设置初始点扩散函数对衍射效应造成的模糊进行初步恢复，再对初步恢复图像利用多尺度梯度的方法找到图像的优选区域，然后进行点扩散函数的估计，根据估计的点扩散函数作为全图的点扩散函数，最后结合图像的超拉普拉斯先验进行非盲反卷积复原得到最终结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)针对现有噪声数据混杂在目标图像中且无法将目标频谱与噪声频谱完全剥离，导致图像噪声滤除不完整问题，本发明提出一种用于低信噪比图像序列的频空时域联合去噪系统，本发明首次提出多域联合的概念，先后从频域、空域、时域去噪，其中，频域去噪主要起在保留目标信号的同时，尽可能地去除噪声作用，空域去噪主要起有效的去除残余噪声作用，时域去噪主要起在削弱残余噪声的同时保留目标强度，取得比较好的去噪结果作用，多域联合去噪能够充分发挥各种去噪方法的优势，能够很大程度上去除目标图像中的噪声，保留目标强度；本发明提出高斯环状滤波算法，该算法考虑到噪声/目标的频谱特性差异，采用高斯函数与滤波环结合的方式，能够对环内和环外的低频和高频部分抑制较多，环中的中频部分进行一定程度上的抑制，有效提高去噪效果。

(2)针对现有恢复方法没有考虑到成像物理过程和物方目标的辐射特性，就图像本身研究恢复方法，导致图像恢复效果有待提高问题，本发明提出一种用于低信噪比图像序列的频空时域联合恢复系统，在上述频空时域联合去噪的基础上，采用一阶不变矩约束的最大似然估计方法，校正多域去噪图像，以消除传输效应；采用进行传感器去模糊，能够有效针对成像衍射极限模糊进行恢复，提高恢复效果；采用超分辨率插值，使图像能在恢复一定细节的同时，得到较高的质量。

附图说明

图1是本发明提供的一种用于低信噪比图像序列的频空时域联合恢复方法流程图。

图2是本发明提供的圆形环状滤波器。

图3是本发明提供的椭圆形环状滤波器。

图4是本发明提供的一种改进后不同半径的高斯环状滤波算法流程图。

图5是本发明提供的L

图6是本发明提供的一种初始点扩散函数迭代的图像恢复方法流程图。

图7是本发明提供的3×3大小图像超分辨率插值到6×6大小图像示意图。

图8(a)是本发明提供的中心点在左上边界示意图。

图8(b)是本发明提供的中心点在上边界示意图。

图8(c)是本发明提供的中心点在右上边界示意图。

图9是本发明提供的3×3图像块插值方向示意图。

图10是本发明提供的正反演校正全流程示意图。

图11是本发明提供的2×2斑状目标实验仿真。

图12是本发明提供的2×2序列图像去噪。

图13是本发明提供的4×4斑状目标仿真实验图像。

图14是本发明提供的4×4序列图像去噪。

图15是本发明提供的图像恢复前后结果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

有形状的目标图像，低频成分越丰富，中频成分和高频成分相对较弱；面目标图像，中频成分越丰富，低频成分和高频成分相对较弱；斑点状目标高频成分丰富，低频成分和高频成分相对较弱；静止目标在空域不发生变化，其时频特性保持不变，运动目标在空域发生变化，其时频特性与运动速度相关联。

基于上述特性，如图1所示，本发明提出一种用于低信噪比图像序列的频空时域联合恢复方法，该方法包括：

S1.采用改进后不同半径的高斯环状滤波处理原始含噪目标图像；

S2.基于梯度最小化的L0平滑滤波算法处理频域去噪后图像；

S3.采用连续多帧去噪结果取平均；

S4.采用一阶不变矩约束的最大似然算法校正传输效应；

S5.进行传感器去模糊和超分辨率，得到最终恢复图像。

建立频域环状滤波器

不同的成像传感器工作条件不同，产生的传感器噪声特性各异；建立有泊松噪声模型、白噪声模型、高斯噪声模型、椒盐噪声模型，根据不同的噪声模型建立不同的滤波方法。

根据噪声的频率特性和目标图像的频率特征，建立高斯环状滤波器，高斯环状滤波器的半径可调。高斯环状滤波器有三种：(1)圆形环状滤波器，如图2所示；(2)椭圆形环状滤波器，如图3所示；(3)圆形和椭圆形混合的环状滤波器。

如图4所示，本发明提出一种改进后不同半径的高斯环状滤波算法，具体如下：

(1)对像方含噪目标图像g傅里叶变换并中心化，得到中心化频谱G(u，v)；

(2)构造不同半径的滤波函数H(u，v)；

(3)中心化频谱G(u，v)与不同半径的滤波函数H(u，v)点乘后，对各点乘结果进行逆傅里叶变换，得到去噪图像序列；

(4)从去噪图像序列中选取最优解对应的图像，作为频域去噪后的图像。

设图像分辨率为M×N，图像频谱域为Ω，则有：

Ω＝{(u，v)|1≤u≤M，1≤v≤N}。

首先根据图像频谱，将图像频谱的低频部分表示为区域Ω

其中，0＜λ

F(u，v)＝G(u，v).*H(u，v)

再将F(u，v)做反傅里叶变换，即可得到去噪后图像f。

上述方法中，最主要的步骤是寻找出区域Ω

如上所述，先获取含噪图像g的中心化频谱G(u，v)，环状滤波器的小圆半径为Rs，大圆半径为Rb，滤波函数的中心为(x

低频区域Ω

当选取的Rs和Rb固定时，对于不同的噪声图像，去噪效果不一定是最佳，可能对噪声抑制较弱，去噪后噪声仍然较强，也可能对目标抑制较多，去噪后噪声太弱。因此选取不同的Rs和Rb，构造出不同的滤波函数。利用这些滤波函数，根据公式F(u，v)＝G(u，v).*H(u，v)进行，得到去噪后的图像频谱F，再将F(u，v)做反傅里叶变换，即可得到去噪后图像序列。

环状滤波器优化的噪声频域滤波方法

对于去噪后图像序列，自适应地依据某一准则选取最优解。通常情况下，将去噪后图像的信噪比作为这一准则，但是经过多次试验发现，去噪后，信噪比最大的图像，其噪声很弱，但是信号同样也很弱，不利于图像的后续处理。

因此，本发明改用如下准则：

对于实际噪声图像，目标信号是未知的，但是斑状目标区域的像素均值高于其他区域。因此，在去噪后，遍历图像中所有3×3大小的子区域，选取其中最大的像素均值作为目标功率P

由于斑状目标的频谱的支撑域较大，频域滤波后目标信号也会有一定程度的削弱。其中，t一般取1～2。当噪声比较大时，目标信号相对较弱，需要尽可能多的保留目标信号，突出目标信息，对去噪后的图像进行自适应取优时尽量选取目标强度高一点的图像，因此t应适当的增大；当噪声较小时，对去噪后的图像进行自适应取优时应尽量选取对噪声去除较多的图像，t应适当减小。

空域滤波(L0)滤波器

图像梯度的L

其中，S

二维图像的目标函数为：

/>

其中，I和S分别表示输入图像和输出图像；I

上式中，第一项是关于图像全局离散量的统计，第二项是有关像素级梯度模值的计算量，因此该目标函数不易求解。

为方便求解上述目标函数，引入辅助变量h

其中，C(h，v)＝#{p||h

为了计算S，去除与S无关的第二项，得到：

为了计算(h，v)，去除公式中与(h，v)无关的第一项，得到：

本发明采用如图5所示的L

L

(1)输入图像I，平滑因子λ，参数β

(2)初始化：S←I，β←β

(3)迭代：由S

(4)输出结果图像S。

试验结果表明：当β

对于频域滤波后的斑状目标图像，噪声并不能完全消除，但是已经被削弱很多，信噪比有了很大的提高。频域滤波后，剩余目标强度明显高于残余噪声，因而目标区像素点的梯度要明显高于残余噪声的梯度，因此可以利用L

L

时域滤波

在噪声比较强的情况下，由于添加的噪声较强以及噪声的随机性，对于斑状目标图像的去噪可能出现以下情况：

(1)噪声对目标强度严重削弱的情况，导致目标强度很弱，支撑域较小，可能会被误判为噪声而被滤掉；

(2)噪声太强，不能被完全滤除掉，去噪后图像中存在很多强度较高的残余噪声。

当噪声太强时，目标强度可能会被削弱很多，支撑域也可能缩小，系数t应适当增大。频域滤波后，目标点的灰度值不够大，目标点的梯度也不够大，如果在后续的L

但是，λ取值过小，对残余噪声的去除效果有限，会导致最终去噪后存在较多和较强的残余噪声。

在成像系统中，噪声是随机变化的。因而，不同时刻的图像，最终去噪后存在的残余噪声，其位置、强度都不尽相同，而一定帧数以内的噪声图像序列中，目标的位置和强度都比较稳定，去噪后目标的位置和强度也比较稳定，根据这一特点，可以对连续的多帧去噪结果取平均，可以明显削弱残余噪声，同时保留目标强度，取得比较好的去噪结果。

一阶不变矩约束的最大似然校正

最大似然估计方法通过寻找最相似于退化图像的点扩展函数和目标图像，并利用图像和点扩展函数的交替迭代方式估计出点扩展函数和目标图像。

但是，该算法的数值实现过程中，采用矩阵范数作为迭代的误差控制准则，这一准则不能表达图像中具体目标的结构特性，从而不能保证迭代是向目标清晰的方向进行，进行影响了恢复算法的性能，丢失了图像的边缘和细节信息。本发明采用Hu矩作为迭代控制准则，有效控制了迭代过程的方向，更大程度地保留了恢复图像的边缘和细节信息。

特别情况下，利用F范数作为迭代的误差控制准则，不能很好地表征图像的信息，特别是图像的细节和边缘信息。根据图像的具体特性，可以采用更为有效的图像指标作为跌打的误差控制准则，以提高迭代估计出的图像的质量。

Hu的7个不变矩定义为：

C

C

C

C

C

C

C

Hu矩已经被证明了具有平移、比例和旋转不变性，但是实测图像往往带有一定的模糊，下面将讨论Hu矩在大气湍流作用下的变化情况。高斯卷积后Hu的第一个不变矩C

由于大气湍流流场的点扩展函数可以看作是多个高斯函数的加权和，即：

其中，h(x，y)是大气湍流流场的点扩展函数，h

可以推出，图像经过大气湍流流场作用后，Hu的第一个矩将会增加，因此，图像的C

结合最大似然估计算法的原理，具体的迭代方法如下：

(1)设定迭代的参数，如目标图像与点扩展函数初值、最大迭代次数等。

(2)根据公式对点扩展函数进行迭代。

(3)根据公式对目标图像进行迭代。若迭代后图像的C

(4)判断迭代结果是否达到容许误差。若未达到，则转入(2)，否则，迭代完成，输出迭代结果。

在第(3)步中，考虑到数字图像的离散性，计算出的矩可能与理论存在一定误差，因此在该步中可适当容许迭代后图像的C

图像超分辨率插值方法

利用成像传感器的衍射极限模型对上述结果作进一步去模糊，再做超分辨率插值。

由于在成像时存在光的衍射效应会造成图像模糊，即衍射点扩散函数造成的模糊，这种模糊是客观存在的，并且红外波长较长，不能忽视衍射效应。此外还有成像仪器和目标之间在运动过程中形成的运动模糊，光线经过大气湍流产生气动光学模糊等因素，这些综合影响最终导致成像模糊。因此在提高图像的分辨率前，图像的模糊必须进行去除，否则模糊的像素将影响超分辨率的结果。

因此，本发明采用一种初始点扩散函数迭代的图像恢复方法，如图6所示，先设置初始点扩散函数对衍射效应造成的模糊进行初步恢复，然后对初步恢复图像利用多尺度梯度的方法找到图像的优选区域，再进行点扩散函数的估计，根据估计的点扩散函数作为全图的点扩散函数，最后结合图像的超拉普拉斯先验进行非盲反卷积复原得到最终结果。

之后再对于去模糊后的图像采用拟合双二次多项式的方法作超分辨率插值：

(1)输入低分辨率图像f(x，y)、图像块M(r，c)、放大因子SR。

(2)初始化：M

(3)for i＝1∶M

(4)滑动图像块B←M(r，c)；

(5)构造AX＝B，计算X；

(6)计算i

(7)

(8)更新参数i

(9)输出：g(i，j)。

本发明提出的多项式函数，根据低分辨率图像可以插值出大量的像素，即恢复出更多的细节信息。

图像的分辨率可理解为一幅图像的水平方向像素点和垂直像素点，如水平方向的像素点和垂直方向的像素点均为256个时，该图像的分辨率为256×256，也可称图像大小、图像尺寸为256×256。对该图像提高一倍分辨率，即放大因子为2时，图像大小为512×512。考虑到分辨率的提升实质上是对像素点的扩充，从而恢复出高频信息。本次考虑利用低分辨率图像像素点本身信息和周围八邻域像素信息的特征，进而提高分辨率。如图7所示，大小为3×3的图像提高一倍分辨率的示意图，通过利用某个低分辨率图像像素点本身和其周围八个像素点的信息，将每个低分辨率像素点扩充至四个像素点，即高分辨率的像素点，从而形成大小为6×6的超分辨率图像。

根据提高分辨率的倍数，即放大因子的值，确定低分辨率图像像素点需要扩充的个数。通过在每个像素点行和列方向上创建一个更细的网格，网格中的数值通过多项式函数得到高分辨率像素点信息，网格的大小取决于放大因子的大小。

基于上述细分网格区域分析，可将低分辨率的输入图像划分为若干个3×3大小的图像块。采用双二次多项式函数控制细小化网格，构造插值曲面。

另外考虑到图像块大小为3×3，当中心像素为图像的边界时，采用一种以中心像素点对称赋值的方法。如图8(a)所示，中心f(r，c)为左上边界像素时，图像块中九个点取值包括虚线框部分f(r+1，c+1)、f(r+1，c)、f(r+1，c+1)、f(r，c+1)、f(r，c)、f(r，c+1)、f(r+1，c+1)、f(r+1，c)、f(r+1，c+1)。类似的中心点在上边界如图8(b)所示，在右上边界如图8(c)所示，其它边界情况以此类推。

通过将低分辨率图像分成许多3×3大小图像块，利用插值模型对图像块中的缺失像素进行估计，在估计的过程中，3×3图像块有重叠的部分如图9所示，保证了图像块之间的平滑连接，插入的像素点铺满整个超分之后的图像，按照低分辨率图像的方式，先从左方到右方，再从上方到下方，遍历低分辨率图像每个图像块，最终完成分辨率的提升。

建立正反演模型

复杂气动湍流会造成成像复杂退化，使复杂气动光学效应图像校正具有高维性、空变性和病态性三大技术瓶颈特性，为了突破这些瓶颈，本发明建立了气动光学图像正/反演校正模型，揭示了目标图像在气动光学随机多变量调制下的畸变机理，发明了气动湍流空变模糊核估计方法，提出多维度递归综合反演校正框架，首创多域联合图像智能校正技术。

高动态条件显著增加了图像气动光学效应校正问题求解难度维度，即高维难度。根据正演模型，到达传感器的图像是物方目标辐射、散射的光学/红外波段时-空维的电磁能量，经过广义外场可变光学系统，进入探测光学系统，还可能融入了窗口附近湍流的模糊效应干扰、红外/光学成像传感器响应非均匀性干扰、读出电路电子学噪声等。这种高维度的复杂性，使气动光学效应校正识别跟踪和测量看起来极其复杂，我们发现物方目标的特性与成像过程中的多种不利干扰，在频域-空域-时域-知识域-模型域上具有近似可分性。据此，本发明创建了高动态条件成像物理模型和知识约束的多维度降维递归综合校正技术。逐步求逆过程中，序贯执行多个低维度操作，递归的达到满意解。正反演校正全流程如图10所示。

根据本发明建立的正演模型，建立出针对各种模型的新型反演模型，其中系统噪声滤除采用高斯环状频率滤波，L0平滑空域滤波以及时域滤波关联模型来进行噪声滤除，传输效应校正本发明采用一阶不变矩约束的最大似然估计方法来进行校正，最后再针对恢复后的图像来进行传感器去模糊和超分辨率，使图像恢复效果更好。

传统正反演模型中正演假设未反映成像物理实质，噪声干扰混杂于数据中，污染反演过程，反演解空间大，不收敛；本发明正反演模型中正演有效表达物理实质，噪声干扰逐级剥离，降维反演，分阶段收敛。

以低信噪比情况下2×2斑状目标图像去噪为例，以下为2×2斑状目标图像，经过本发明改进后的高斯环状频域滤波后，再L0空域平滑滤波后的结果显示如表1和图11所示：

表1 2×2目标模糊图像去噪前后图像SNR

2×2图像多帧去噪结果求平均如表2和图12所示：

表2去噪前后图像信噪比

以低信噪比情况下4×4斑状目标图像去噪为例，以下为4×4斑状目标图像，经过本发明改进后的高斯环状频域滤波后，再L0空域平滑滤波后的结果显示如表3和图13所示：

表3 4×4目标模糊图像去噪前后图像SNR

4×4图像多帧去噪结果求平均如表4和图14所示：

表4去噪前后图像信噪比

从上述实施效果可以看出：

1)斑状目标图像在频域具有较大的支撑域，目标频谱呈类高斯状，噪声的添加使得图像在频域各个部分都有不同程度的增加，高频和低频成分增加显著。

2)在频域滤波的过程中，选取环状大小不同的滤波函数，经过去噪处理后，取最优解，图像中噪声的颗粒感被显著去除。同时，去噪后图像的信噪比也有明显的提高，验证了算法的有效性。

3)与简单的环状滤波函数相比，改进的高斯环状频域函数可以在保留目标频谱的基础上进一步抑制噪声频谱，使得该算法能更好地去除噪声，去噪后图像的信噪比进一步提升。

4)频域滤波后的斑状目标图像，目标区的强度明显高于残余噪声。利用L

5)当噪声过强时，对频域滤波后的图像进行L

6)未去噪的图像直接校正后噪声很强，无法准确识别出目标点；去噪后并增强后再校正的图像，目标强度很高，去噪效果比较明显，校正后的图像目标便于识别。

恢复前后实施效果如图15所示，由此可见，本发明对与图像序列的恢复具有明显的效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。