一种面向微光图像序列中椒盐和高斯混合噪声的去除方法

摘要

本发明公开了一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，该方法主要包括：获取每帧信息，并进行不同尺度的自适应中值滤波得到多个新的帧信息(S1)；将多个帧信息进行合并，得到一个帧信息(S2)；利用变换域块匹配三维滤波算法(VBM3D)对S2得到的帧信息进行处理，获得初步降噪后的帧信息(S3)；利用保边缘滤波方法对初步降噪后的每一帧信息进行平滑处理，获得最终降噪后的帧信息(S4)。本发明方法所得到的降噪后微光图像序列清晰度高，降噪效果好。

说明书

技术领域

本发明涉及一种微光图像序列的降噪方法，尤其涉及一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，属于数字图像处理技术领域。

背景技术

微光图像源于目标及其周围背景对夜晚自然辐射照明的反射，其显著的特征是在图像画面上叠加有明显的随机闪烁噪声，且照度越低，噪声表现越严重。低照度下输出的微光图像在军事侦察、目标瞄准及成像制导等应用中，不利于观察识别。为了提高微光成像系统的性能，有必要对图像进行噪声处理，以达到提高信噪比，提升视觉效果，增加作用距离的目的。

微光夜视系统的噪声主要来源于图像增强器。噪声可以分为两大类：一类称为电子噪声，它是图像增强器正常工作期间由电子流和光子流所固有的随机性起伏产生的噪声，表现为整幅图像画面上基本均匀的、极细微的粒子移动。另一类称为离子噪声，或称雪花噪声，它基本上存在于设计与制造不尽完善的像增强器中，是由处于电子光学成像场区中的离子被反向加速、轰击光电阴极，局部成群电子逸出所产生的噪声。这些离子来源于管壁、金属零件表面和微通道板内部，在吸附与解吸大致动态平衡的过程中被不断解吸。这种噪声从出射屏的图像外观看，犹如片片雪花随机地飘浮在画面上，并在它出现之处显著改变该处图像的细节和对比。雪花闪烁一般呈不规则斑片状，大小约占几个甚至十几个像素。

其中，离子噪声是非固有的，通过改善光电阴极、MCP、器件电极的制造工艺及保证真空度是可以消除的，若在上述步骤中未能有效去除，可以通过图像处理技术加以抑制。而电子噪声是固有的，只能通过图像处理技术加以抑制。

噪声历来都分别被单一地描述为时间域随机过程和空间域随机过程，但在成像系统中，图像噪声实际上应按时空域随机过程统一描述。其中，高斯噪声和椒盐噪声是最常见的两种噪声形式。针对高斯噪声，研究者提出使用各种滤波器进行降噪，这些方法分为基于局部均值的滤波和基于非局部均值的滤波方法。基于局部均值的滤波通过局部窗口像素加权平均获得中心像素值，其权重可以固定，也可以通过图像内容自适应获得。其主要依赖各种空间滤波器，例如，均值滤波器、高斯滤波器、顺序统计滤波器、维纳滤波器、各向异性滤波器、双边滤波器等。近年来，研究者发现可以利用遥感图像本身的自相似性进行图像降噪，该类方法利用任意一块小窗口图像块会有许多与之相似的图像块的思想，使用块匹配方法获取滤波权重，取得了很好的降噪效果。通过将自相似思想扩展到频率域研究者提出使用块匹配三维滤波(VBM3D)。该方法首先将图像分成一定大小的小块，寻找图像内和帧间的相似小块形成三维数组，然后通过小波硬阈值和维纳滤波有效的去除噪声。而对于只有椒盐噪声的图像，传统的中值滤波算法及其改进算法可获得良好的结果。然而，在现实生活中，图像受到的噪声不只有一种，有些获得的图像往往含有高斯和椒盐混合噪声，针对某一种特定噪声的方法，在这种混合噪声的情形下效果不理想。

在此背景下，研究一种可以处理微光图像序列中高斯-椒盐混合噪声的降噪方法具有重要意义。

发明内容

本发明实施例提供了一种微光图像降噪方法，用以解决目前通过单一的方法无法去除高斯和椒盐混合噪声的情况。针对现有技术存在的问题，本发明实施例提供了一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，包括如下步骤：

(1)获取每帧图像，并对这帧图像进行多种滤波半径的自适应中值滤波得到多个新的帧图像；

(2)将步骤(1)中对应的多个帧图像进行融合，得到一个融合后的帧图像；

(3)利用变换域块匹配三维滤波算法(VBM3D)对经步骤(2)得到的融合后帧图像进行降噪处理，获得初步降噪后的帧图像；

(4)利用边缘保持滤波方法对经步骤(3)得到的初步降噪后的帧图像进行平滑处理，获得最终降噪后的帧图像。

如上所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，其特征在于所述步骤(1)中，使用3种滤波半径进行自适应中值滤波处理，三种半径的尺寸设定为r1＝W/40，r1＝W/60，r1＝W/120，W为宽度和高度中较小的值。

如上所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，所述步骤(2)中，使用平均加权的方法对多个帧图像进行融合。

如上所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，所述步骤(3)中，在执行变换域块匹配三维滤波算法的图像块匹配分组过程中，采用限定搜索区域范围和判断的方式动态设定匹配数量阈值，如果在之前设定的区域没有搜索到足够数量的相似块，在一定程度上扩大搜索范围，并且增加滑动窗的移动步长，来降低运算复杂度，减少三维数组中冗余的存储数据，加快图像块分组匹配环节的处理速度。

如上所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，边缘保持滤波方法使用引导滤波。

如上所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，其特征在于所述的保边缘滤波使用的半径与图像的宽度和高度中较小的值成比例关系，其关系为r＝W/36，其中r为保边缘滤波的半径，W为宽度和高度中较小的值。

附图说明

下面结合附图和具体实施方式对本发明作进一步的说明。

图1为本发明所述的一种面向微光图像序列中椒盐和高斯混合噪声的去除方法流程图。

图2为根据本发明的降噪方法得到的效果示意图，其中，图2(a)表示原始图像，图2(b)表示含噪图像，图2(c)表示本发明方法获取的降噪后图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种面向微光图像序列中椒盐和高斯混合噪声的去除方法，所述方法包括如下几个步骤：

1.获取每帧图像，并对这帧图像进行多种滤波半径的自适应中值滤波得到多个新的帧图像；

当椒盐噪声和高斯噪声同时存在的时候，应当先去除椒盐噪声。这是因为，高斯噪声的去除会改变椒盐噪声的分布，给椒盐噪声的去除增加新的困难，而椒盐噪声的去除不会影响高斯噪声的分布情况。另外，由于所含椒盐噪声的程度不同，为了提高方法的去噪能力，本发明使用多种滤波半径的自适应中值滤波分别去除椒盐噪声。根据实验效果，我们发现滤波的最优半径与图像的尺寸存在一定的关系，本发明的实施例中，三种半径的尺寸设定为r1＝W/40，r1＝W/60，r1＝W/120，W为宽度和高度中较小的值。

自适应中值滤波包括三个部分：(1)对图像各区域进行噪声检测；(2)根据各区域受噪声污染的状况确定滤波窗口的尺寸；(3)对检测出的噪声点进行滤波。

I_x表示一个将被处理的子图像，令：

q_min表示I_x中的最小亮度值

q_max表示I_x中的最大亮度值

q_med表示I_x中的亮度中值

q_x表示坐标x处的亮度值

自适应中值滤波算法工作在两个层面，表示为levelA和levelB：

LevelA：若q_min<q_med<q_max,则转向levelB

否则增加窗口尺寸

若窗口尺寸≤W_max，重复levelA

否则输出q_med

LevelB：若q_min<q_x<q_max,则输出q_x

否则输出q_med

其中，W_max表示允许的最大自适应滤波器窗口大小。LevelA最后一步的另一种选择是输出q_x来代替中值。这将产生一个稍微清楚一些的结果，但是却可能探测不到与椒盐噪声值相同的，内含于常数背景中的椒盐噪声。

2.将步骤1中对应的多个帧图像进行融合，得到一个融合后的帧图像；

出于保证同时兼顾步骤1中三种尺度的优点考虑，本发明使用加权平均的方法合并多尺度滤波后的信息，并且权重设置为1/3。

3.利用变换域块匹配三维滤波算法(VBM3D)对经步骤2得到的融合后帧图像进行降噪处理，获得初步降噪后的帧图像；

VBM3D是基于图像序列在变换域的一种加强的稀疏表示。这种稀疏表示充分利用了时域和空域上的相关性，算法分为2大部分，每个部分均包含分组、变换域协同滤波和整合3个步骤。下面分别介绍这3个步骤。

第1部分:通过分组和协同硬阈值滤波获得基本的估计。

1A.对每一个对应的x∈X_R，实施：

(a)S_x＝PS-BM(Z_x).

(b)是一组基于块的估计

1B.利用加权公式通过整合基于块的估计生成初步的估计

第2部分：通过对最初估计进行分组和协同维纳滤波获得最终的估计。

2A.对每个对应的x∈X_R，实施：

(a)

(b)

2B.利用权重整合||·||₂代表-范数。

注释：

是要处理的参考块的集合。

Z_x代表N₁×N₁的块，其左上角为x，是位于x‘的块的估计，由处理参考块Z_x时获得。是位于x由初步估计抽取获得。

S_x＝PS-BM(Z_x)执行预测块匹配，其中Z_x为参考块。结果S_x为包含匹配块坐标的集合。

是由叠加在一起形成的组。的含义类似。组的大小为N₁×N₁×|S_x|。

表示使用3D线性变换。表示在变换系数上应用硬阈值滤波，阈值为λ_3Dσ，λ_3D为固定的阈值。

N_har(x)为硬阈值滤波后非零的系数个数。

W_2D是一个2D的凯泽窗口，其大小为N₁×N₁。

传统VBM3D算法在进行视频降噪时，需要针对某一个参考块，在帧内以及帧间的搜索范围内通过块匹配的方法来搜寻它的相似块，这种搜索方法计算量非常大。对大分辨率的图像序列而言，性能和实时性是一对互相制约的因素，需要考虑如何快速的实施。该算法的计算量相当大，而块匹配的计算量占据了最多的比例。所以，对于实时的应用而言，必须要对块匹配进行加速。

影响运算处理速度的因素可以归结为以下几个方面。第一，核心处理运算构架复杂。这部分主要取决于VBM3D的核心思想，处理的两个大步骤，即基础估计和最终估计。其中最需要计算量的便是硬闽值滤波和协同维纳滤波的二维Bior小波变换、二维余弦变换、一维Haar小波变换以及对应反变换。对核心运算的优化方法只能对具体的变换域处理进行优化，因为VBM3D核心思想的主导作用，所以仅仅靠对具体细节算法优化带来的效果并不是很理想。第二，中间处理的缓冲数据过多。这部分体现最明显的便是图像块匹配分组聚合。因为对整幅图像的像素点的估计都要涉及到，所以参考块的移动便是以一个像素点为步长，但对每个参考块的相似块的查找却是在整幅图像中的。因此，本节给出两种半局部化的方法，以便加快运算速度。

(1)限定搜索区域范围。经研究发现，自然界中的图像的相似度具有一定程度的连续性，即相似度较高的图像块在整幅图像的空间位置上也会相对集中，大多数图像都符合这样的规律。所以在查找与参考块匹配的相似块时都能在附近的一定范围内获取比较满意的数量和相似度在图像块窗口滑动查找相似块时限定与参考块的空间区域的范围从而减少运算复杂度，所以称之为半局部匹配法。

(2)限定块匹配数量。在原始VBM3D对大量图像的去噪算法分析中，在图像块匹配分组中的三维数组中的相似块都是过完备的，在三维变换的变换域中是稀疏的，这也正是我们使用三维变换而不是二维变换的主要原因，变换域的三维矩阵只通过非常少量的非零元素组合表示出来，也就是对我们实际操作中查找相似块的数量不需要很多就能聚集足够的变换域非零元素。此方法在具体实现中可以有两种表现形式。第一，可以在对每个参考块直接限定搜索数量，根据多次仿真分析设定数量值，达到足够数量即可结束。第二，可以和方法(1)限定搜索搜索区域范围配合使用，采用判断的方式动态设定匹配数量阈值，如果在之前设定的区域没有搜索到足够数量的相似块，在一定程度上扩大搜索范围，并且增加滑动窗的移动步长一般第二种方式在实际算法设计中更加灵活，来降低运算复杂度，减少三维数组中冗余的存储数据，加快图像块分组匹配环节的处理速度。

4.利用边缘保持滤波方法对经步骤3得到的初步降噪后的帧图像进行平滑处理，获得最终降噪后的帧图像。

在经过自适应中值滤波和VBM3D方法处理之后，微光图像序列会出现少量块效应，为了消除它们，本发明的实施例使用算法复杂度为O(n)的保持边缘滤波器—引导滤波。

引导滤波是基于局部线性模型来实现的，在局部线性模型中，设输入图像为p，引导图为I，滤波输入图像为o，局部线性模型假设在以中心像素k的邻域窗口w_k存在如下线性关系：

其中w_k是已边长为radius的方形窗口，a_k和b_k是邻域窗口w_k中的线性系数，I_i为引导图像在邻域窗口w_k中的像素值，o_i为邻域窗口w_k中的滤波输出。系数a_k和b_k可通过求取输入图像p和输出图像o的最小化差值来确定，即使得式(2)达到最小。

上式中E(a_k,b_k)为邻域窗口w_k中的代价函数的输出，p_i为输入图像在邻域窗口w_k中的像素值，ε为一个惩罚性的方差调整参数，其目的是防止a_k取值过大。线性回归求解上式可得：

式中，μ_k和分别是引导图像I在邻域窗口w_k的均值和方差。|w|为邻域窗口w_k中的像素个数，是输入图像p在邻域窗口w_k中的均值。

由于每一个像素点会包含在多个邻域窗口w_k中，在不同邻域窗口w_k中计算得到的o_i也不同，故需要对o_i进行平均处理，通过计算所有窗口中的a_k和b_k，滤波输出式为：

其中，分别为a_k,b_k在点i处的所有重叠邻域窗口的平均值。

需要说明的是，以上公开的仅为本发明的具体实施实例。根据本发明所提供的技术思想，本领域的普通技术人员所能思及的变化应落入本发明的保护范围内。