一种包含噪声估计的卷积盲去噪方法

摘要

本发明公开了一种包含噪声估计的卷积盲去噪方法，具体包括如下步骤：步骤1，指定待训练图像的数据集；步骤2，对步骤1得到的待训练数据集进行特征提取；然后利用提取的图像特征进行图像去噪；步骤3，利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。本发明通过将含未知噪声类型的真实图片输入卷积神经网络进行噪声估计并去除，得到不含噪声的干净图像。

说明书

技术领域

本发明属于图像处理与识别方法技术领域，涉及一种包含噪声估计的卷积盲去噪方法。

背景技术

图像是人类传递信息的主要媒介。然而，图像在生成和传输的过程中会受到各种噪声的干扰，对信息的处理、传输和存储造成极大的影响。噪声的种类有很多，如：电噪声、机械噪声、信道噪声等等。为了抑制噪声，改善图像质量，便于更高层次的处理，必须对图像进行去噪处理。

噪声在理论上可以定义为“不可预测，只能用概率统计方法来认识的随机误差”，这极大的影响了噪声的去除。经过数十年的研究，已经开发出许多有前途的方法，并且取得了不错的效果。但在真实图片中，由于噪声未知所以对真实图片的噪声去除依然是一个具有挑战性的问题。

发明内容

本发明的目的是提供一种包含噪声估计的卷积盲去噪方法，该方法通过将含未知噪声类型的真实图片输入卷积神经网络进行噪声估计并去除，得到不含噪声的干净图像。

本发明所采用的技术方案是，一种包含噪声估计的卷积盲去噪方法，具体包括如下步骤：

步骤1，指定待训练图像的数据集；

步骤2，对步骤1得到的待训练数据集进行特征提取；然后利用提取的图像特征进行图像去噪；

步骤3，利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。

本发明的特点还在于：

步骤1中，选取来自不同数据集的样本图像组成训练样本图像数据集；在训练过程中，针对特定训练样本图像数据集，采用与该训练样本图像数据集对应的噪声模型函数。

步骤1中，采用来自Nam数据集的图像进行训练时，使用的噪声函数为：

y＝JPEG(f(DM(L+n(L)))) (1)；

采用来自DND和NC12数据集的图像进行训练时，采用的噪声函数模型为：y＝f(DM(L+n(L))) (2)；

其中，公式(1)、(2)中，f()表示相机响应函数，DM()表示去马赛克函数，L＝Mf

步骤2的具体过程为：

步骤2.1，首先训练噪声估计子网；

噪声估计子网为5层全卷积网络，设置每个卷积层中的特征通道数量为32，卷积核的大小为3×3，将从步骤1得到的数据集输入到噪声估计子网中进行卷积操作然后采用ReLU激活函数对待训练的图像矩阵进行激活，输出激活后的图像矩阵

步骤2.2，将从步骤2.1得到的图像矩阵与原始输入的图像一同输入到卷积去噪子网中，使用残差学习的方式学习残差映射

步骤2.2的具体过程为：

步骤2.2.1，输入2.1得到的图像矩阵

步骤2.2.2，对步骤2.2.1得到的结果采用2×2的pooling进行下采样，输出通道数为128的图像矩阵；

步骤2.2.3，对步骤2.2.2得到的结果采用3×3的卷积核进行卷积，然后利用ReLU进行激活输出通道数为128的图像矩阵；

步骤2.2.4，对步骤2.2.3得到的结果采用2×2的pooling进行下采样操作，输出通道数为256的图像矩阵；

步骤2.2.5，对步骤2.2.4得到的结果采用3×3的卷积核进行卷积然后利用ReLU激活函数进行激活输出通道数为256的图像矩阵；

步骤2.2.6，对步骤2.2.5得到的结果进行反卷积然后与步骤2.2.3得到的结果相加输出通道数为128的图像矩阵；

步骤2.2.7，对步骤2.2.6得到的结果进行卷积再利用ReLU激活函数进行激活，输出通道数为128的图像矩阵；

步骤2.2.8，对步骤2.2.7得到的结果进行反卷积并和步骤2.2.1的结果相加，输出通道数为64的图像矩阵；

步骤2.2.9，对步骤2.2.8得到的结果进行卷积，然后利用ReLU激活函数进行激活，得到通道数为64的图像矩阵；

步骤2.2.10，对步骤2.2.9得到的结果利用1×1的卷积核进行降维得到降噪结果。

步骤3中，损失函数如下公式(3)所示：

L＝L

其中，

本发明的有益效果如下：

1.本发明考虑了图像的生成以及压缩过程，针对特定的处理过程提出了相应的噪声模型函数，大大提高了去噪效率；

2.本发明在进行网络训练的过程中，同时引入了合成的噪声图像和真实的噪声图像，以更好的表征真实世界的图像噪声并提高去噪性能；

3.本发明的网络结构具体有两部分组成：噪声估计子网和去噪子网。得益于噪声估计子网的引入能够使我们再将估计的噪声水平图输入去噪子网之前对其进行调整实现了交互式去噪；

4.本发明针对网络结构设置了特定的损失函数，在去除图像噪声的同时对图像的边缘结构有一定的保护。

附图说明

图1是本发明一种包含噪声估计的卷积盲去噪方法的流程图；

图2是本发明一种包含噪声估计的卷积盲去噪方法的网络结构图；

图3是本发明一种包含噪声估计的卷积盲去噪方法中噪声估计子网的结构简化图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种包含噪声估计的卷积盲去噪方法，如图1所示，具体包括如下步骤：

步骤1、获取待训练图像；

原始训练图像取自于NC12、DND、Nam。使用到的噪声类型有：高斯噪声、泊松噪声、椒盐噪声。以及本文所提出的真实噪声模型：

y＝f(DM(L+n(L))) (1)

y＝JPEG(f(DM(L+n(L)))) (2)

式中，f()表示相机响应函数，DM()表示去马赛克函数，L＝Mf

首先从NC12、DND、Nam这三个数据集中随机选取一张干净图像，生成随机类型以及随机水平的噪声，并将噪声添加到原始干净图像上。特别的，在采用我们所提出的噪声模型时针对NC12、DND数据集采用公式(1.1)因为这两个数据集中的图像是没有经过压缩的，针对Nam数据集中的图像我们采用公式(2)来添加噪声。然后就有了一组干净和含噪声的图像对可以当做训练样本。

步骤2，对步骤1得到的待训练数据集进行特征提取；然后利用提取的图像特征进行图像去噪；

如图2网络结构图所示，包含噪声估计的卷积盲去噪网络由噪声估计子网和卷积去噪子网两部分构成，在训练网络进行特征提取的过程中，我们先训练噪声估计子网。图3为噪声估计子网的结构简化图。

噪声估计子网是一个简单的5层全卷积网络，在每个卷积层中，特征通道的数量我们设置为32，卷积核的大小我们设置为3×3，同时使用ReLU激活函数，具体为：f(x)＝max(0,x)。将训练图像输入噪声估计子网，经过5层卷积层提取噪声特征输出噪声水平图

随后将得到的噪声水平图与原始输入的训练图像一起输入到卷积去噪子网络中。在完成噪声估计子网的训练之后，连接上卷积去噪子网络，在进行端到端的完整网络训练，固定从上一步中训练好的噪声估计子网的参数，只调整卷积去噪子网的参数。本发明采用了β

具体操作为：

(1)输入2.1得到的图像矩阵

(2)对上一步得到的结果采用2×2的pooling进行下采样，输出通道数为128的图像矩阵；

(3)对上一步得到的结果采用3×3的卷积核进行卷积，然后利用ReLU进行激活输出通道数为128的图像矩阵；

(4)对上一步得到的结果采用2×2的pooling进行下采样操作，输出通道数为256的图像矩阵；

(5)对上一步得到的结果采用3×3的卷积核进行卷积然后利用ReLU激活函数进行激活输出通道数为256的图像矩阵；

(6)对上一步得到的结果进行反卷积然后与(3)得到的结果相加输出通道数为128的图像矩阵；

(7)对上一次操作得到的结果进行卷积再利用ReLU激活函数进行激活，输出通道数为128的图像矩阵；

(8)对上一步操作得到的结果进行反卷积和(1)的结果相加，输出通道数为64的图像矩阵；

(9)对上一步得到的结果进行卷积，然后利用ReLU激活函数进行激活，得到通道数为64的图像矩阵。

(10)将上一步得到的结果利用1×1的卷积核进行降维得到降噪结果。

步骤3，利用损失函数对步骤2得到的去噪图像进行训练得到不含噪声的图像。

将训练好的模型保存下来，然后进行盲卷积去噪，具体步骤：

输入初始的含噪声图像，首先利用噪声估计子网对这个含噪声图像进行噪声水平估计；将初始含噪图像和噪声水平估计一起输入到卷积去噪子网络中进行去噪，输出噪声残差图像；利用初始的含噪图像减去噪声残差图像，获得去噪后的干净图像。

在训练的过程中为了避免在噪声水平图上出现欠估计误差，我们给定像素i处的估计噪声水平

此外，在噪声估计子网中引入全变分正则项来约束噪声估计水平

最终的损失函数可以表示为：

L＝L

其中λ

计算经过去噪后图像的PSNR值和SSIM值，并与现有方法进行比较可以看出无论是主观评价还是客观标准均有一定提高。