一种基于深度学习的深度图像去噪及增强方法

摘要

本发明公开了一种基于深度学习的深度图像去噪及增强方法，包括：构建深度图像去噪及增强卷积神经网络，该网络由三层卷积单元组成，分别完成输入图像的特征提取，非线性映射以及图像重建的功能。联合地使用深度和视觉图像作为卷积神经网络的输入，其中，对于视觉图先灰度化为灰度图像，将经过图像预处理来增强边缘信息和取出冗余的信息。对于深度图像，按照一定间隔切分为图像块，采取旋转和像素翻转数据扩充的方法增加有效地数据，并丢弃其中的干扰块和冗余块。基于权重图的损耗训练深度图像增强卷积神经网络，自适应地提升网络的学习效率。本方法可以实时地对带噪深度图像进行黑点填充和去噪，并取得很好的视觉效果和深度值恢复效果。

说明书

技术领域

本发明涉及图像处理领域，尤其是指基于深度学习的深度图像去噪及增强 方法。

背景技术

随着便携平价的深度摄像头的发展，深度图像在图像处理领域的基础研究 和应用有着越来越重要的意义。通过应用深度图像上的信息，可以提升机器视 觉领域中相关研究和应用的表现，比如，图像分割，物体追踪，图像识别，和 图像重建等。

但是，由于现有深度摄像头技术原理的限制，从其中获取的深度图像的质 量不如视觉图，存在很多噪声干扰，通常是一些随机噪声和在物体边缘和黑色 表面等处所产生不同形状的“黑洞”，即丢失了深度信息的区域。这些问题对深 度图像的深度信息的应用造成了干扰。因此，要得到较精确的信息，则需要对 深度图像进行深度增强处理，在传统的深度图像增强的方法，一般地，包括深 度填充和基于超像素的深度图像增强，这些方法基于传统的图像处理方法，计 算代价较大，深度图像去噪及增强处理速度不满足应用的实时性要求。

随着近些年高效的GPU计算的发展，应用深度学习来解决传统的研究问题 显得更加方便可行。而深度卷积神经网络越来越被广泛使用在图像处理上的各 种问题上，并取得了显著的效果。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供一种满足实时性要求 的深度图像去噪及增强方法，能有效解决深度图像去噪及增强处理速度较慢和 深度值恢复效果较差的问题。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的深度 图像去噪及增强方法，包括以下步骤：

1)选取干净的深度图像及其对应的视觉图像和带噪的深度图像，构建网络 训练集，具体步骤如下：

1-1)视觉图像灰度化为灰度图像；

1-2)对灰度图像进行图像预处理后，以干净的深度图像及其对应的灰度图 像和带噪的深度图像为一组，对每一组图像进行切割，从而得到由图像块组成 的训练集；

1-3)丢弃训练集中的干扰图像块组；

1-4)对训练集中的每组图像块随机旋转一定角度并对其像素值进行翻转， 扩充训练集；

1-5)丢弃冗余的噪深度图像块；

2)构建深度图像增强卷积神经网络，由三层卷积单元组成，其输入为带噪 深度图像块和对应的灰度图像块，输出为增强后的深度图像块；

3)采用误差反向传播算法训练所述深度图像增强卷积神经网络，并基于权 重图计算损耗，从而得到深度图像去噪及增强网络模型；

4)将测试集中带噪的深度图像及其对应的视觉图灰度化为灰度图进行图像 预处理后，输入到深度图像去噪及增强网络模型，输出去噪及增强后的深度图 像。

在步骤1-2)中，所述图像预处理为对灰度图像依次进行直方图均衡化、双 边滤波器滤波、Sobel算子提取边界、基于分水岭算法的分割、分割块平均值填 充、像素量化处理。

在步骤1-2)中，所述对每一组图像进行切割，具体地，对每张带噪的深度 图像，以一定的间隔进行分割间隔，取出大小固定的图像块；再从灰度图像中 的相同区域上取出同样大小图像块和前面的图像块一起组成了训练集的输入部 分；再从干净深度图像的相同区域中以图像块中心为对称点取出缩小的图像块 作为训练集的输出。

在步骤1-3)中，所述干扰图像块组是指该图像块组之中干净的深度图像块 里存在黑点，该黑点为深度值丢失的点。

在步骤1-4)中，所述对像素值进行翻转，采取的是随机加上以5为最小公 倍数的随机数并做模255运算的方法。

在步骤1-5)中，丢弃冗余的噪深度图像块，采用双曲正弦函数的数值分布 作为概率值来丢弃冗余的图像块，重新组织训练集，具体公式如下：

$p_i=(e^{{\mathrm{crr}}_i/{\mathrm{crr}}_m}+e^{-{\mathrm{crr}}_i/{\mathrm{crr}}_m})/3$

其中crr_i表示第i个带噪深度图像块的损坏水平，crr_m表示所有的带噪深度图 像块中的最大损坏水平。

在步骤2)中，所述三层卷积单元，其中第一层卷积单元是由卷积层，最大 池化层和矫正线性化层构成，第二层卷积单元结构与第一层卷积单元结构相同 但卷积核大小进行了缩小，第三层卷积单元为一层卷积层。

在步骤3)中，所述权重图为深度图像对的应视觉图灰度化为灰度图，再由 双边滤波和Sobel算子边界提取得到的图像。

在步骤3)中，所述基于权重图计算损耗公式为：

f_loss＝||M·(I_O-I_G)²||

其中M表示权重图，I_O表示的是网络的输出图像，I_G表示的是干净的深度 图像。

在步骤4)中，所述的图像预处理与步骤1-2)所述的图像预处理是相同的。

本发明与现有技术相比，具有如下优点与有益效果：

1、灰度图像的图像预处理过程，有效地去除其中的冗余信息，而对训练集 的扩充和有目的的丢弃干扰块和冗余块，提升了训练集的有效性。

2、基于权重图的损耗训练深度图像去噪及增强卷积神经网络，可以自适应 地提升网络的学习效率，提高网络模型对于深度图像边缘存在的黑洞区域的重 建能力。

3、构建的由三层卷积单元组成的深度图像去噪及增强卷积神经网络，完成 输入图像的特征提取，非线性映射以及图像重建的功能，可以实时地对带噪深 度图像进行黑点填充和去噪，并取得很好的视觉效果和深度值恢复效果。

附图说明

图1为本发明的深度图像去噪及增强卷积神经网络示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所述的基于深度学习的深度图像去噪及增强方法， 其具体情况如下：

1)选取30组图像，每组图像由干净的深度图像及其对应的视觉图像和带 噪的深度图像组成，以30组图中的28组作为网络训练集，剩下的2组作为网 络测试集。接下来构建网络训练集，具体步骤为：

1-1)视觉图像灰度化为灰度图像。

1-2)对灰度图像进行增强边界信息和去除冗余信息的图像预处理，具体地， 依次进行直方图均衡化，双边滤波器滤波，Sobel算子提取边界，基于分水岭算 法的分割，分割块平均值填充，像素量化处理，得到预处理后的灰度图像。对 于每张带噪的深度图像，以9为分割间隔，取出32×32的图像块，作为训练 集输入的第一通道；然后，从灰度图像中的相同位置上取出32×32的图像块作 为训练集输入集的第二通道。这样就组成了训练集的输入部分。再从干净深度 图像的相同32×32区域中以图像块中心为对称点取出14×14的图像块作为训 练集的输出。从而得到由图像块组成的训练集，训练集中的每组图像块由输入 集的带噪深度图像块和灰度图像块和输出集的干净深度图像块组成。

1-3)丢弃训练集中的干扰图像块组，具体地，即该丢弃其中干净的深度图 像块里存在黑点(深度值丢失的点)所对应的图像块组。

1-4)对训练集中的每组图像块随机旋转90°，180°，270°并采取在原像 素值上随机加上以5为最小公倍数的随机数并做模255运算的方法对其像素值 进行翻转，扩充训练集。

1-5)丢弃训练集中黑点(深度值丢失的点)连通域小的图像块组，并按比 例扩充拥有大黑点连通域的图像块组，采用双曲正弦函数的数值分布作为概率 值来丢弃冗余的图像块，重新组织训练集，具体公式如下：

$p_i=(e^{{\mathrm{crr}}_i/{\mathrm{crr}}_m}+e^{-{\mathrm{crr}}_i/{\mathrm{crr}}_m})/3$

其中crr_i表示第i个带噪深度图像块的损坏水平，crr_m表示所有的带噪深度图 像块中的最大损坏水平。

2)构建深度图像去噪及增强卷积神经网络，由三层卷积单元组成，分别完 成输入图像的特征提取，非线性映射以及图像重建的功能。其中第一层卷积单 元是由卷积层，最大池化层和矫正非线性化层构成，第二层卷积单元结构与第 一层卷积单元结构相同，第三层卷积单元为一层卷积层。其输入尺寸为32×32 的带噪的深度图像块和对应的灰度图像块，输出为增强后的尺寸为14×14的深 度图像块。具体地，第一个卷积单元由一个有128个9×9卷积核的卷积层，一 个运算核为5×5的最大池化层以及一个矫正非线性化层组成；第二个卷积单元 由一个有64个1×1卷积核的卷积层，一个运算核为3×3的最大池化层以及 一个矫正非线性化层构成；最后一层使用了卷积层。

3)采用误差反向传播算法训练所述卷积神经网络，并基于权重图的损耗计 算，以150万次迭代作为一个完整的训练，从而得到深度图像去噪及增强网络 模型，其中基于权重图的损耗计算公式为：

f_loss＝||M·(I_O-I_G)²||

其中M表示权重图，I_O表示的是网络的输出图像，I_G表示的是干净的深度 图像。

4)将带噪的深度图像及其对应的视觉图灰度化为灰度图进行图像预处理 后，输入到训练好的深度图像去噪及增强网络模型中，输出增强的深度图像。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范 围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。