基于边缘特征融合和超分辨率的移动端图像压缩方法

摘要

本发明公开了基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：在移动端对采集的图像进行梯度提取和下采样操作，得到边缘梯度图像和低分辨率图像；服务器使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取；将两个支路输出E0与D0送入两个级联的边缘特征融合模块，对两支路特征进行进一步的深度提取；最后通过亚像素卷积层进行上采样，得到输出图片。本发明设计合理，对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息，降低了传输带宽；服务器充分利用了上传的高频信息，在保证了低参数量的同时，取得了良好的重建效果。

说明书

技术领域

本发明涉及计算机视觉图像技术领域，尤其涉及基于边缘特征融合和超分辨率的移动端图像压缩方法。

背景技术

移动终端已经被接受为在线社交的主流工具，人们可以上传照片和视频来分享自己的生活。然而，密集的带宽占用所带来的巨大费用却增加了服务供应商的运营成本。图像压缩对于减少存储空间和网络带宽占用至关重要。

对于无损图像压缩，由于原始图像需要完全重建，所以压缩率是有限的。但是对于有损图像压缩，可以在不受图像质量限制的情况下采用更高的存储压缩比。一些传统的数字图像处理方法是对从原始图像中裁剪出来的区块进行编码操作。但是在采用高压缩比的情况下会有明显的区块效应，并在重建图像中会出现不自然的伪影。随着卷积神经网络的兴起，人们引入深度学习来压缩图像，以提高重建图像的质量。大多数方法使用基于卷积神经网络的模块作为编码器，但是随着模型复杂度的急剧增加，处理速度大大减慢。里斯等人在降低执行速度的同时引入递归结构来减少参数的数量，但在运行速度的问题上并没有明显的改善。里贝尓等人在桌面图像处理器上提出了一种基于生成对抗网络的方法，虽然加快了处理速度，但是目前大部分的互联网流量来自移动终端，而不是台式机。因此需要一种能够在移动端进行实时高清图像上传的压缩算法。

对于大多数移动终端处理器来说，降采样操作是便于计算的，而复杂的解码重建则被分配给了共享平台的强大服务器；为了加快重建过程，提高重建质量，我们提出了一种嵌入高效深度神经网络的边缘特征融合超分辨率方法，用于高分辨率图像上传。

发明内容

针对现有技术存在的不足，本发明目的是提供基于边缘特征融合和超分辨率的移动端图像压缩方法。本发明提出一个轻量级的编码器，并通过在解码器端引入一个基于超分辨率算法的解码模块来节省带宽；图像在信源处被缩小，以较少的带宽传输，并在接收点进行解码重建；本发明在保证重建质量的同时，消除了编码过程带来的繁重计算；对基准的定量和定性评估表明，在相同的编码方法中，本发明的性能超过了当前最先进的水平，同时大大减少了参数和计算量。

本发明的目的可以通过以下技术方案实现：基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：

步骤一：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔算子的边缘梯度图像提取得到边缘梯度图像，以及对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；

步骤二：服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，包括：

在收到上传的边缘梯度图像和低分辨率图像之后，由尺寸为3×3×64的卷积层对边缘梯度图像和低分辨率图像这两个支路的原始特征进行提取，得到两支路各自的初步特征E

步骤三：将两个支路输出E

步骤四：将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；

步骤五：利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像。

进一步地，步骤一的具体实现方法包括以下步骤：

S11：利用索贝尔算子对图像的亮度通道进行梯度信息提取；得到边缘梯度图像；

S12：根据所需压缩比选取对应的下采样尺度对移动端采集的图像进行下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，可选的下采样尺度共有×2、×3、×4一共三种，分别对应着各自尺度的解码模块。

进一步地，步骤三的具体实现方法包括以下步骤：

S31：两支路的原始特征分别为E

S32：两支路信息分别通过1×1×384的卷积层；对E

S33：再将两支路信息E

S34：各支路再对E

S35：最后将E

进一步地，步骤四的具体实现方法包括以下步骤：

S41：将之前各支路拼接得到的特征O

S42：使用权重向量β

进一步地，步骤五的具体实现方法包括以下步骤：

S51：对两路信息U

S52：各自运用3×3×256的卷积层对压缩后的特征进行提取，然后通过像素重组操作对通道进行组合实现尺寸的放大得到U

S53：把U

S54：把HR

本发明的有益效果是：

1、本发明在移动端信息编码部分，仅使用双三次下采样算法和基于Sobel算子的边缘梯度信息提取算法；其包含的运算量远远低于现有的基于卷积神经网络的图像压缩编码器，使其更易于在移动设备上进行部署，并且能够提升在进行高清图像上传时的用户体验；由于使用深度卷积神经网络进行编解码，避免了由传统压缩编码方式而产生的区块效应，有更好的视觉效果；

2、本发明在服务器使用了结合边缘梯度信息的超分辨率卷积神经网络，对由移动端传输来的图像进行深度特征提取与特征融合，充分利用了下采样过程中丢失的高频信息，和现有的超分变率算法相比，在减少参数量的同时加快了网络的前馈速度，并具有远远超过当前超分辨率算法的重建精度和视觉效果。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的流程示意图；

图2为本发明的总体网络框图；

图3为本发明的边缘特征融合模块的网络框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1-3所示，基于边缘特征融合和超分辨率的移动端图像压缩方法，包括如下步骤：

步骤一：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔算子的边缘梯度图像提取得到边缘梯度图像，以及对移动端采集的图像进行双三次下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；从而减少传输中的带宽占用；具体为：

S11：利用索贝尔算子对图像的亮度通道进行梯度信息提取；得到边缘梯度图像；

S12：根据所需压缩比选取对应的下采样尺度对移动端采集的图像进行下采样并采用高频滤波器捕捉下采样过程中易丢失的高频信息得到低分辨率图像，可选的下采样尺度共有×2、×3、×4一共三种，分别对应着各自尺度的解码模块；

步骤二：服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，包括：

在收到上传的边缘梯度图像和低分辨率图像之后，由尺寸为3×3×64的卷积层对边缘梯度图像和低分辨率图像这两个支路的原始特征进行提取，得到两支路各自的初步特征E

步骤三：将两个支路输出E

S31：两支路的原始特征分别为E

S32：两支路信息分别通过1×1×384的卷积层；对E

S33：再将两支路信息E

S34：各支路再对E

S35：最后将E

步骤四：将两条支路的特征进行拼接融合，然后利用基于通道注意力机制的重建模块对各支路特征进行融合与降维；具体步骤为：

S41：将之前各支路拼接得到的特征O

S42：使用权重向量β

步骤五：利用亚像素卷积层对特征图进行上采样，得到高分辨率图像即解码之后的图像；包括：

S51：对两路信息U

S52：各自运用3×3×256的卷积层对压缩后的特征进行提取，然后通过像素重组操作对通道进行组合实现尺寸的放大得到U

S53：把U

S54：把HR

本发明的具体实施方式为：在移动端进行图像上传的源端处对移动端采集的图像进行基于索贝尔(Sobel)算子的边缘梯度图像提取得到边缘梯度图像，以及双三次下采样得到低分辨率图像，并将边缘梯度图像和低分辨率图像传输至服务器；服务器接收到移动端上传的边缘梯度图像和低分辨率图像之后，使用基于深度学习的特征提取模块分别对边缘梯度图像和低分辨率图像这两个支路进行初步的特征提取，得到两支路各自的初步特征E

本发明提出一个轻量级的编码器，并通过在解码器端引入一个基于超分辨率算法的解码模块来节省带宽；图像在信源处被缩小，以较少的带宽传输，并在接收点进行解码重建；本发明在保证重建质量的同时，消除了编码过程带来的繁重计算；同时大大减少了参数和计算量。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。