基于深度卷积神经网络的静止图像压缩方法

摘要

本发明公开了一种基于深度卷积神经网络的静止图像压缩方法。主要包括以下步骤：在编码端对原始图像进行下采样并利用JPEG2000标准编解码；利用深度卷积神经网络对解码图像进行抑制压缩效应；采用超分辨率方法对抑制压缩效应图像进行重建；将原始图像与解码的高分辨率图像相减得到残差图像并针对性编码；将编码的低分辨率图像、残差图像与辅助信息形成比特流并传输；解码端解码得到解码的低分辨率图像、残差图像与辅助信息；对解码的低分辨率图像进行处理得到解码的高分辨率图像，并与解码的残差图像相叠加便得到最终解码的高分辨率图像。本发明所述的静止图像压缩方法具有比JPEG2000标准更好的率失真性能。

说明书

技术领域

本发明涉及图像压缩和图像超分辨率重建技术，具体涉及一种基于深度卷积神经网络的静止图像压缩方法，属于图像通信领域。

背景技术

图像压缩的目的是更有效地存储和压缩。作为图像领域的基础技术之一，图像压缩一直受到广大研究者的关注。随着高分辨率图像及视频的普及，图像压缩技术更显得重要。JPEG2000标准是一种基于离散小波变换的图像压缩技术，有着比JPEG标准更加优秀的压缩性能。但是在中低码率的情况下，JPEG2000标准的解码图像存在较严重的锯齿效应与振铃效应，严重影响了人们的主观视觉效果。

图像超分辨率重建技术，是将输入的低分辨率图像重建成高分辨率图像的一门技术。通过图像超分辨率重建技术重建后的图像不但在空间分辨率上优于输入图像，且在主观视觉效果上也有明显的提升。图像超分辨率重建方法可以分为三类：基于插值的方法、基于重建的方法与基于学习的方法。近年来，由于机器学习与深度学习的发展，基于学习的超分辨率重建方法取到了较大的进步。基于深度卷积神经网络的超分辨率方法相比传统的基于学习的超分辨率方法，具有结构简单、速度快的优点，而且基于深度卷积神经网络的方法重建出来的高分辨率图像在质量上要优于传统的基于学习的方法。

为了提升JPEG2000标准在中低码率段的压缩性能，可以在编码端对待编码图像进行下采样，而在解码端将解码的低分辨率恢复到原始分辨率。并且加入残差反馈环节可以进一步提升压缩性能。

发明内容

本发明的目的是将深度卷积神经网络应用到解码图像抑制压缩效应中，并将基于深度卷积神经网络的超分辨率重建方法应用于静止图像压缩，提升JPEG2000标准在中低码率段的率失真性能。本发明通过以下操作步骤构成的技术方案来实现上述目的。

本发明提出的基于深度卷积神经网络的静止图像压缩方法，主要包括以下操作步骤：

(1)在编码端对原始待压缩图像进行下采样，得到低分辨率图像，然后对低分辨率图像进行JPEG2000标准编码得到编码的低分辨率图像，再进行JPEG2000标准解码得到解码的低分辨率图像；

(2)在编码端利用深度卷积神经网络对解码的低分辨率图像进行抑制压缩效应，得到抑制压缩效应的低分辨率图像；

(3)在编码端采用基于深度卷积神经网络的超分辨率方法对抑制压缩效应低分辨率图像进行两倍重建，得到解码的高分辨率图像；

(4)在编码端将原始待压缩图像与解码的高分辨率图像相减得到残差图像，然后采用针对性编码得到编码的残差图像；

(5)将步骤一中编码的低分辨率图像、步骤四中编码的残差图像与一些辅助信息形成比特流，然后传输到解码端；

(6)在解码端对接收到的比特流进行对应的解码操作，得到解码的低分辨率图像、解码的残差图像与解码的辅助信息；

(7)在解码端将解码的低分辨率图像进行步骤二与步骤三中的操作得到解码的高分辨率图像；

(8)在解码端将解码的高分辨率图像与解码的残差图像相叠加便得到最终解码的高分辨率图像。

附图说明

图1是本发明基于深度卷积神经网络的静止图像压缩方法的框图

图2是用于抑制JPEG2000解码图像压缩效应与超分辨率重建的深度卷积神经网络模型框图

图3是JPEG2000标准及本发明对‘Butterfly’测试图像的率失真性能比较

图4是JPEG2000标准及本发明对‘Leaves’测试图像的率失真性能比较

图5是JPEG2000标准及本发明在相同码率0.4Bitrate/bpp时，‘Butterfly’解码图像视觉效果比较：左-JPEG2000，右-本发明

图6是JPEG2000标准及本发明在相同码率0.5Bitrate/bpp时，‘Leaves’解码图像视觉效果比较：左-JPEG2000，右-本发明

具体实施方式

下面结合附图对本发明作进一步说明：

图1中，基于深度卷积神经网络的静止图像压缩方法，包括以下步骤：

(1)在编码端对原始待压缩图像进行下采样，得到低分辨率图像，然后对低分辨率图像进行JPEG2000标准编码得到编码的低分辨率图像，再进行JPEG2000标准解码得到解码的低分辨率图像；

(2)在编码端利用深度卷积神经网络对解码的低分辨率图像进行抑制压缩效应，得到抑制压缩效应的低分辨率图像；

(3)在编码端采用基于深度卷积神经网络的超分辨率方法对抑制压缩效应低分辨率图像进行两倍重建，得到解码的高分辨率图像；

(4)在编码端将原始待压缩图像与解码的高分辨率图像相减得到残差图像，然后采用针对性编码得到编码的残差图像；

(5)将步骤一中编码的低分辨率图像、步骤四中编码的残差图像与一些辅助信息形成比特流，然后传输到解码端；

(6)在解码端对接收到的比特流进行对应的解码操作，得到解码的低分辨率图像、解码的残差图像与解码的辅助信息；

(7)在解码端将解码的低分辨率图像进行步骤二与步骤三中的操作得到解码的高分辨率图像；

(8)在解码端将解码的高分辨率图像与解码的残差图像相叠加便得到最终解码的高分辨率图像。

具体地，所述步骤(1)中，我们采用的下采样方式为两倍双三次下采样。

所述步骤(2)中，针对解码的低分辨率图像进行抑制压缩效应的深度卷积神经网络模型如图2所示。在训练阶段，构建了一个由25个卷积层组成的深度卷积神经网络模型，包括1个特征提取层、23个非线性映射层以及1个重建层。每个卷积层分别由不同个数的滤波器组成。由于批规范操作(Batch Normalization，BN)与ReLU激活函数可以加快网络的收敛与提升网络的效果，本发明将它们应用到了本发明构建的网络模型中，具体的为加在了前24个卷积层的后面。我们将原始自然图像利用JPEG2000标准编解码得到解码图像，将原始自然图像与解码图像进行相减得到残差图像，将残差图像与解码图像进行对应的分块，这样我们就得到了用于训练的训练样本。我们将均方误差作为损失函数来训练得到用于抑制压缩效应的深度卷积神经网络。在抑制压缩效应阶段，使用上述训练得到的深度卷积神经网络对解码的低分辨率图像进行抑制压缩效应。为了取得更好的效果，我们使用的深度卷积神经网络是针对JPEG2000标准分码率独立训练得到的；具体的，码率在0.1-1.6Bitrate/bpp之间，每隔0.1Bitrate/bpp的码率训练得到一个网络，共16个网络；在抑制压缩效应阶段，分别使用上述的16个网络对解码的低分辨率图像进行抑制压缩效应，并依次求取抑制压缩效应的低分辨率图像与原始低分辨率图像之间的PSNR值，选取PSNR值最高的网络作为最优网络，然后将其对应的网络编号作为步骤(5)中的辅助信息进行传输。

所述步骤(3)中，对抑制压缩效应低分辨率图像进行两倍重建时采用的基于深度卷积神经网络的超分辨率方法的网络模型与步骤(2)中所使用的网络模型一致，如图2所示。与步骤(2)不同的是，训练样本不同：我们将原始高分辨率自然图像进行两倍双三次下采样；然后利用JPEG2000标准编解码得到解码的低分辨率图像；接着利用步骤(2)中训练得到的深度卷积神经网络对解码的低分辨率图像进行抑制压缩效应，得到抑制压缩效应的低分辨率图像；再对抑制压缩效应的低分辨率图像进行两倍双三次插值得到插值的高分辨率图像；将原始高分辨率自然图像与插值的高分辨率图像进行相减得到残差图像；将残差图像与插值的高分辨率图像进行对应的分块，这样我们就得到了用于训练的训练样本。

所述步骤(4)中，针对残差图像的特性(其大部分的像素值几乎都为0或极小)，选择针对性的编码方式；具体的编码流程为：将残差图像进行变化、量化，最后对量化后的变换系数重新排序并进行熵编码，最后利用熵编码系数形成残差图像比特流进行传输和储存。

所述步骤(5)中，将步骤一中编码的低分辨率图像、步骤四中编码的残差图像与一些辅助信息形成比特流，然后传输到解码端。其中辅助信息是指步骤(2)中选取的最优网络的网络编码。

所述步骤(6)中，解码端对接收到的比特流进行对应的解码操作，得到解码的低分辨率图像、解码的残差图像与解码的辅助信息。其中，对于残差图像比特流的具体解码流程为：残差图像比特流经熵解码得到量化后的变换系数，再经反量化、反变化，得到解码的残差图像。

所述步骤(7)中，对解码的低分辨率图像利用步骤(2)中训练得到的深度卷积神经网络进行抑制压缩效应得到抑制压缩效应的低分辨率图像，然后利用步骤(3)中训练得到的深度卷积神经网络进行两倍重建得到解码的高分辨率图像。其中，在进行步骤(2)中的抑制压缩效应时，利用步骤(5)中解码的辅助信息选取最优网络，以得到最优的抑制压缩效应效果。

所述步骤(8)中，将解码的高分辨率图像与解码的残差图像相叠加便得到最终解码的高分辨率图像。

用上述步骤对灰度测试图像‘Butterfly’和‘Leaves’进行测试，并与JPEG2000标准比较率失真性能及解码图像的视觉效果。率失真性能比较如图3及图4所示，其中横轴是码率，单位是Bitrate/bpp；纵轴是峰值信噪比(PSNR)，单位是dB。在相同的码率下，PSNR越高，率失真性能越好。

图5是在码率为0.4Bitrate/bpp时，利用JPEG2000标准及本发明对‘Butterfly’压缩结果的视觉效果对比图。图6是在码率为0.5Bitrate/bpp时，利用JPEG2000标准及本发明对‘Leaves’压缩结果的视觉效果对比图。在图5及图6中，左侧为JPEG2000标准的结果，右侧为本发明的结果。