结合视觉显著性的行星科学探测图像自适应量化编码系统

摘要

本发明公开了一种结合视觉显著性的行星科学探测图像自适应量化编码系统，部署在探测卫星上，系统包括：显著性检测模块、自适应量化参数调整模块和HEVC编码模块；其中，显著性检测模块，用于对获取的行星科学探测原始图像进行显著性检测，得到全局显著图；自适应量化参数调整模块，用于按照编码单元的尺寸对全局显著图进行划分，得到与编码单元对应的显著子图，对显著子图执行结合视觉显著性的感知量化编码策略，计算得到每个编码单元的加权量化分量和感知量化分量，进而得到每个编码单元的量化参数偏移量；HEVC编码模块，用于根据每个编码单元的量化参数偏移量，对原始图像进行HEVC帧内编码，得到压缩图像并发送至地面。

说明书

技术领域

本发明涉及计算机视觉、图像压缩技术领域，尤其涉及结合视觉显著性的行星科学探测图像自适应量化编码系统。

背景技术

行星探测过程中采集到的光学载荷数据具有极大的研究价值，获取和分析原始图像数据对于科学家进行地表地貌分析、探索未知有着十分重要的意义。原始的高分辨率图像数据量大且往往包含多种冗余信息，需要占据较大的存储和传输空间，同时复杂特殊的深空通信环境严重限制科学数据的回传速率，因此需要采取高效可靠的图像编码方案，对原始图像数据进行最大限度的在轨处理和压缩，降低数据传输量，减小传输系统的压力，提高卫星通信效率。

从信息论的角度，描述图像信源的数据由有效信息量和冗余量两部分组成，图像压缩算法的本质在于通过消除数据中存在的各类冗余信息如空域、时域、视觉、统计等实现减少数据量的目的。过去的几十年间，图像压缩编码技术一直处于快速发展之中，新技术新标准不断被更新迭代以适应于各种带宽场景的应用需求。从传统的JPEG、JPEG2000静止图像压缩标准再到支持有效图像压缩的MPEG系列、H.26X系列等视频压缩标准，预测、变换、量化、熵编码形成的混合编码框架已成为主流设计方向，各模块的更优化设计是研究的焦点。发展到现在编码性能的提升变得越来越难，研究人员开始关注基于内容的图像压缩编码，深入挖掘视觉冗余，以进一步增大压缩比例提高编码效率，实现码率较低的同时仍保证图像的主观质量。这其中一个重要的研究方向是将视觉显著性(Visual saliencydetection)与传统编码相结合的感兴趣区域(Region-Of-Interest，ROI)编码。显著性驱动的ROI编码方案一般按照以下流程，首先对输入图像进行显著性检测，然后通过调整编码参数分别控制不同区域的失真程度来改善图像的编码质量。

传统的显著性检测方法大多基于手工设计的特征描述算子，通常表征图像的低级特征，不能识别和理解图像中丰富的语义对象信息。近年来，得益于硬件算力的快速提升，以深度神经网络为代表的人工智能技术(Artificial Intelligence，AI)已被广泛应用于图像分类、物体检测、目标跟踪等视觉任务中。基于神经网络的显著性检测方法突破了传统手工特征的局限性，显示了强大的表征学习能力。

结合视觉显著性进行编码优化的方法因为不需要改变码流的语法结构，可以应用于任何视频图像压缩编码标准。这类在编码预处理阶段设计语义理解单元的ROI编码方法，考虑人眼视觉系统对图像内容感知的选择性和偏向性，能够对复杂视觉输入信息进行有效的过滤提取，从提升视觉感知效率的角度对编码过程进行优化，编码图像质量提高的同时增加了整体处理流程的复杂度，因此设计高效的图像显著性检测算法和合理的编码资源分配方法是提升编码效率的关键。

发明内容

现有的HEVC编码方案没有考虑图像内容特性的问题，本发明的目的在于克服上述现有技术缺陷，提出了涉及结合视觉显著性的行星科学探测图像自适应量化编码系统。

为了实现上述目的，本发明提出了一种结合视觉显著性的行星科学探测图像自适应量化编码系统，部署在探测卫星上，所述系统包括：显著性检测模块、自适应量化参数调整模块和HEVC编码模块；其中，

所述显著性检测模块，用于对获取的行星科学探测原始图像进行显著性检测，得到与原始图像相同尺寸的全局显著图并输入自适应量化参数调整模块；

所述自适应量化参数调整模块，用于按照编码单元的尺寸对全局显著图进行划分，得到与编码单元对应的显著子图，对显著子图执行结合视觉显著性的感知量化编码策略，计算得到每个编码单元的加权量化分量和感知量化分量，进而得到每个编码单元的量化参数偏移量并输入HEVC编码模块；

所述HEVC编码模块，用于根据每个编码单元的量化参数偏移量，对原始图像进行HEVC帧内自适应编码，得到压缩图像并发送至地面。

作为上述系统的一种改进，所述显著性检测模块包括依次连接的预先建立和训练好的ResNet50模型、排序单元、权重向量计算单元、特征图加权求和单元以及上采样单元；其中，

所述ResNet50模型，用于从原始图像中提取多层深度语义特征；所述ResNet50模型包括依次连接的卷积层和全连接层；

所述排序单元，用于对ResNet50模型的全连接层的输出张量y进行数值排序，得到排名前五的类别向量c：

所述权重向量计算单元，用于根据

其中，

其中，z表示第k个通道特征图的像素值总和，

所述特征图加权求和单元，用于根据每个通道特征图对应的权重，将各通道特征图按照下式进行线性加权融合，得到显著图Sal：

其中，ReLU()表示线性修正函数：

其中，v表示线性修正函数的变量；

所述上采样单元，用于对显著图Sal进行上采样插值处理，得到与原始图像相同尺寸的输出全局显著图Sal

Sal

其中，Upsample为上采样插值函数。

作为上述系统的一种改进，所述自适应量化参数调整模块的具体处理过程包括：

根据全局显著图Sal

按照编码单元的尺寸对全局显著图进行划分，得到M×N个显著子图，对应M×N个编码单元；

遍历每个显著子图，结合预设的量化参数QP

作为上述系统的一种改进，所述遍历每个显著子图，结合预设的量化参数QP

计算第s行第t列显著子图的平均显著度Sal

其中，1≤s≤M，1≤t≤N；

基于该编码单元对应的显著性权重ω和预设的量化参数QP

基于预设的显著度控制因子β和该编码单元对应的显著度总和Sal

QP

根据下式计算得到第s行第t列编码单元的量化参数偏移量ΔDQP

ΔDQP

将ΔDQP

与现有技术相比，本发明的优势在于：

1、本发明的系统基于多层神经网络进行图像显著性检测，得到图像显著图，火星表面存在大量岩石、陨石坑等纹理丰富、尺寸多样但形态单一的目标，相比于传统基于手工设计特征的显著性检测算法，本文算法提取出的显著区域更加完整，有效内容的覆盖面积更大，与人类的主观感知结果更加一致；

2、本发明的系统，对不同编码单元根据对应的显著子图自适应调整相应的量化参数，编码过程中量化参数的设置直接影响到图像内容的重建质量，本发明的自适应量化参数调整模块综合考虑全局显著性对比结果和局部显著性感知结果，对显著度较高的区域进行细量化，对非显著区域进行粗量化，实现编码比特资源的合理分配。

附图说明

图1是本发明的结合视觉显著性的行星科学探测图像自适应量化编码系统整体结构框图；

图2是本发明的显著性检测模块组成示意图；

图3是本发明的自适应量化参数调整模块处理流程图；

图4(a)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR客观评价方法)；

图4(b)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR-HVS客观评价方法)；

图4(c)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于PSNR-HVS-M客观评价方法)；

图4(d)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于SSIM客观评价方法)；

图4(e)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于MS-SSIM客观评价方法)；

图4(f)是本发明与标准HEVC方法在固定QP下的率失真性能比较(基于VIFP客观评价方法)；

图5(a)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR客观评价方法)；

图5(b)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR-HVS客观评价方法)；

图5(c)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于PSNR-HVS-M客观评价方法)；

图5(d)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于SSIM客观评价方法)；

图5(e)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于MS-SSIM客观评价方法)；

图5(f)是本发明与标准HEVC方法在固定码率下的率失真性能比较(基于VIFP客观评价方法)。

具体实施方式

本发明面向行星科学探测图像压缩提出了一套结合视觉显著性的自适应量化编码系统。首先设计了一种基于多层神经网络的显著性检测算法，对原始图像提取全局显著图，然后提出一种结合全局显著性对比和局部显著度感知的量化参数调整算法，为每个编码单元按照显著程度分配不同的量化参数，代替对整个图像使用相同的量化参数方案，将更多编码比特和计算复杂度分配给更符合人眼视觉特性的显著区域。同时考虑人眼视觉的感知特性，引入了多个结合视觉感知机理的客观失真度量方法对压缩重建后的图像质量进行联合评估。

在公开的火星图像数据上进行的验证实验结果表明，与标准的HEVC实现方案相比，初始量化参数一定的情况下本文所提算法平均节省4.10％的编码比特率同时实现了更好的视觉质量；在相同码率的情况下本发明压缩重建后的图像质量显著提升。

整体自适应量化编码系统包括图像获取模块、显著性检测模块、自适应量化参数调整模块以及HEVC编码模块。

整个算法设计包括以下步骤：

(1)首先将获取到的图像数据输入到显著性检测模块，对图像进行显著性检测得到与原图同尺寸的全局显著图；

(2)将显著图结果输入到自适应量化参数调整模块，按照编码单元大小划分全局显著图得到若干显著子图，依次遍历各编码单元对应的显著子图，通过计算显著性权重与局部显著度感知得到各编码单元对应的量化参数偏移量，最终得到与图像编码单元划分尺寸一致的量化参数偏移矩阵；

(3)将原图像与量化参数偏移矩阵输入到HEVC编码模块中进行图像压缩，得到压缩图像数据并发送至地面。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

本发明的整体结构框图如图1所示，输入数据来自负责图像数据采集的相机或已存储的原始图像数据。

显著性检测模块计算如图2所示，主要包括以下实施步骤：

(1)使用在大型分类数据集ImageNet上训练好的ResNet50模型，根据输入图像计算得到神经网络模型最后一层卷积层的输出张量A以及全连接层输出张量y；

(2)对输出张量y进行数值排序，得到排名前五的类别向量c：

(3)根据

其中，z表示第k个通道特征图的像素值总和，

(4)根据每个通道特征图对应的权重，将各通道特征图按照下式进行线性加权融合，得到显著图Sal：

其中ReLU()表示线性修正函数，只保留大于0的输出,

其中，v表示线性修正函数的变量；

(5)对融合特征图进行上采样插值处理，得到与输入图像同尺寸的输出全局显著图Sal

Sal

其中，Upsample为上采样插值函数。

自适应量化参数调整模块具体算法流程如图3所示，主要包括以下计算步骤：

编码过程中量化参数的调节直接影响到图像内容的重建质量，本文提出了一种结合视觉显著性的语义感知量化编码策略，计算过程首先按照编码单元大小划分全局显著图，然后依次遍历各编码单元对应的显著子图，根据显著性调节各编码单元的量化参数，通过计算加权量化分量QP

ΔDQP

最终得到与图像编码单元划分尺寸一致的二维量化参数偏移矩阵ΔDQP，大小为M×N。

各编码单元对应的加权量化分量QP

(2)QP

QP

为验证本发明的有效性，设计实施了以下对比实验。实验验证的硬件配置为lntel(R)Core(TM)i7-6700 CPU@3.40GHz 3.41GHz，内存为36G；软件配置为Microsoft VisualStudio 2015平台，HEVC编解码测试模型为HM16.20，测试时使用NASA(nasa.gov.com)提供的真实火星表面图像数据共计50幅，图像分辨率为1344x1200，编码设置采用全I帧(AllIntra Main，AI-Main)配置模式。作为对比，我们以HM软件固定量化参数的结果作为标准HEVC编码基准，按照官方配置文件encoder_intra_main.cfg进行设置，使用这组{22，25，28，32，35，38，41，44，47，51}量化参数进行压缩编码得到十组对比结果。为更全面地评估算法编码性能优劣，我们在6组客观图像质量评价指标上对本文提出算法的编码结果进行对比测试验证编码系统性能，以折线图形式直观表示对比结果如图4(a)-(f)所示。可以明显看出，本文所提算法的性能指标曲线均在HEVC原始算法曲线之上，实验结果说明本文所提算法在保持相同主观质量的前提下可以有效降低码率。

当固定输出码率时，HEVC编码器设计基于率失真优化理论，遍历所有率失真性能点对比得到该编码器的最优率失真性能，进而选出最优的编码参数集合，依次完成不同单元的比特分配，然后依据码率与拉格朗日因子之间建立的数学模型估算得到相应的量化参数，实现码率控制。本文以HM16.20为基准，固定输出比特率(bit per pixel,bbp)，对比实验结果以直方图形式展示如下图5(a)-(f)所示，可以看出相对于标准HEVC编码器，本文算法编码后的图像质量各指标均实现了明显提升。

综上，固定量化参数时本发明中的HEVC帧内自适应量化编码算法在保持图像视觉质量保持稳定的前提下能够节省更多的码率，固定码率条件下，本文算法可以有效提升图像质量，各项指标分别实现了显著的增益。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。