基于漏预测技术的精细的可伸缩性视频编码方法

摘要

一种基于漏预测技术的精细的可伸缩性视频解码方法，根据漏预测技术，在MB－based PFGS方案的基础上，提出了一种性能更优的精细的可伸缩性视频编码方案——MB－based FGS－LP。本发明通过在增强层的帧间编码模式中引入衰减因子，在保证整个系统的误差恢复能力的前提下，明显提高了视频编码的效率。增强层宏块编码模式的选择算法和衰减因子的取值算法计算简单，与MB－based PFGS方案相比算法复杂度没有提高。从算法的实现步骤上看，算法复杂度低，便于软硬件实现。

说明书

技术领域

总的来说，本发明涉及视频编码技术，具体而言，本发明涉及把漏预测技术引入宏块帧间编码模式的精细粒度可伸缩性视频编码方法。

背景技术

随着Internet和无线通信技术的飞速发展，人们在网络上实时获取多媒体数据，特别是信息丰富的图像和视频数据，已经成为了可能。然而由于网络的异构性、信道带宽的波动和信道的误码等因素的存在，使得原来面向存储的压缩算法很难满足实时传输的要求。所以，在当前的网络时代，多媒体编码的目标从面向存储转到了面向传输，编码的目的从产生适合存储的固定尺寸的码流发展到产生适合一定的传输码率的可扩展性码流。

目前，精细的可伸缩性视频编码方案的研究得到了越来越广泛的重视，并且在MPEG-4标准中采用的FGS[1，2](Fine Granular Scalability)方案的基础上，提出了多种改进方案，如运动补偿精细的可伸缩性(MC-FGS，Motion Compensation Fine Granular Scalability)[3]视频编码方案、渐进精细的可伸缩性(PFGS，Progressive Fine Granular Scalability)[4]视频编码方案以及基于宏块的渐进精细的可伸缩性(MB-based PFGS，Macroblock-based Progressive Fine Granular Scalability)[5，6]视频编码方案等。这些改进方案的基本思想都是在尽量提高增强层帧间预测精度的同时，通过一些特殊的技术来减少误差的传播和积累。虽然各种改进方案在压缩性能上都比FGS有了很大的提高，但是与非可伸缩的压缩方案相比，压缩性能仍有待提高[6]。因此，有必要寻找更加有效和具有鲁棒性的精细的可伸缩性视频编码方案。

在PFGS方案中，增强层是在整帧图像上来选择运动补偿和重构时使用的参考图像的，即在每一帧图像的增强层编码过程中，或者全部宏块都使用低质量的参考图像，或者全部宏块都使用高质量的参考图像。为了提高PFGS方案的编码效率，在MB-based PFGS方案中，以宏块为单位来选择参考图像，也就是说，增强层的每一个宏块在运动补偿和重构过程中都可以灵活地选择使用高质量的参考或低质量的参考。

根据宏块运动补偿和重构时所选用的参考图像的不同，MB-based PFGS方案提出了3个增强层宏块的帧间编码模式，即LPLR模式、HPHR模式和HPLR模式。这3种编码模式如图1所示，灰色的方块表示这些层的重构图像将用作下一帧图像编码时的参考，带实箭头的实线表示运动补偿时所用的参考图像，带虚箭头的实线表示重构当前高质量的参考时所用的参考图像，带实箭头的虚线表示各层之间在DCT域的预测关系。

在LPLR模式中，增强层宏块在运动补偿中使用前一个低质量的参考图像进行预测，并使用相同的基本层参考图像进行重构。这种编码方式不会产生误差的传播和积累，但是编码效率低，当所有宏块都使用这种编码模式时，MB-based PFGS编码方法与FGS就完全一样了。在HPHR模式中，增强层宏块在运动补偿时使用前一个高质量的参考图像，并使用相同的增强层参考图像进行重构。这种编码模式编码效率最高，但是它存在一个严重的缺点：当网络带宽下降或者出现传输错误时，引起的传输误差会在后续帧中进行传播，直到下一个I帧时才会结束。在HPLR模式中，增强层宏块在运动补偿过程中使用高质量的参考图像，而在重构过程中使用低质量的参考图像。这种编码方式的编码效率介于以上两种模式之间，但是它可以有效地消除误差的传播和积累。

在MB-based PFGS方案中还提供了一个模式选择算法来优化选择每个增强层宏块的编码方式。

在MB-based PFGS方案中，通过下列准则来区分LPLR模式和另外两个帧间模式。各标号含义说明如图2所示。

$>>|>|>>X>b>>->ver>>X>^>>b>>|>|>\le >|>|>>X>e>>->ver>>X>^>>b>>|>|>->->->>(>1>)>>>s>$

其中，各标号的定义如图2所示。当不等式(1)成立时，该增强层宏块采用LPLR模式，否则选择算法用不等式(2)在HPHR和HPLR之间进一步确定该宏块的编码模式。

||f_n(X_e′(n-1))-f_n(X_b′(n-1))||＞k×||X(n)-f_n(X_e′(n-1))||        (2)其中，f_n()代表运动补偿处理，k为可接受的损失因子。当不等式(2)成立时，该宏块采用HPLR编码模式，否则采用HPHR编码模式。

实验证明，在MB-based PFGS方案中，平均有不到20％的宏块采用LPLR编码模式，其它两种模式所占的百分比由可接受的损失因子k来决定，当k取值较大时，HPHR所占的比例较大，反之HPLR所占的比例较大。因为HPLR的编码效率比HPHR的编码效率低，所以k的取值间接决定了系统的编码效率，k取值越大编码效率越高，生成的码流鲁棒性越差；反之，编码效率降低，码流鲁棒性提高。

当对码流的鲁棒性要求较高时，k就要取较小的值，此时HPLR编码模式所占比例增加，MB-based PFGS方案的编码效率就大大降低。因此，在对码流的鲁棒性要求较高时，MB-based PFGS方案的编码效率很难保证。针对此问题，本发明人依据漏预测技术原理，在MB-based PFGS方案的基础上，提出了MB-based FGS-LP方法，即本发明基于预漏测技术的精细的可伸缩性视频编码方法，此技术方案在保证码流的鲁棒性的前提下，编码效率比MB-based PFGS方案提高0.3dB左右。

发明内容

为了防止因为带宽波动而引起的误差传播和积累，漏预测技术已经成功应用于帧间预测的混合编码和子带编码中。本发明的目的是把漏预测技术引入到宏块帧间编码模式中，从而有效地防止误差的传播和积累。

本发明的另一目的是在保证整个系统的误差恢复能力的前提下，提高视频编码的效率，本发明采用的解决方案是在增强层的帧间编码模式中引入衰减因子，并且优化地选择每个宏块的帧间编码模式及衰减因子的数值。

本发明是这样实现的：一种基于漏预测技术的精细的可伸缩性视频解码方法，包括两种增强层宏块的帧间编码模式，即LPLR模式和LeakyFrediction(漏预测)模式，LPLR模式与MB-based PFGS方案中的完全相同；在漏预测模式中，增强层宏块在运动补偿时使用前一个高质量的参考图像，重构时使用低质量的参考加上部分增强层参考作为参考图像，即“漏预测参考”。其中的α(0≤α≤1)为衰减因子，重构时用的参考图像实际即为：X_b′(n-1)+α×[(X_e′(n-1)-X_b′(n-1))]，其中X_b′(n-1)和X_e′(n-1)含义与式(2)相同，分别为基本层和增强层的预测参考宏块。

与MB-based PFGS方案进行比较可以发现，当α＝0时，漏预测模式则成为MB-based PFGS方案中的HPLR模式；当α＝1时，漏预测模式则成为MB-based PFGS方案中的HPHR模式。即漏预测模式包含了HPLR和HPHR两种模式，是一种更一般的增强层宏块的帧间编码模式。

在MB-based FGS-LP方案中，增强层宏块编码可分为两类：帧内(INTRA)模式和帧间(INTER)模式，LPLR模式和漏预测模式属于帧间编码模式。在MB-based FGS-LP方案中，如果一个宏块在基本层编码时使用帧内模式，那么在增强层中相同位置的那个宏块在编码时也采用帧内模式；否则，在增强层中相同位置的那个宏块则采用帧间模式。

为了在保证整个系统的误差恢复能力的前提下，提高视频编码的效率，本发明采用了在增强层的帧间编码模式中引入衰减因子的解决方案，并且优化地选择每个宏块的帧间编码模式及衰减因子的数值。方法如下：

LPLR模式和漏预测模式的区分，沿用MB-based PFGS方案的准则，即如果式(1)的不等式成立，则该宏块采用LPLR编码模式，否则采用漏预测编码模式。

如果宏块采用漏预测编码模式，需要确定其对应的衰减因子的数值。准确地估计误差传递和积累的影响，需要非常复杂的计算，为了减少计算复杂度，需要给出一个简单的误差估计策略，本发明采用以下这种误差估计方法来确定衰减因子的数值。定义如下参数：

$>>m>=>1>->>>k>\times >|>|>X>>(>n>)>>->>f>n>>>(sup>>X>e>\prime sup>>>(>n>->1>)>>)>>|>|>>>|>|>>f>n>>>(sup>>X>e>\prime sup>>>(>n>->1>)>>)>>->>f>n>>>(sup>>X>b>\prime sup>>>(>n>->1>)>>)>>|>|>\; >->->->>(>3>)>>>s>$

其中，各参数的含义与上面公式相同。衰减因子α计算如下：

$>>\alpha >=>\begin{array}{}>>1>;>>m>\le >0>\; >>1>->m>;>>else>\; >\; >->->->>(>4>)>>>s>\end{array}$

显然式(3)为一连续函数，为了便于对α进行编码传输，定义如下的离散集合：S＝{0.0，0.2，0.4，0.6，0.8，1.0}，通过式(3)计算出的α值取集合S中最接近的一个离散值作为漏预测的衰减因子。这样就可以通过一个简单的变长编码(VLC)表来描述每个增强层宏块的帧间编码模式和衰减因子的数值。

附图说明

图1为MB-based PFGS方案中增强宏块的三种编码方式。

图2为本发明公式中的各标号含义说明。

图3为本发明基于漏预测技术的精细的可伸缩性视频解码方法MB-based FGS-LP中增强层宏块的两种编码模式。

具体实施方式

如图3所示，一种基于漏预测技术的精细的可伸缩性视频解码方法，包括两种增强层宏块的帧间编码模式，即LPLR模式和Leaky Prediction(漏预测)模式。LPLR模式与MB-based PFGS方案中的完全相同；在漏预测模式中，增强层宏块在运动补偿时使用前一个高质量的参考图像，重构时使用低质量的参考加上部分增强层参考作为参考图像，即“漏预测技术”。重构时用的参考图像实际即为：X_b′(n-1)+α×[(X_e′(n-1)-X_b′(n-1))]，其中的α(0≤α≤1)为衰减因子，其中X_b′(n-1)和X_e′(n-1)含义与式(2)相同，分别为基本层和增强层的预测参考宏块。

将增强层宏块编码分为两类：帧内(INTRA)模式和帧间(INTER)模式，如果一个宏块在基本层编码时使用帧内模式，那么在增强层中相同位置的那个宏块在编码时也采用帧内模式；否则，在增强层中相同位置的那个宏块则采用帧间模式。

为了有效地防止误差的传播和积累，优化地选择每个宏块的帧间编码模式及衰减因子的数值。

LPLR模式和漏预测模式的区分，沿用MB-based PFGS方案的准则，即如果式(1)的不等式成立，则该宏块采用LPLR编码模式，否则采用漏预测编码模式。

如果宏块采用漏预测编码模式，需要确定其对应的衰减因子的数值。准确地估计误差传递和积累的影响，需要非常复杂的计算，为了减少计算复杂度，采用如下误差估计方法来确定衰减因子的数值。定义如下参数：

$>>m>=>1>->>>k>\times >|>|>X>>(>n>)>>->>f>n>>>(sup>>X>e>\prime sup>>>(>n>->1>)>>)>>|>|>>>|>|>>f>n>>>(sup>>X>e>\prime sup>>>(>n>->1>)>>)>>->>f>n>>>(sup>>X>b>\prime sup>>>(>n>->1>)>>)>>|>|>\; >->->->>(>3>)>>>s>$

其中，各参数的含义与上面相同。衰减因子α计算如下：

$>>\alpha >=>\begin{array}{}>>1>;>>m>\le >0>\; >>1>->m>;>>else>\; >\; >->->->>(>4>)>>>s>\end{array}$

由于式(3)为一连续函数，为了便于对α进行编码传输，定义如下的离散集合：S＝{0.0，0.2，0.4，0.6，0.8，1.0}，通过式(3)计算出的α值取集合S中最接近的一个离散值作为漏预测的衰减因子。然后通过一个简单的变长编码(VLC)表来描述每个增强层宏块的帧间编码模式和衰减因子的数值。

本发明的有益效果在于：根据漏预测技术，在MB-based PFGS方案的基础上，提出了一种性能更优的精细的可伸缩性视频编码方法(MB-basedFGS-LP)。并且通过在增强层的帧间编码模式中引入衰减因子，在保证整个系统的误差恢复能力的前提下，明显提高了视频编码的效率。增强层宏块编码模式的选择算法和衰减因子的取值算法计算简单，与MB-based PFGS方案相比算法复杂度没有提高。从算法的实现步骤上看，算法复杂度低，便于软硬件实现。

前面的实施例只是描述了本发明，但本发明不限于上述公开的实施例。本发明不限于任何具体的编码帧类型和概率分布，本发明包括在权利要求的实质和范围内的各种方法和改进。