基于率失真优化的屏幕内容视频编码研究

摘要

为了缓解存储空间和传输带宽的压力，视频编码已经成为了国内外学术界和工业界的研究热点之一。而国际图像视频专家组则制定了一系列视频编码标准，不断提升压缩效率，扩宽应用场景，经典的视频编码标准有MPEG-1，MPEG-2，H.264等。而最新一代高效视频编码标准(HEVC，High Efficiency Video Coding)压缩效率相比于上一代H.264提升了大约一倍，引起了学术界和工业界的广泛关注和研宄。而另一方面，近几年，随着科技的发展，屏幕内容视频应用逐渐深入到人们日常生活中，比如远程桌面共享、云计算、移动设备的二次分屏等等。相比于传统的摄像机采集内容视频，屏幕内容视频在图像内容特征方面有着很大的不同。而传统的视频编码方法编码对象默认是摄像机采集内容视频，在编码屏幕内容视频时编码性能较差。所以，研究屏幕内容视频编码中的关键技术，从而优化编码性能，具有很强的理论和现实意义。而码率约束下的编码优化和以平滑质量为目标的编码优化是率失真优化的两个重要应用，也是屏幕内容视频编码中亟待解决的两个重要问题。 因此，针对屏幕内容视频在码率约束下的编码，本文提出了三种码率控制算法。首先，面向离线编码应用，提出基于快速预编码的码率控制算法，可以有效提升码率控制精度;然后，面向离线编码应用，提出基于滑动窗口的码率控制算法，可以有效降低编码时间;最后，面向在线编码应用，提出低延时的码率控制算法。此外，针对以平滑质量为目标的设定QP(quantized parameter，量化参数)编码，本文提出一种自适应的块级QP设置方法。本文的主要工作与创新点包括: (1)基于快速预编码的码率控制算法 本文基于快速预编码过程，提出一种码率控制算法，用于离线编码图像内容非连续的视频，包括场景变化剧烈的视频和屏幕内容视频。基于快速预编码结果，通过研究快速编码和完整编码的关系，提出了一种全局最优的位分配策略。然后提出关键帧的分类方法，将关键帧分成场景切换帧和半切换帧。对于场景切换帧，将帧类型设置成帧内型，并提出改进的帧内R-Q模型;而对半切换帧，基于预编码结果，设计了R-λ模型参数修正机制。此算法的率失真性能和码率控制精度明显优于其他算法。 (2)基于滑动窗口的码率控制算法 本文提出基于滑动窗口的码率控制算法，用于离线编码屏幕内容视频。首先，对于初始帧，根据率失真优化理论，数学推导出最优位分配策略。然后，对于后续帧，提出自适应大小的窗口分割法，根据窗口长度和图像复杂度进行位分配优化。最后，根据图像复杂度，将图像分为简单帧和复杂帧，建立独立的帧间R-Q模型。此算法具有良好的率失真性能和码率控制精度，并且编码复杂度低于算法(1)。 (3)低延时的码率控制算法 本文针对屏幕内容视频的在线编码应用，提出一种考虑低延时的码率控制算法。首先，根据图像复杂度和缓冲区状态对当前帧进行位分配，尽量减少质量修正所造成的率失真性能下降。然后，提出线性的R-MAD(码率-残差)模型，用于计算帧级QP。最后，提出帧级QP的调整机制，进一步提高帧级QP的准确度。此算法保证了良好的缓冲区状态，几乎不发生上溢，因此具有平均值较高且平滑性较好的编码质量和良好的码率控制精度。 (4)自适应的块级QP设置方法 本文针对以平滑质量为目标的设定QP编码，提出一种自适应的块级QP设置方法。首先，分析研究屏幕内容视频中的静止区域和平移区域的质量修正对于率失真性能的影响，然后，从数学上分析图像复杂度对于整个视频的率失真性能影响，最后基于率失真性能影响分析，对每个块的QP进行自适应设置，从而优化率失真性能。

目录

声明

摘要

第1章绪论

1．1视频编码基础

1．1．1．视频数据的冗余性

1．1．2．视频数据压缩原理

1．2视频编码标准

1．2．1．MPEG-1／2／4和H．261、H．263及H．264

1．2．2． HEVC

1．3屏幕内容视频

1．4国内外研究现状

1．4．1．位分配

1．4．2．码率控制

1．4．3．QP设置

1．4．4．屏幕内容视频率失真优化

1．5本文研究问题及行文组织

第2章率失真优化与屏幕内容视频编码

2．1率失真优化理论

2．2率失真优化的应用

2．2．1．位分配优化

2．2．2．码率控制

2．2．3．QP设置

2．3实验分析现有码率控制算法和QP设置方法

2．3．1．位分配

2．3．2．码率控制

2．3．3．QP设置

2．4本章小结

第3章基于快速预编码的码率控制算法

3．1基于快速预编码的位分配

3．2关键帧检测与分类

3．3关键帧的码率控制

3．3．1．针对场景切换帧的改进intra帧R-Q模型

3．3．2．针对半切换帧的R-A模型参数修正

3．3．3．关键帧的比特反馈

3．4本章算法流程

3．5实验结果

3．5．1．视频质量比较

3．5．2．码率控制精度比较

3．5．3．率失真曲线比较

3．5．4．复杂度比较

3．5．5．详细测试数据

3．6本章小结

第4章基于滑动窗口的码率控制算法

4．1初始帧位分配

4．2后续帧基于滑动窗口的位分配

4．2．1．窗口级的位分配

4．2．2．帧级和块级的位分配

4．3码率控制机制

4．4实验结果

4．4．1．实验设计

4．4．2．视频质量对比

4．4．3．码率控制精度对比

4．4．4．编码复杂度对比

4．5本章小结

第5章低延时的码率控制算法

5．1 考虑低延时的位分配

5．2码率控制

5．2．1．帧级QP估计

5．2．2．帧级QP调整

5．2．3．CTU级QP估计

5．3算法流程

5．4实验结果

5．4．1．实验设计

5．4．2．编码质量对比

5．4．3．缓冲区占用对比

5．4．4．码率控制精度对比

5．4．5．编码复杂度比较

5．5本章小结

第6章自适应的块级QP设置方法

6．1考虑质量修正的QP设置(AQR-QP)

6．2考虑质量扩散的QP设置(AQP-QP)

6．3算法流程

6．4实验结果

6．4．2．AQR-QP和AQP-QP的单独贡献

6．4．3．编码性能比较

6．4．4．编码复杂度比较

6．4．5．详细测试数据

6．5本章小结

第7章总结

参考文献

附录

致谢

在读期间发表的学术论文与取得的研究成果