面向高性能视频编码的码率控制与仿射预测研究

摘要

在视频采集设备和显示设备都呈日新月异发展的大背景下，处于视频传输中间阶段的视频编码技术正面临着越来越大的压力，面向高清视频的最新一代视频编码标准高性能视频编码（High Efficiency Video Coding，HEVC）相比前一代编码标准H.264/AVC在相同的主观质量下可以带来一半的码率节省，可以一定程度上缓解视频编码面临的压力，但是针对目前的需求仍然远远不够，如何在高性能视频编码的基础上充分利用带宽以及进一步提高编码性能是目前面临的关键挑战。
　　一般来说，最优的比特分配以及精确的码率控制是实现带宽有效利用的关键技术。大多数的传统方法都是基于量化参数来进行码率控制和比特分配，但是由于在HEVC中，头信息所占的比特数大幅度增加，所以基于量化参数的传统方法并不适合于HEVC。最新涌现出来了一种基于拉格朗日常数λ的码率控制方法可以很精确的控制码率，但是目前并没有最优的比特分配方法与之相匹配，而且对于高性能视频编码可伸缩扩展是否适用也需要仔细研究。
　　另外，从编码性能的角度，在高性能视频编码中也仅仅使用了平移运动模型，所以最新的视频编码标准也仍然无法有效的刻画非常复杂的运动，而复杂的运动又往往是视频中最消耗比特数的部分，因此在高清视频编码上如何有效的引入更高阶的运动模型以更好的刻画复杂运动同样也是非常关键的一个问题。大多数传统的高阶运动模型方法都无法在编码性能以及编解码复杂度这两方面找到一个平衡，所以高阶运动模型迟迟没有进入视频编码标准的范畴。
　　本文试图从以上两个方面进一步提升有限带宽下的视频质量。一方面尽量在HEVC尽量实现最优的比特分配和精确的码率控制，以实现带宽的更有效利用，另一方面引入高阶运动模型实现视频中复杂运动的更好刻画，以进一步提高编码效率。
　　论文的主要工作和创新如下:
　　(1)本文针对HEVC的λ域码率控制方法提出了一种最优比特分配方案。首先，本文提出了一个完整的λ域R-D分析框架，除了现有工作中的R一λ模型用来表示R和λ之间的关系，本章提出了一个全新的D-λ模型来表示D和λ之间的关系。其次，本文基于此完整的λ域R-D分析框架和基本的R-D优化理论提出了一种与内容相关的最优图片级比特分配算法。再次，本文基于完整的λ域R-D分析框架和基本的R-D优化理论同时提出了与内容相关的基本单元级比特分配算法。实验结果表明，本文提出的为HEVC设计的最优比特方案相比传统方法可以实现明显率失真性能提升。本文提出的图片级以及基本单元级比特分配算法被国际标准化组织JCT-VC接受且集成进入了HEVC参考软件。
　　(2)本文针对HEVC可伸缩扩展提出了一种最优的码率控制方案。首先，本文为可伸缩视频编码每一层的第一帧提出了一种最优的初始目标比特数以及初始编码参数决定算法以实现更好的R-D性能。其次，本文基于根本的率失真优化理论联合考虑层内和层间的依赖关系为空间和质量可伸缩的帧间图片设计了一种最优比特分配算法。最后，本文提出了一个针对R-λ模型的自适应更新算法来精确的估计码率控制模型参数以实现更好的码率控制精度。实验结果表明，本文提出的为HEVC可伸缩扩展设计的码率控制方案相比传统方法可以在精确的码率控制下显著提高率失真性能。
　　(3)本文针对HEVC提出了一种低复杂度仿射运动补偿框架以更好的刻画复杂运动。首先，本文提出了一个支持多参考帧的四参数仿射运动补偿框架。其次，本文提出了两种决定仿射运动矢量的方式:先进的仿射运动矢量预测模式以及仿射模型融合模式;特别地，与先进的仿射运动矢量预测模式相结合，提出了一种基于梯度下降的快速仿射运动估计算法。最后，本文提出了两个工具以减少复杂的仿射运动补偿带来的编解码复杂度，其中一个是一步子像素插值滤波器用于减少插值分像素需要的插值次数;另一个是基于仿射插值精度的自适应块大小运动补偿用于尽量提高运动补偿块的大小从而减小运动补偿的复杂度。实验结果表明，本文提出的仿射运动预测技术可以显著提高包含旋转和缩放等复杂运动的视频的编码性能。本章提出的仿射运动补偿框架被集成进入JEM参考软件。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 研究历史和现状

1．3 论文主要工作及内容安排

第二章 高性能视频编码及其扩展基础知识

2．1 HEVC基本框架

2．2 HEVC灵活的编码结构

2．2．1 HEVC灵活的参考结构

2．2．2 HEVC灵活的划分方式

2．3 HEVC的灵活帧间预测方式

2．3．1 Skip模式

2．3．2 先进运动矢量预测(AMVP)以及运动估计

2．3．3 融合模式(merge)

2．3．4 运动估计

2．3．5 运动补偿

2．4 HEVC可伸缩扩展

2．5 HEVC率失真及λ域码率控制简介

2．5．1 HEVC率失真

2．5．2 λ域码率控制

第三章 高性能视频编码中的最优比特分配技术

3．1 现有比特分配技术

3．1．1 研究动机

3．1．2 现有技术

3．1．3 本章贡献

3．2 λ域R-D分析框架

3．3 图片级比特分配算法

3．4 BU级比特分配算法

3．5 实验结果

3．5．1 仿真环境

3．5．2 图片级比特分配算法实验结果

3．5．3 BU级比特分配算法实验结果

3．5．4 图片级和BU级比特分配算法相结合实验结果

3．5．5 实验结果总结

3．6 本章小结

第四章 可伸缩高性能视频编码中的码率控制技术

4．1 可伸缩视频编码的码率控制技术概述

4．1．1 研究动机

4．1．2 现有可伸缩视频编码码率控制技术

4．1．3 本章贡献

4．2 选择一个合适的R-D模型

4．2．1 HEVC中R-Q和R-λ模型简要介绍

4．2．2 HEVC可伸缩扩展中的R-λ模型的仔细验证

4．3 针对可伸缩高性能视频编码的λ域码率控制技术

4．3．1 时间可伸缩的码率控制技术

4．3．2 空间和质量可伸缩的码率控制技术

4．3．3 自适应R-λ模型参数估计

4．4 实验结果

4．4．1 时间可伸缩实验结果

4．4．2 空间和质量可伸缩实验结果

4．4．3 实验结果总结

4．5 本章小结

第五章 针对高性能视频编码的高性能仿射运动补偿框架

5．1 仿射预测技术概述

5．1．1 研究动机

5．1．2 现有的仿射运动补偿技术

5．1．3 本章贡献

5．2 本文提出的仿射运动补偿框架

5．2．1 四参数仿射运动模型

5．2．2 两个角点运动矢量决定方式

5．2．3 快速仿射运动补偿方式

5．3 实验结果

5．3．1 仿真实验

5．3．2 实验性能

5．3．3 实验分析

5．3．4 实验小结

5．4 本章小结

第六章 总结与展望

6．1 论文总结

6．2 未来展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果