基于场景变换的视频通信相关技术研究

摘要

在视频通信技术研究中，面临着传输网络带宽受限且波动起伏、网络传输过程中丢包或存在差错、视频数据管理等各种挑战。这意味着，必须不断提高编码压缩效率，拥有更为有效的差错控制技术，在各种网络上更灵活的码率控制技术，以及更为强大的视频分割技术。 本文在对视频分割技术以及H.264/AVC标准的深入研究分析的基础上，提出了多个嵌入于H.264/AVC的镜头变换检测算法；在获得场景变换信息以及场景参考帧后，进而提出了基于场景参考帧的预测帧刷新的视频容错编码技术，以及针对于场景变换后视频质量下降的码率控制算法。论文的具体研究内容和创新成果如下： 1.首先我们利用H．264/AVC编解码过程产生的中间结果值——帧间预测的帧SAD和，作为镜头变换检测的对象，提出基于帧间预测的帧SAD和镜头切变检测算法，可以减少运算量和算法复杂度；同时由于帧间预测帧SAD的获得经过宏块的运动估计和补偿，因此可以大大减少视频图像中对象运动影响；考虑到帧间预测的帧SAD和不能全面反映视频帧内局部变化等因素的影响，进一步提出了基于帧间预测的宏块SAD的镜头切变检测算法：为了进一步简化运算，充分利用H.264/AVC编解码过程中率失真优化RDO(Rate Distortion Optimization)进行最优模式选择的结果，又提出了基于宏块预测模式选择的镜头切变检测算法。为了应对可能在镜头中出现的噪声帧或噪声序列，我们采用镜头切变噪声帧检测窗的概念，过滤镜头中出现的噪声帧或噪声序列，防止发生镜头切变的虚警或误判；考虑到局部镜头的切换对于视频监控中重点区域的监测、以及场景中局部内容的视频检索等方面的应用具有一定的意义，所以我们将基于帧间预测宏块SAD的镜头切变检测算法进一步扩展，提出了嵌入于H.264/AVC的镜头内局部切变检测算法。并对镜头渐变的检测作了探讨。 2.根据不同应用环境，将视频通信的差错控制技术分为传输层差错控制、编码器端容错编码、解码器端差错掩盖以及编解码器联合差错控制四类。对H.264/AVC的多参考帧缓存器中长期与短期参考帧的关系和语法进行研究后，建议在H.264/AVC的编解码器中增加场景参考帧缓存器模块，并定义了场景参考帧缓存器与多参考帧缓存器之间的相互操作，以及在编解码器端场景参考帧的同步方式。于是我们提出了无反馈信道上基于场景参考帧的预测帧刷新的容错编码方法，该方法比传统的帧内刷新方法有明显优势；进而我们利用场景参考帧定期更新机制，提出了改进方法，性能比我们前面的方法又略有提升。 3.最后我们讨论了H.264/AVC标准中推荐码率控制技术的三个重要部分：HRD,R-Q模块以及分层比特分配。R-Q模块包括线形MAD预测模型以及基于率失真理论与率失真优化的二次率失真模型；比特分配的分层包括GOP层、视频帧层(和基本单元层)。由于码率受限的视频流在场景切换后，量化参数偏差较大，码率突增失控，引起其后编码帧图像视觉质量在一段较长时间内持续变坏。因此，利用前面研究的嵌入于H.264/AVC编码器中的场景切换检测方法，我们提出了基于场景切换的量化淡入式码率控制技术；能有效控制场景切换后新场景第一帧编码输出比特数，并通过其后量化淡入的方式，使得视频质量逐步平稳过渡，获得更好的主观视觉效果。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.2 H.264/AVC的概述

1.2.1 H.264/AVC的分层设计

1.2.2 H.264/AVC的NAL层

1.2.3 H.264/AVC的VCL层

1.2.4 H.264/AVC的辅助增强信息(SEI)

1.3本文主要研究内容及章节安排

第二章视频分割综述

2.1相关概念

2.1.1视频数据结构

2.1.2镜头转换类型

2.1.3视频分割数学表达

2.2基于像素的方法

2.2.1基本方法

2.2.2基于变化像素所占比

2.2.3基于块的改进

2.3基于直方图的方法

2.3.1颜色空间

2.3.2基本原理

2.4基于边缘的方法

2.5基于压缩域的方法

2.5.1空间域视觉信息

2.5.2运动信息

2.5.3视频编码特性

2.6基于模型的方法

2.7其他方法

2.8本章小结

第三章基于H.264/AVC的视频分割

3.1 H.264/AVC标准中SEI的场景镜头定义

3.2嵌入于H.264/AVC中镜头切变检测算法

3.2.1基于帧间预测帧SAD和的算法

3.2.2基于帧间预测宏块SAD的算法

3.2.3基于宏块预测模式选择的算法

3.3镜头内噪声帧或噪声序列段的检测算法

3.3.1算法内容

3.3.2模拟实验

3.4嵌入于H.264/AVC中局部镜头切换的检测算法

3.4.1镜头内局部切变算法

3.4.2模拟实验

3.5嵌入于H.264/AVC中镜头渐变的检测

3.5.1镜头渐变的讨论

3.5.2镜头渐变检测算法

3.5.3模拟实验

3.6场景参考帧的获取

3.7本章小结

第四章基于场景变换的H.264/AVC差错控制

4.1差错控制研究概述

4.1.1传输层差错控制

4.1.2编码器端容错编码

4.1.3解码器端差错掩盖

4.1.4编解码器联合差错控制

4.2基于场景的H.264/AVC差错掩盖

4.3场景参考帧管理

4.4基于场景变换的H.264/AVC编码器端容错编码

4.4.1无反馈信道上基于场景参考帧的预测帧刷新算法

4.4.2无反馈信道上基于周期更新场景参考帧的预测帧刷新算法

4.4.3模拟实验

4.5本章小结

第五章基于场景切换的码率控制

5.1率失真理论与率失真优化

5.2 H.264/AVC码率控制过程

5.2.1假想参考解码器(HRD，Hypothetical Reference Decoder)

5.2.2R-Q（Rate-Quantization)模型

5.2.3 GOP层比特分配

5.2.4基本单元层比特分配

5.3基于场景切换的量化淡入式码率控制

5.3.1基于场景切换的量化淡入式码率控制算法

5.3.2模拟实验

5.4本章小结

总结

参考文献

攻读博士学位期间发表的学术论文

致谢