基于H.264/AVC的可伸缩视频编码及其相关技术研究

摘要

H.264/AVC是ITU-T和ISO联合推出的新标准，采用和发展了近几年视频编码方面的先进技术，以较高编码效率和网络友好性而著称。它仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有：增强的运动预测能力；准确匹配的较小块变换；自适应环内滤波器；增强的熵编码。测试结果表明这些新特征使编码效率比以前的标准约提高50％，但增加了复杂度。本文着重研究经传输层的若干应用问题。 随着新的视频编码标准H.264/AVC的逐步推广应用，如何将H.264/AVC视频流经MPEG-2的系统传输层传输，对于充分利用原有大量的MPEG-2系统有重要意义。对此提出一种解决方案，要点是：先把H.264/AVC视频作为MPEG-2系统层传输的基本流，然后扩展MPEG-2标准中的传输流系统目标解码器(T-STD)，使之可以将H.264/AVC编码视频复用到MPEG-2传输流(TS)包中在Internet上传输和解码。被解码的基本流通常来自于一个“容器”(如AVI或者TS)，在客户端从服务器端的这个容器中取出H.264/AVC基本流后便可实时解码、显示。经仿真实验表明，该方案能够获得较好的流视频效果，在带宽受限的情况下信噪比低于40dB的帧数少于5％，可用于IP网络流视频或移动视频中。 在完成H.264算法优化和多媒体指令集优化之后，将其扩展至基于比特平面编码的FGS编码，从而实现了基于PC平台的实时SNR(信噪比)精细粒度可伸缩编码，CIF格式编码帧速可达30fps以上。此外，为使H.264/AVC码流能在带宽较大变化的IP和无线等异构网络中传输，本文另外提出一种将H.264扩展至混合空域/时域/SNR精细可伸缩方案，并给出了相应的码率控制策略：根据率失真优化的结果来选择QP(量化参数)，在编码器端对基本层作GOP(图像组)级的码率控制，而对增强层作逐次精细化的码率控制。本文方案与由JM8.6的基本层码率控制、FGS比特平面截断作增强层码率控制(简称JM8.6+FGS)的方法相比，视频质量更高，PSNR(峰值信噪比)变化更为平滑。且在接收端，在某一目标比特率约束下，可以由不同时间分辨率(帧速率)和不同空间分辨率(图像格式)配置的终端截取和实时解码。仿真结果表明，本文方法的亮度平均峰值信噪比(Y-PSNR)在CIF格式时优于JM8.6+FGS方法达2.45dB，且与目标比特率更为匹配；也比新近提出的JVT-N020提案，在平均Y-PSNR上有0.15dB的增益，而且图像质量更为平滑。 H.264/AVC支持SP(同步预测)帧，允许不同质量比特流之间的高效切换，MPEG-4支持FGS编码。本文提出一种将两者融合在一起的解决方案，在JM联合模型中实现了流切换的功能，并且加入FGS编码，使得传输的比特流既能适应因特网或无线网传输带宽的大跨度波动，又能灵活适应小范围的带宽变化。仿真实验结果表明：本文所提出方案的亮度Y分量峰值信噪比比FGS平均好0.47dB，比流切换方法平均好0.23dB。且在专为移动业务而设计的H.264/AVC扩展类上，在3GPP/3GPP2无线视频通用测试条件下，本文所提出方案的性能比单一的FGS平均好0.76dB，比单一的流切换方法平均好0.51dB。

目录

文摘

英文文摘

论文说明：缩略语

原创性声明及本论文使用授权说明

第一章绪论

1.1引言

1.2 H.264/AVC应用概述

1.2.1 NAL简介

1.2.2类别及其应用简介

1.3本文的结构与创新点

1.3.1本文主要研究内容及结构安排

1.3.2本文的创新点

第二章H.264/AVC基于IP和无线网络应用的基础

2.1 H.264/AVC在IP环境中应用的基础知识

2.1.1 IP上的视频传输

2.1.2 RTP打包

2.2 H.264/AVC在无线环境中应用的基础知识

2.2.1移动网络视频的应用和约束

2.2.2无线系统中H.264/AVC传输

2.2.3用于无线视频的通用测试条件

2.3小结

第三章H.264视频流在MPEG-2系统层上流传输

3.1 MPEG-2系统层标准

3.2 H.264视频流在MPEG-2系统层上复用打包传输

3.2.1 H.264/AVC在MPEG-2系统层上流视频方案

3.2.2仿真实验

3.3小结

第四章基于H. 264的FGS改进方案及码率控制策略

4.1可伸缩编码概述

4.1.1四种可伸缩方法[97]

4.1.2现有的FGS的改进方法

4.2 H.264 FGS分析及其改进：基于PC平台的实时FGS编码

4.2.1基于H.264的FGS编码分析

4.2.2基于H. 264的FGS解码分析

4.2.3自适应量化

4.2.4基于PC平台的实时FGS编码器

4.3可扩大伸缩范围的空时分级SNR-FGS编码方法

4.3.1基于H. 264的混合FGS编码的原理和流程

4.3.2 QP值的精细化选择

4.4码率控制策略

4.4.1基本层码率控制

4.4.2增强层码率控制

4.5实验结果

4.5.1与JM8.6+FGS方法的比较

4.5.2与JVT-N020的比较

4.6小结

第五章基于H.264-SS与FGS结合的可伸缩自适应选择方法

5.1流切换(SS)的概念和特性

5.2流切换的应用场合和SP/SI帧的编解码方法

5.2.1 SP/SI帧的应用场合

5.2.2 SP/SI帧的编解码方法

5.3基于H.264 FGS的流切换及其自适应选择算法

5.4仿真实验

5.4.1直通信道下FGS和流切换结合的实验结果

5.4.2无线环境下的可伸缩比特流流切换的实验结果

5.5小结

第六章总结与展望

参考文献

作者在攻读博士学位期间的成果

致谢