H.264/AVC实时解码器的研究与实现

摘要

H.264/AVC是ITU-T和ISO联合推出的新标准，采用了近几年视频编码方面的先进技术，以较高编码效率和网络友好性成为新一代国际视频编码标准。 H.264/AVC仍基于以前视频编码标准的运动补偿混合编码方案，主要不同有：增强的运动预测能力；准确匹配的较小块变换；自适应环内滤波器；增强的熵编码。这些新特征使H.264/AVC编码器提高50％编码效率，但也增加了一个数量级的复杂度，对应解码的复杂度也随之提升。测试结果表明，H.264 Baseline解码器比H.263 Baseline解码器的复杂度提高2.5倍以上。因此实际解码系统开发需要在程序结构、数据结构、算法实现和平台指令集等几个方面进行重新设计和优化。 作为国家自然科学基金重点项目“移动宽带视频广播传输系统及关键技术研究”和上海市科委重点项目“基于时空信噪比精细可分级实时H.264软件编解码的交互数字电视”的重要内容，本文主要研究并实现不同平台(PC与DSP)上的基于H.264/AVC的实时解码器。工作分为以下两个阶段： 第一阶段为H.264/AVC Main Profile实时解码器C代码的设计与优化和流媒体系统中FGS解码器的设计与实现两部分工作。第一部分工作主要包括重新设计程序框架、数据结构，采用快速而有效的算法以及针对 PC 平台的代码优化。其中作者负责程序框架、数据结构的设计，各个模块的整合，以及程序的调试。测试结果表明，实现的解码器能够实时解码D1分辨率以及D1分辨率以下的视频图像，而且具有较好的稳定性和可移植性，为后续DSP平台的实现打下了坚实的基础。第二部分工作，作者根据实际流媒体系统中的需要，设计了适合流媒体系统传输的码流结构，并设计实现了适合这种码流的FGS解码器，测试结果表明，实现的 FGS 解码器解码截断程度不同的增强层码流，可以生成不同质量的视频图像，实现了FGS功能。第三章主要阐述这阶段的工作。 第二阶段为基于TI TMS320DM642 DSP的解码系统实现。这一阶段实现了一个具有视频解码和图像显示功能的基于TI DSP的实时解码系统。主要工作包括PC解码核的移植，解码系统的软件构建，以及DSP平台下代码的优化。作者H.264/AVC实时解码器的研究与实现采用TI的建议，通过RF-5(Reference Framework 5)整合解码核和显示模块，并对PC解码核进行了一定的修改和优化，以提高其在 DSP 平台的运行效率。最后编写线性汇编，替代C代码的耗时模块，提高了5～6倍的运行效率，实现了具有视频解码和图像显示功能的实时解码系统。本文第四章将着重阐述DSP平台解码系统的实现与优化。本文的研究结果表明，H.264/AVC解码器经过重新设计和采用多种优化策略可以实现不同平台下的实时解码。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景

1.2数字视频压缩编码标准

1.2.1国际电信联盟(ITU-T)视频协议

1.2.2国际标准化组织(ISO/IEC)视频标准

1.3论文的主要工作及结构安排

1.3.1论文的主要工作

1.3.2论文的结构安排

第二章H.264/AVC视频编码标准

2.1视频编码标准H.264的产生与发展

2.2视频编码标准H.264的结构框架

2.2.1 H.264网络抽象层(NAL)

2.2.2 H.264视频编码层(VCL)

2.3视频编码标准H.264的关键技术

2.3.1帧内预测方法

2.3.2帧间预测方法

2.3.3整形变换与量化

2.3.4熵编码

2.4视频编码标准H.264的编码模式

2.4.1 Baseline Profile

2.4.2 Main Profile

2.4.3 Extended Profile

2.5本章小结

第三章H.264/AVC解码器的PC实现

3.1 H.264/AVC解码器的框架设计

3.1.1 H.264/AVC解码器分析

3.1.2 H.264/AVC解码器设计

3.2数据结构和内存安排

3.2.1全局数据结构

3.2.2参考帧存储

3.2.3宏块缓存结构

3.3代码优化

3.4编译优化

3.5流媒体系统中FGS解码器的设计

3.5.1流媒体系统的码流传输机制

3.5.2流媒体系统中H.264与FGS相结合的码流结构

3.5.3 FGS解码器的设计

3.6性能测试与分析

3.6.1编译器对解码核性能的影响

3.6.2与JM的比较

3.6.3流媒体系统中FGS解码器的测试

3.7本章小结

第四章基于DM642的解码器实现与优化

4.1 DMDK(Digital Media Development Kit)开发环境简介

4.1.1 TMS320DM642简介

4.1.2 TMS320DM642评估板(EVM)的硬件结构

4.1.3 TMS320DM642评估板(EVM)的软件环境

4.2 H.264/AVC解码系统软件框架设计

4.2.1基于DSP/BIOS的解码系统软件开发过程

4.2.2参考架构5简介

4.2.3解码系统程序结构

4.2.4 DSP/BIOS与驱动设置

4.3 H.264/AVC解码器在DM642 EVM上的实现与优化

4.3.1 H.264/AVC解码器从PC到DSP的移植

4.3.2 H.264/AVC解码器基于DM642的优化

4.4性能测试与分析

4.4.1程序代码复杂度分析

4.4.2汇编优化的性能测试

4.4.3解码系统测试

4.5本章小结

第五章总结与展望

参考文献

作者攻读硕士学位期间公开发表的论文

作者在攻读硕士学位期间所作的项目

致谢