基于运动估计优化的可伸缩视频编码技术的研究

摘要

随着电子技术和通信技术的发展，不同的终端显示设备、不同的通信网络状况、不同消费用户的需求都对视频编码提出了多元化的要求，随之产生的问题是如何在一次编码过程中形成视频码流以同时满足多种应用的需求或网络状况的约束。同时，网络带宽已经不是约束视频通信发展的最主要因素，对于视频编码和通信的研究人员，如何以一种统一的方案提供给不同网络、不同用户群体以不同质量的视频通信，成为近年来乃至今后一段时间内的研究重点之一。 能在实际应用中环境参数发生变化的情况下，在一定范围内做有益于应用持续稳定进行的视频参数调整的可伸缩视频编码就是在上述背景下产生的。分层可伸缩视频编码可以使视频在几个固定的速率下进行通信，提供了一定的伸缩性能。而精细粒度可伸缩视频编码可以使视频在一个连续可调的速率范围内进行通信，给视频应用带来更多的灵活性和可控性。 论文以视频编码国际标准中的关键技术一块匹配运动估计算法的研究为主线，以研究和实现精细粒度可伸缩视频编码为目标，以编程实现的视频编码器原型为所提出的算法性能验证的仿真平台，进行了视频编码范畴内的系列研究工作，实现了基于运动估计优化的可伸缩视频编解码器。 在综述和比较块匹配运动估计快速算法的基础上，提出了一种自适应的块匹配运动估计混合搜索算法。选择“相关块运动水平”作为分级依据，将当前块的运动水平分为3个等级以采用不同的搜索策略。对于小运动块，充分挖掘运动图像的中心偏置特性，提高算法的速度。对于大运动块，利用多候选值搜索策略，提高算法的精度。通过仿真实验验证了提出的自适应算法具有更高的搜索速度、搜索精度以及较好的鲁棒性。 分析了运动矢量场采样密度自适应选择的意义和实现途径，比较了用四叉树代表图像块分割的可变尺寸运动估计的几类方法。基于树形结构信源编码的率失真修剪树理论，提出了基于约束生长的可变尺寸运动估计算法。采用最大率失真索引、改进四叉树编码、快速运动矢量搜索方法提出对约束生长算法的优化实现方案。通过仿真实验验证了约束生长算法以较低的计算复杂度实现了率失真优化的可变尺寸运动估计。 对快速发展的通信网络和多媒体业务对视频编码的要求进行了分析，指出了视频伸缩编码的应用需求和发展方向。在总结了精细伸缩视频编码的多种实现方案的基础上，提出了两种基于运动估计优化的伸缩视频编码方案： 第一种是基于可变尺寸运动估计和小波嵌入式编码的伸缩视频编码方案。在仿真实验验证编码器性能的基础上，提出将参考帧码率离线的锁定在应用范围的中间码率或根据网络状况进行在线调节的方案，用以尽可能地提高接受端的实际解码质量。 第二种是针对MPEG-4FGS的优化编码方案，在对增强层截断方法、残差编码模式对FGS编码性能的影响进行分析的基础上，提出采用附加的可变尺寸运动估计并增加两种残差编码模式，形成MMCFGS编码方案来提高FGS的编码效率。 对视频差错的产生和影响进行了分析。在综述当前主要的差错控制算法的基础上，针对IP网络上的视频传输，提出了组合差错控制策略和隔行打包方法。面向隔行丢失的错误模式，提出了一种结合时域错误恢复和空域错误恢复方法的快速自适应错误恢复混合算法。该算法根据视频帧的编码模式、错误宏块的邻域宏块的编码模式、运动程度和运动矢量一致性自适应的选择错误恢复方法。仿真实验结果验证了自适应算法具有较好的错误恢复能力。 由于涉及问题复杂而广泛，并且受到实验环境、作者水平的局限，本文的研究工作尚存在不足之处，有待进一步的研究。

目录

文摘

英文文摘

论文说明：重要符号清单

声明

第一章绪论

1.1课题的提出

1.2主要研究工作

1.3本文的结构

第二章视频编码和通信的原理与标准

2.1视频编码的原理

2.1.1数字视频的交换格式

2.1.2视频压缩的理论基础

2.1.3视频压缩过程和实现技术

2.1.4视频编码的评价指标

2.2视频编码的国际标准

2.2.1视听会议压缩编码标准H.261

2.2.2低比特率视听会议压缩编码标准H.263

2.2.3数字声像存储压缩编码标准MPEG-1

2.2.4通用视频图像压缩编码标准MPEG-2

2.2.5视频对象压缩编码标准MPEG-4

2.3多媒体通信协议

2.3.1多媒体网络

2.3.2基于IP的多媒体通信协议

2.4本章小节

第三章自适应快速块匹配运动估计算法

3.1运动估计的原理

3.1.1全局恒速运动模型

3.1.2二维运动估计原理和分类

3.2快速块匹配运动搜索算法

3.2.1传统快速搜索算法

3.2.2带中途停止技术的快速搜索算法

3.2.3其它快速搜索算法

3.3快速搜索算法的优化技术

3.3.1中心偏置的搜索样式

3.3.2基于时空相关性的预测技术

3.3.3多起始点预测策略和象素缩减技术

3.4自适应块匹配运动估计搜索算法

3.4.1搜索算法自适应选择判据

3.4.2自适应搜索算法的描述

3.4.3仿真试验和结果分析

3.5本章小节

第四章可变尺寸块匹配运动估计

4.1运动矢量场的变采样频率描述

4.2约束生长算法的原理与实现

4.2.1树形结构信源编码的修剪树理论

4.2.2基于修剪树理论的生长算法

4.2.3约束生长算法的优化实现

4.3仿真实验和结果分析

4.4本章小节

第五章精细粒度伸缩视频编码

5.1伸缩编码的概念和原理

5.1.1伸缩编码的应用需求

5.1.2伸缩编码的分类和发展趋势

5.1.3伸缩编码的理论基础和实现技术

5.2精细粒度伸缩(FGS)视频编码

5.2.1基于DWT的FGS视频编码

5.2.2基于DCT的FGS视频编码

5.3 MPEG-4 FGS视频编码的关键技术优化

5.3.1 FGS的码流截断和码率分配

5.3.3 FGS编码的宏块级残差模式选择

5.4附加可变尺寸运动估计的MMC_FGS编码

5.4.1附加的可变尺寸运动估计

5.4.2附加可变尺寸运动估计的MMC_FGS编码框架

5.4.3仿真试验和结果分析

5.5本章小节

第6章视频传输的差错控制

6.1视频传输的错误和影响

6.2视频差错控制技术分类

6.2.1主动差错控制技术

6.2.2被动差错掩盖技术

6.2.3编解码的交互错误控制

6.3基于IP的视频传输的组合差错控制策略

6.3.1差错控制和打包方案

6.3.2自适应错误掩盖算法

6.3.3仿真实验和结果分析

6.4本章小节

第七章结束语

7.1全文总结

7.2工作展望

参考文献

致谢

攻读博士学位期间发表的学术论文