基于纹理合成的图像/视频编码方法研究

摘要

高效的图像/视频压缩编码是以数字化存储和传输为核心的多媒体应用中亟待解决的基础科学问题之一。图像/视频压缩方法大体上可分为目前广泛采用的基于信号编码方法和基于视觉的编码方法两类。前者主要利用数字信号处理技术，通过预和熵编码去除图像中的时空冗余和统计冗余。后者利用人类视觉研究成果，除视觉冗余。纹理区域内容的相似性导致了纹理区域存在大量的视觉冗余，因合成技术为基于视觉的编码方法提供了一种新的途径。为此，本课题以研究面视频编码的纹理合成技术为核心，结合基于信号处理的图像视频编码的优势基于低分辨率和低频信息辅助纹理合成技术的图像/视频信号码方法，该编码地保留了原始图像重要的视觉特征，大幅度地降低了码率。主要的创造性包括如下3个方面：
　　 1.提出以低分辨率数据为辅助信息纹理合成的图方法。现有纹理合成方
　　 法不能直接用于图像的压缩，需要借助指导信息辅助程。基于指导信息辅助纹理合成的编码方法本质就是降质图像的恢复问题，本、指导信息等编码信息的选择，纹理合成算法，以及二者的匹配是影响三个关键因素。为此，本课题以上述三个关键因素为核心，针对图像的低具有包含了图像的主要视觉特征、便于编码等特点，建立了低分辨率辅助.制；从逆纹理合成思想出发，提出了基于纹理合成算法指导的纹理样本的选择法，有效地解决了编码信息选择与纹理合成算法的匹配问题；结合低分辨率辅助指导机制和纹理区域的选择准则，建立了以低分辨数据为辅助指导信息的纹理合成算法，实现了该纹理合成方法与现有的编码框架的融合，有效地提高图像的编码效率。
　　 2.针对随机性视频纹理，提出了GraphCut与DC补偿相结合的纹理合成编码方法。随机性纹理具有视觉冗余较高而统计冗余较低的特点，采用现有的基于信号的编码方法无法实现帧内和帧间的高精度预测，从而导致了编码效率的低下。该方法充分利用GraphCut方法合成纹理边界融合质量高的特点，合理地平衡纹理合成质量和纹理合成指导信息的选择，以尽可能少的指导信息，实现对随机性视频纹理的高效率压缩，从而最大限度地挖掘纹理合成的自身潜力。在此基础上，结合人类视觉系统对随机纹理的低频信息具有较高的敏感性，编码端采用现有基于信号处理的编码方法对随机性纹理块的DC分量进行编码，以用于在解码端补偿纹理合成区域的低频成分，从而进一步地提升重建图像质量。
　　 3.针对基于纹理合成的视频编码，提出了动态的纹理合成区域选择方法。在将基于纹理合成方法集成到现有视频编码框架中时，由于两种编码方法使用不同的评价标准，因此纹理合成区域与非纹理合成区域之间的频繁交替会造成主观质量的下降。我们通过为每一帧动态分配纹理合成区域面积的方法，实现了纹理合成区域在相邻帧间的平滑过渡，最大限度地减小了由于纹理合成区域分配引起的主观质量降低。

目录

文摘

英文文摘

插图

Figure

第1章 绪论

1.1 引言

1.2 基于信号的图像/视频编码方法

1.2.2 图像编码的标准与技术

1.2.3 视频编码的标准与技术

1.3 基于视觉的图像/视频编码方法

1.4 纹理合成技术

1.4.1 纹理区域划分技术

1.4.2 图像纹理合成

1.4.3 视频纹理合成

1.5 研究内容及论文结构

第2章 基于纹理合成的图像/视频编码框架

2.1 基于纹理合成的图像/视频编码框架

2.2 基于纹理合成的图像/视频编码的流程分析

2.3 基于纹理合成的图像/视频编码中的几个问题

2.3.1 抛弃分量的确定

2.3.2 纹理合成区域与纹理样本选择

2.3.3 纹理合成指导信息

2.4 本章小结

第3章 基于低分辨率辅助纹理合成的图像编码

3.1 引言

3.2 基于低分辨率辅助纹理合成

3.2.1 基于全变分的纹理区域分割方法

3.2.2 低分辨率辅助指导机制

3.2.3 合成算法指导的纹理样本选择方法

3.2.4 基于低分辨率辅助的纹理合成算法

3.3 基于低分辨率辅助纹理合成的图像编码

3.4 实验结果

3.5 本章小结

第4章 基于低分辨率、低频辅助纹理合成的视频编码方法

4.1 引言

4.2 面向快速运动视频的纹理合成编码

4.2.1 面向快速运动视频的低分辨率辅助纹理合成

4.2.2 基于低分辨率辅助纹理合成的快速运动视频编码

4.2.3 实验结果

4.3 面向随机性纹理视频的纹理合成编码

4.3.1 相关工作

4.3.2 基于GraphCut和DC补偿的纹理合成

4.3.3 基于GraphCut和DC补偿纹理合成的随机性纹理视频编码方法

4.3.4 实验结果

4.3.5 解码端复杂度分析

4.4 本章小结

第5章 基于纹理合成视频编码的合成区域选择与码率控制

5.1 引言

5.2 基于纹理合成视频编码中的纹理合成区域选择策略

5.2.1 现有纹理合成区域选择方法

5.2.2 纹理合成区域选择方法

5.2.3 纹理合成区域选择的评价方法

5.3 基于纹理合成图像/视频编码的码率控制

5.3.1 传统码率控制

5.3.2 基于纹理合成图像/视频编码的码率控制

5.4 本章小结

结论

论文的创新研究和总结

研究工作的展望

参考文献

攻读博士学位期间取得的研究成果

致谢

项目基金资助