3D-HEVC中低复杂度帧内编码算法研究

摘要

3D视频在电影工业中取得空前成功后，正向着自由视点视频的方向发展。自由视点视频的视觉效果取决于视点数目，然而3D视频视点的增加将导致数据量的激增，并且此问题无法通过高效3D视频编码来解决。为此，业界提出了一种高效的3D视频描述格式-多视点视频加深度。为了适应现有的网络带宽下，国际标准组织ISO/IEC与ITU-T合作成立了JCT-3V工作组，并发布了基于新一代视频编码标准HEVC的3D视频编码标准3D-HEVC。与普通2D视频的HEVC标准相比，3D-HEVC将多视点视频加深度视频的编码效率提升了1倍，成为现阶段唯一可以实际应用的3D视频解决方案。然而，3D-HEVC在将深度图像的编码进行标准化的过程中，采纳了一些先进的编码技术，导致了深度图像编码的计算杂度激增，严重地阻碍了3D-HEVC标准的实际应用。
　　因此，对深度图像相关快速编码算法的研究成为推动3D-HEVC发展的首要问题。本文针对上述问题，从深度帧内编码入手，找到了深度帧内编码过程中的繁琐和冗余之处，并提出了相应的快速算法，主要工作和创新点如下:
　　分析深度图像的深度楔形分割模式选择的计算复杂，找到其编码时间长的原因是候选模式数目多和率失真代价计算量大。针对上述问题，首先通过研究发现楔形编码块的平滑特性，提出了一种基于区域分割的分段平滑检测方法，用于快速楔形分割模式选择算法;其次以像素分类的观点分析最优楔形分割模式，并提出了以两个分割区域的方差的欧式距离作为楔形分割模式的率失真评价标准;实现了楔形分割模式选择快速算法研究。
　　研究发现深度帧内模式和残差编码模式的编码时间长，为此提出了两个深度帧内编码模式快速选择算法。首先，通过探究深度图像的空间相关性，利用邻近解码可用的参考像素对当前编码块进行分类，针对不同的编码块类选择不同的候选帧内编码模式集来加速编码器，同时将采用不同的帧内模式编码方案来降低比特消耗。其次，本文还提出了基于低复杂度率失真代价的帧内编码模式选择算法，该算法通过编码的中间参数与阈值的比较实现编码块分类，进而跳过一些编码块的帧内编码模式和残差编码模式的率失真代价的计算。该算法的主要优点是易于硬件的实现，且具有良好的兼容性。
　　3D-HEVC的编码单元尺寸的划分采用了递归的穷举法，此过程的计算复杂度极高。为了加速CU的划分，本文首先通过分析帧内预测模式和CU划分之间的关系，而后对帧内编码模式进行分类。其次，通过角点检测算子发现编码块的不同纹理特性，依据角点对CU进行预划分，并根据纹理图像的CU划分对预划分进行调整。最后所建立CU预划分和最优CU划分之间的概率分布证实了所提基于角点特征和纹理图像的CU划分快速算法的准确度，帮助跳过不必要的CU尺寸的计算，实现了CU划分的快速选择。
　　本文通过将所提算法与标准3D-HEVC编码器以及其他学者提出的算法进行对比测试来验证本文所提算法的编码性能。对比试验结果表明本文所提的算法在保证虚拟视点合成质量的前提下有效地降低了深度帧内编码的复杂度，提高了3D-HEVC的编码速度，推动了3D-HEVC的普及。

目录

声明

摘要

插图目录

表格目录

主要符号说明

1 绪论

1．1 视频编码基本原理和发展历程

1．1．1 早期视频编码标准

1．1．2 H．264编码标准

1．1．3 HEVC编码标准框架

1．2 三维视频系统的发展及其编码标准

1．2．1 多视点视频

1．2．2 多视点加深度的3D视频

1．3 3D-HEVC的优化以及国内外研究现状

1．4 研究内容与论文组织结构

1．4．1 研究内容

1．4．2 论文组织结构

2 3D-HEVC编码算法分析及性能研究

2．2 3D-HEVC的核心技术

2．2．1 HEVC／3D-HEVC的灵活块划分结构

2．2．2 Inter-view编码工具

2．2．3 Inter-Component编码工具

2．2．4 Depth编码技术

2．3 3D-HEVC编码算法性能的复杂度分析

2．3．1 不同类型帧的编码复杂度分析

2．3．2 深度图像帧内编码各算法的复杂度分析

2．4 本章小结

3 低复杂度DMM模式选择算法研究

3．1．1 DMMl楔形分割模式集的生成方法

3．1．2 DMM的楔形分割结点模式集的生成方法

3．1．3 DMM楔形分割选择的率失真评价方法

3．1．4 DMM楔形分割模式决定方法

3．2 基于区域的DMM楔形分割模式搜索方法

3．2．1 预定义区域分割

3．2．2 特征选择

3．2．3 预定义分割区域的楔形分割结点模式集

3．2．4 算法具体流程

3．2．5 基于统计的阈值选择方法

3．2．6 实验结果和分析

3．3 低复杂度DMM率失真评价方法

3．3．1 最优楔形分割的统计分析

3．3．2 算法的流程

3．3．3 实验结果和分析

3．4 本章小结

4 深度图像帧内模式选择算法研究

4．1 3D-HEVC深度图像的帧内预测模式的选择方法

4．1．1 深度帧内编码模式参数的选择

4．1．2 深度帧内编码模式选择方法的复杂度分析

4．1．3 深度帧内模式的编码

4．2 基于空间相关性的深度帧内模式选择和编码算法研究

4．2．1 深度空间相关性研究

4．2．2 算法描述和流程

4．2．3 本节所提算法的解码流程

4．2．4 实验结果和分析

4．3 基于低复杂度率失真代价的深度帧内预测模式选择算法研究

4．3．1 低复杂度率失真代价和最优模式的统计关系

4．3．2 算法流程和描述

4．3．3 自适应阈值选取

4．3．4 实验结果和分析

4．4 本章小结

5 深度图像帧内CU划分决定算法研究

5．1．1 深度图像CU划分决定方法

5．1．2 CU划分结果分析

5．2 低复杂度的深度帧内CU划分研究

5．2．1 CU进一步划分与帧内编码模式的关系

5．2．2 角点的计算方法

5．2．3 基于角点特征的深度帧内CU快速划分算法

5．2．4 基于角点特征和纹理视频的深度帧内CU快速划分算法

5．2．5 角点的计算方法和自适应选择角点数目

5．3 实验结果和分析

5．4 本章小结

结论和展望

致谢

个人简历

参考文献

攻读博士学位期间发表的学术论文