基于三维视频相关性的误码掩盖及超分辨率技术

摘要

3D-HEVC是基于HEVC编码标准的扩展，利用空间、时间、视点间相关性对3D视频进行高效压缩。由于3D-HEVC视频编码标准的高压缩性，3D视频比特流的抗误码能力有所下降，对信道传输错误非常敏感。例如其使用帧间预测和视点间预测等技术，一个传输错误可能影响后续帧和后续视点，导致错误扩散，严重影响解码后的视频质量。误码掩盖技术是在解码端利用空间、时间、视点间相关性，根据已解码的信息重构丢失数据，不需要占用额外带宽或增加反馈等待时间。现有的多视点视频加深度(Multiview Video plus Depth, MVD)误码掩盖方法可利用3D视频的空间相关性、时间相关性、视点间相关性及纹理深度相关性进行恢复。
　　由于3D视频的真实场景感知依赖于大量的纹理和深度数据，为了满足现实应用，在不影响视频质量的情况下，可进一步降低MVD的传输码率。基于双目视觉压抑理论，MVD可采用混合分辨率编码框架，即至少一个视点采用低分辨率，其他视点使用完整分辨率。该框架相比于完整分辨率视频明显降低了存储和传输需求并减少了处理时间。为了满足高清晰度的需求、降低视觉不舒适度，低分辨率视点需要在解码端使用超分辨率技术将其分辨率提高为完整分辨率。本文研究利用空间、时间、视点间相关性的超分辨率算法。本文的主要研究工作包括：
　　1.针对3D视频的基于场景一致性的误码掩盖方法，由于前景和背景的边缘区域容易发生映射错误，提出调整视点间不一致性 IVI在选择最佳候选块中所占的权重；进一步在分析3D-HEVC的四叉树编码结构的基础上，提出了基于当前块的运动一致性的自适应块划分，实现了基于自适应块尺寸的误码掩盖过程。与几个现有主流误码掩盖方法相比，使用该方法恢复的丢失帧质量更高，同时保持了较好的场景一致性，降低了3D视频中由于帧间不一致性导致的闪烁效应，可以给使用者提供更好的观看体验。
　　2.提出了3D视频的基于视点间相关性的超分辨率算法。该算法利用视点间相关性，将相邻的完整分辨率视点中的全分辨率帧映射到低分辨率视点所在的图像平面，得到合成的虚拟视点图像；利用空间相关性，将原有的低分辨率视点中的帧进行插值，得到插值的图像；利用虚拟视点图像和插值图像设计选择机制来生成低分辨率视点的全分辨率图像。实验表明，本文的方法有较好的性能。

目录

声明

插图索引

表格索引

符号对照表

缩略语对照表

第一章 绪论

1.1研究背景与意义

1.2国内外研究现状

1.3论文的组织结构

第二章 3D-HEVC视频编码技术

2.1 3D-HEVC基本框架

2.2基于时空相关性的编码技术

2.3基于视点间相关性的编码技术

2.4基于视点间相关性的视点合成技术

2.5本章小结

第三章 3D视频基于场景一致性的误码掩盖技术

3.1概述

3.2经典的MVD误码掩盖技术

3.3基于场景一致性准则的误码掩盖算法

3.4场景一致性准则的分析及改进

3.5算法实验结果与分析

3.6本章小结

第四章 3D视频基于视点间相关性的超分辨率技术

4.1概述

4.2基于视点间相关性的超分辨率技术

4.3算法实验结果与分析

4.4本章小结

第五章 总结和展望

参考文献

致谢

作者简介