基于超分辨率的多视角混合分辨率视频描述的关键技术研究

摘要

随着3D处理、3D显示技术以及微处理器技术的发展，3D视频处理应用技术已成为当前的研究热点，正快速从理论研究向应用领域转化。随着显示终端的进一步发展，使得3D电视、FTV（Free-viewpoint TV）进入到普通用户家庭成为可能。但随之而来的是更大的挑战：面对海量的视频数据，如何高效地表示多视角数据，以便能够在带宽有限的信道中传输，并且能够在解码后获得尽可能的高分辨率与高质量的视频图像。因此，展开多视角视频模型描述研究，以降低数据量和比特率是非常有必要的。本文在对现有多视角视频框架和图像超分辨率重构技术的基础上，展开基于超分辨率的多视角混合分辨率视频描述的关键技术研究。
　　本文首先阐述了在混合分辨率多视角视频加深度图（MR-MVD）的多视角混合分辨率视频模型下的几种典型超分辨率方法。然后，对多视角视频各视角间的相关关系展开研究，并在现有MR-MVD框架下，提出一种新的基于视角间相关性的超分辨率算法。与仅将相邻高分辨率视角图像作为参考帧的传统超分辨方法相比，本文所提算法则充分利用了多视角混合分辨率视频中的所有高分辨率视角图像，根据各视角间的相关性，提出一种基于最优权重分配的图像高、低频融合方案，以提高低分辨率视角视频图像的细节信息。接着，文章还介绍了除MR-MVD格式外的其他几种常见多视角混合分辨率视频表示描述模型。最后，以人眼时域掩盖和双目视觉抑制原理为理论依据，在MR-MVD框架基础上，提出一种新的视角内、视角间联合混合分辨率视频描述模型，并简要阐述了在现有编解码框架下基于该模型的传输系统。
　　对于典型的多视角混合分辨率视频图像超分辨率技术，文章分别从空域和变换域进行实现，并且同本文所提的超分辨算法结果进行比较；还将本文提出的视角内、视角间联合混合分辨率描述模型与传统多视角混合分辨率视频描述框架进行对比。仿真结果表明，不论是在主观还是客观评价方面，本文提出的全新的超分辨算法和视角内、视角间联合混合分辨率视频描述模型都取得更好的效果。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究背景及意义

1.2 多视角视频技术的国内外研究现状及发展态势

1.3 论文的结构安排

第二章 多视角混合分辨率视频超分辨技术

2.1 引言

2.2 多视角混合分辨率视频超分辨原理

2.3 多视角混合分辨率视频空域超分辨实现

2.4 多视角混合分辨率视频变换域超分辨实现

2.5 本章小结

第三章 基于最优权重的多视角混合分辨率视频超分辨

3.1 引言

3.2 相关性描述

3.3 基于最优权重分配的超分辨算法

3.4 算法实现及结果分析

3.5 本章小结

第四章 多视角混合分辨率视频描述模型

4.1 引言

4.2 全分辨率立体视觉及多视角描述模型

4.3 帧兼容描述模型

4.4 基于深度图的描述模型

4.5 本章小结

第五章 视角内、视角间联合混合分辨描述模型

5.1 引言

5.2 人眼视觉系统基本原理及特性

5.3 视角内、视角间联合混合分辨描述模型

5.4 视角内、视角间联合混合分辨描述模型的评价

5.5 本章小结

第六章 总结与展望

6.1 全文总结

6.2 后续展望

致谢

参考文献

攻读硕士期间取得的研究成果