自由视点三维视频系统关键技术研究

摘要

随着自由视点三维显示技术的发展，新一代的自由视点三维视频得到了越来越广泛的关注。国际标准组织MPEG已经率先开始了针对自由视点内容的新一代自由视点三维视频技术的研究工作。最新的裸眼三维显示设备能同时呈现成百个视点，这些视点的排列密集，呈现场景的视角大，还能使观看者通过在屏幕前走动进行平滑的视点切换，提供了极好的裸眼三维视频体验。用于这类裸眼三维显示设备显示的三维视频内容称为自由视点三维视频。由于自由视点三维视频呈现的场景的视角范围大，所以大多采用的是弧形排列的摄像机采集得到，而传统的三维视频大多是一维平行排布的摄像机采集得到。自由视点三维视频中的一类是超多视点三维视频，不同于传统的三维视频内容的视点数大多是小于20个视点，而超多视点三维视频内容要多于100个视点。如果同时存储或者传输成百个视点的自由视点内容，对存储和传输带宽都是极大的挑战，所以还有一类自由视点三维视频是自由巡航式的三维视频，这类三维视频的特点是个数少(＜10)，视点间隔大，通过利用虚拟视点绘制方法绘制出成百个虚拟视点来通过裸眼的三维显示设备进行呈现。由于自由视点内容相比于传统的三维视频在视点数量以及视点排列方式发生了很大的变化，对自由视点三维视频系统的各个环节的研究成为了新一代三维视频技术研究新课题。本文主要研究自由视点三维视频系统中的自由视点三维视频的表达，自由视点内容的高效压缩以及自由视点内容的呈现这三个主要的环节。
　　自由视点三维视频的表达中，本文主要研究重点是自由视点三维视频的紧凑表示，本文通过实验揭示了基于多视点纹理加深度(MVD)格式表达的自由视点三维视频，在特定的码率条件下，可以通过对编码视点数和虚拟视点合成数的折中，减少自由视点三维视频的表达视点数，达到对自由视点三维视频内容的紧凑表示的目的。
　　自由视点内容的高效压缩环节中，本文主要研究的是面向自由视点内容的视点间预测技术，其中包括任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术。本文对任意摄像机排布下视点间运动信息关系模型进行了构建，从而提出了一套高效的视点间运动信息预测方案。这套视点间运动信息预测方案相比于3D-HEVC中视点间运动信息预测方案，为非一维平行排布时的序列提供了更为准确的视点间对应关系，从而能在压缩任意摄像机排布的自由视点内容时达到较高的视点间预测效率。该方案中的任意摄像机排布的视差矢量导出技术和任意摄像机排布的视点间运动矢量预测技术都能提供较大的编码性能增益，其中任意摄像机排布的视差矢量导出方案有约4.88％的性能增益，任意摄像机排布的运动矢量预测有约7.16％的性能增益，两项技术的总体性能增益达到了平均8.77％。任意摄像机排布的视差矢量导出技术和视点间运动矢量预测技术作为三维视频编码技术中基本的纹理图像编码技术，为后面研究更加复杂高效的任意摄像机排布的多重预测技术奠定了基础。
　　自由视点内容的呈现环节中，本文的主要研究内容是面向自由巡航应用的自由视点内容呈现，包括提出了将超多视点内容与自由巡航应用结合的自由巡航式呈现方式，提出了一套利用球面线性插值对虚拟摄像机的朝向进行插值以及利用样条插值方法对虚拟摄像机的位置进行插值的自由巡航路径规划方案。本文通过主观实验发现，对虚拟摄像机朝向进行球面线性插值后带来的巡航呈现的主观视觉感受要好于让虚拟摄像机朝向不连续变化时的巡航体验。
　　总的来说，本文的研究工作围绕自由视点三维视频系统的各个环节开展，在自由视点三维视频系统的表达，压缩和呈现三个方面开展了分析和研究，研究工作形成了一套较为完善的自由视点三维视频系统中关键环节的实现方案。

目录

声明

致谢

摘要

图目录

表目录

1 引言

1．1 自由视点三维显示设备

1．1．1 空分式自由视点显示设备

1．1．2 时分式自由视点显示设备

1．2 三维视频标准化发展简述

1．3 新一代自由视点三维视频应用

1．4 本文研究内容和成果

2 自由视点三维视频的紧凑表示

2．1 自由视点三维视频的表达

2．2 自由视点内容的紧凑表示因素分析

2．3 自由视点内容紧凑表示实验研究

2．4 结论

3 面向自由视点内容的视点间预测技术

3．1 视点间运动信息关系模型

3．1．1 基于一维平行排布的视点间运动信息预测

3．1．2 基于任意排布的视点间运动信息预测

3．2 3D-HEVC视点间运动信息预测技术

3．2．1 3D-HEVC中的视差矢量导出方法

3．2．2 3D-HEVC中的视点间运动矢量预测简介

3．3 任意摄像机排布的视点间预测技术

3．3．1 任意摄像机排布的视差矢量导出方法

3．3．2 任意摄像机排列的视点间运动矢量预测

3．4 性能测试结果与分析

3．5 小结

4 面向自由巡航应用的自由视点内容呈现

4．1 研究背景介绍

4．2 问题分析

4．2．1 虚拟摄像机参数插值可实现性分析

4．2．2 自由巡航路径规划的分析

4．2．3 自由巡航主观感受因素分析

4．3 自由巡航式呈现的路径规划

4．3．1 摄像机朝向插值

4．3．2 摄像机位置插值

4．4 自由巡航式呈现主观实验设计

4．5 实验结果分析

4．6 小结

5 总结与展望

参考文献

作者在攻读硕士学位期间的科研成果与科研工作