自由视点视频深度图估计的关键技术研究

摘要

人们在观看立体图像时能够体会到画面的深度感，在观看多视点视频时可以根据自己的喜好选择不同的视角，这些都是普通二维视频难以达到的效果，受到越来越多观众的欢迎。因此，立体和多视点视频是当今视频技术和应用的主流发展方向之一，具有非常广阔的市场前景。其中有多项需要解决的关键技术，如多视点纹理和深度信息的获取，多视点视频的编解码和传输，以及多视点视频的渲染等，尤其是有关深度信息的准确获得已成为当前热门研究领域之一。本文研究的关注点是在多视点视频系统中如何给立体内容加入视点交互，获得相应场景的深度信息，以及如何由深度信息进行多视点渲染，使观众可以自由选择观看的视点位置。
　　本文从构建自由视点视频系统的角度出发，在三个方面开展了相关关键技术的研究工作，即从单视点运动视频中获得可靠深度图，从多视点视频中获得可靠深度（视差）图以及利用基于深度图的渲染（Depth Image Based Rendering，DIBR）技术进行虚拟视点图像合成。主要工作和创新点如下：
　　1．从单视点运动视频中估计出深度图是非常困难的，本文联合利用SFM（Structure from Motion）和光流计算将视频中的图像帧转变为纹理＋深度图的格式，并且每一帧都有关联的摄像机姿态。算法首先利用SFM获得场景的稀疏表示、图像帧之间特征点的匹配关系，以及每个关键帧的摄像机姿态。在给定参考帧后，根据质量测量选定另一个参与运动流计算的图像帧，通过测量图像之间的运动流实现场景稀疏表示的结构稠密化，获得最优质量的深度图。算法不进行任何深度图内插计算。
　　2．为了在低计算复杂度下获得可靠的深度图，本文将全局优化的方法应用到区域立体匹配的框架内，提出不同的两种从立体图像对中提取深度信息的算法：一种是基于全局差错能量最小化的方法，另一种是基于线性区域生长的方法。全局差错能量最小化是在视差搜索范围内使用块匹配技术为每一个视差构建一个差错能量矩阵。线性生长法是判断某个点与根点之间关联度的差错能量是否小于预先设定的阈值。算法对每一个差错矩阵反复进行均值滤波，寻找最小差错能量，进而获得视差图和深度图。算法利用平滑函数进行全局最优化，通过检测视差图中的高误差能量，剔除由于遮挡区域造成的不可靠预测视差点，以提高视差图的可靠性。在匹配过程中，应用递归二维均值滤波技术快速计算方法对区域匹配算法进行优化，从而提高算法效率。
　　3．针对低纹理区域和遮挡会引起双目立体歧义的问题，提出一种基于DAISY特征和改进型权重核的快速立体匹配视差生成的算法。该算法首先稠密构造局部特征的DAISY描述，计算初始匹配成本；基于Epanechnikov权重核双通聚合消除特征相似歧义得到可靠匹配代价；按照“胜者全拿”的优化准则获得初始视差。然后，利用改进型双边滤波、对称一致性验证和多方向权重视差外插等策略改善视差估计精度。实验结果表明，该方法能有效提高匹配精度，得到分段光滑、精度高的稠密视差，且结构简单、复杂度低。
　　4．针对现有DIBR虚拟视点图像渲染算法存在的问题，提出一种基于深度信息进行后处理的DIBR虚拟视点渲染算法。该算法利用摄像机参数和深度信息，将参考视点图像的纹理和深度图变形到虚拟视点，利用基于深度信息的后处理消除变形图像中的裂缝和伪影，结合深度信息采用inpaint技术填补剩余的纹理空洞。实验结果显示，该方法不论从主观质量或是客观质量上均优于现有的虚拟视点生成方法。在数值试验中，还对多视点渲染算法的图像合成质量进行比较，以及对视频压缩的影响进行了分析。

目录

封面

声明

中文摘要

英文摘要

缩略语表

图表目录

目录

第1章 绪论

1.1 引言

1.2 课题背景及意义

1.3 论文的主要工作和创新之处

1.4 论文的结构安排

1.5 本章小结

第2章 自由视点视频技术研究

2.1 自由视点视频的国内外研究现状

2.2 SFM的深度图估计研究

2.3 视点图像立体匹配技术的研究

2.4 虚拟视点渲染技术研究

2.5 本章小结

第3章 基于SFM和光流的深度图联合估计

3.1 深度图联合估计算法

3.2 场景特征点检测与跟踪

3.3 视频关键帧的选择

3.4 从运动中恢复3D稀疏结构

3.5 从运动中恢复3D稠密结构

3.6 数值仿真与分析

3.7 本章小结

第4章 全局优化的区域立体匹配深度图估计

4.1 约束条件与可靠性计算

4.2 全局差错能量最小化法

4.3 线性生长法

4.4 数值仿真与分析

4.5 本章小结

第5章 基于鲁棒局部特征描述的区域立体匹配

5.1 引言

5.2 立体匹配的初始化

5.3 稳健视差的估计过程

5.4 数值仿真与分析

5.5 本章小结

第6章 基于深度信息后处理的虚拟视点渲染算法

6.1 DIBR绘制技术

6.2 存在问题及解决方案

6.3 算法结构

6.4 数值仿真与分析

6.5 本章小结

第7章 总结与展望

7.1 取得的研究成果

7.2 可进一步研究的问题

致谢

参考文献

攻读博士学位期间的学术成果