基于深度的实时高质量图像渲染系统的研究与实现

摘要

对于将人眼感知延伸到3D视觉的研究已经进行了数十年，并被广泛应用于3D电视和虚拟现实游戏中。为了使观众们在计算机生成的环境中有更强烈的存在感，新方法不断被提出，其中基于深度的图像渲染(DIBR)已引起了很多关注。DIBR利用已知的参考图像及其深度信息，能有效地生成新的虚拟视图，是3D显示系统的关键部分。 在常见的DIBR算法中，生成高质量的虚拟视图不仅对深度信息的准确性有较高的要求，还需要额外的修复方法来填充在虚拟视图中变得可见的原遮挡区域。因此，DIBR是一个复杂且耗时的过程，它很难在CPU上实现实时处理，尤其对高分辨率图像。目前，对DIBR算法的研究主要集中在两点:虚拟视图的真实性和处理速度的实时性。本文提出了一个完整的面向高分辨率图像的DIBR硬件系统，它主要由图像校正、视差估计和视图合成三部分组成并通过FPGA实现，能够实时生成高质量的虚拟视图。 首先，图像校正可以被看作是DIBR系统中解决相机未对齐情况的预处理步骤。本文提出了二阶段基于计算逻辑(TPCL)的图像校正算法及其实时硬件实现。TPCL图像校正可分为两个不同的阶段，并满足各自不同的要求:第一阶段计算初始图像的转换矩阵，要求保证计算的准确性，只在系统启动时通过软件计算一次;第二阶段使用转换矩阵来生成校正图像，要求同时满足计算准确性和实时性，在并行化设计之后通过计算逻辑硬件实现。它能够以50帧/秒的速度校正1080p图像，并通过现实世界中拍摄的图像进行评估，得到明显的校正效果。 然后，视差估计通过校正的立体图像对，计算两图像间每个对应像素的位移，并在视差图中显示。本文提出了加强的迷你普查—基于分割自适应权重(EMCSASW)的局部视差估计算法，它主要有两点贡献:1）结合迷你普查变换和基于分割的自适应权重法，以准确地计算深度不连续位置的视差;2）提出基于分割的视差优化方法以保证视差平滑度，其中包括一致性检查、视差筛选、视差修补和中值过滤等。为了降低算法复杂度并提高硬件适用性，本文同时对EMCSASW算法进行面向FPGA的优化，并在此基础上提出了具有高度并行化机制和数据重用技术的硬件架构，实现了高吞吐量的视差估计流程。本文的视差估计硬件可以轻易被扩展，对于1080p图像和64像素的视差搜索范围的速度为45帧/秒，并通过Middlebury标准数据集进行评估，其视差图的平均错误率为6.02％。此外，KITTI标准数据集和现实世界中拍摄的图像也被用于视差质量评估，以便得到详细全面的结果。 最后，视图合成利用校正的立体图像对及其相应的视差图来生成虚拟视图。本文提出了加强的结合视图内插与外推(EVIE)的视图合成算法，它按照虚拟视图的目标位置使用不同的合成方法，并根据虚拟视图中空洞的面积采用不同的修补方法。此外，本文还设计了EVIE算法相应的硬件架构，并使用基于行的乒乓缓冲区来保证流水线处理。它能够以65帧/秒的速度生成1080p虚拟视图，并通过Middlebury标准数据集进行评估，虚拟视图的平均峰值信噪比(PSNR)和结构相似度(SSIM)分别为30.58和0.9423。 以上图像校正、视差估计和视图合成三部分集成为一个完整的DIBR系统，并在Altera EP4SGX530FPGA板上实现。它对1080p图像的处理速度达到45帧/秒，并通过Middlebury标准数据集和现实世界中拍摄的图像进行评估，最终Middlebury标准数据集的虚拟视图的平均PSNR和SSIM值分别为30.07和0.9303。

目录

声明

致谢

摘要

插图

表格

缩写、符号清单、术语表

1绪论

1．1研究背秉及意义

1．2本文研究内容和主要创新点

1．2．1本文研究内容

1．2．2本文主要创新点

1．3本文章节安排

2 图像渲染系统及其研究现状

2．1基于图像渲染的分类

2．1．1 明确几何信息的IBR方法

2．1．2隐含几何信息的IBR方法

2．1．3不含几何信息的IBR方法

2．2相机校准

2．3图像校正

2．3．1 图像校正的原理

2．3．2图像校正的相关研究工作

2．4视差估计

2．4．1 视差估计的原理

2．4．2视差估计的相关研究工作

2．5视图合成

2．5．1 视图合成的原理

2．5．2视图合成的相关研究工作

2．6本文的研究方法概述

3 TPCL图像校正

3．1 TPCL图像校正算法

3．1．1 图像校正的转换矩阵

3．1．2双线性插值

3．2 TPCL图像校正的硬件实现

3．3实现结果

3．3．1 资源利用

3．3．2图像评估

3．4本章小结

4 EMCSASW视差估计

4．1 EMCSASW视差估计算法

4．1．1 代价计算

4．1．2 代价积聚

4．1．3视差选择

4．1．4视差优化

4．2 EMCSASW视差估计的硬件实现

4．2．1并行化机制

4．2．2数据重用技术

4．2．3代价积聚

4．2．4视差优化

4．3实现结果

4．3．1 总体硬件性能评估

4．3．2可扩展性

4．3．3视差准确度评估

4．4本章小结

5 EVIE视图合成

5．1 EVIE视图合成算法

5．1．1 视图内插

5．1．2视图外推

5．2 EVIE视图合成的硬件实现

5．3实现结果

5．3．1 总体硬件性能评估

5．3．2虚拟视图质量评估

5．4本章小结

6．1硬件架构

6．2实现结果

6．3本章小结

7总结与展望

7．1工作总结

7．2未来工作展望

参考文献

附录