基于FPGA的实时高清2D转3D系统研究

摘要

随着3D显示技术的快速发展，传统的2D电视已不能满足人们对逼真感的需求。为解决这一问题，3D电视应运而生并受到广泛关注。然而，3D片源的短缺，制作成本的昂贵，严重阻碍了3D电视技术的发展。如果能将目前大量的2D视频实时转为3D视频，则不仅可以为3D电视提供丰富的素材，而且能大大节约制作成本。因此，2D转3D技术成为当前3D电视的关键技术。
　　本论文的研究目的是通过对2D转3D系统的原理、技术和方法进行研究，在FPGA开发板上实现实时高清2D转3D系统，为2D转3D技术在3D电视中的应用提供理论和技术支撑。
　　论文首先介绍了2D转3D系统的基本原理，然后在该原理的基础上，对2D转3D系统中的关键算法——深度估计和基于深度图像绘制(depth-image-based rendering, DIBR)展开研究，最后给出了2D转3D系统的硬件实现。
　　论文的主要研究成果包括：
　　①改进了基于相对高度深度线索的深度估计算法。改进后的算法同原算法相比，图像质量相当，但更易于硬件实现。
　　②提出了无摄像机标定参数下的三维图像变换算法。该算法利用标定参数与深度图中深度值之间的关系，将需要标定参数的三维图像变换公式简化为只含有3个可调参数的公式形式，不但简化了计算，而且为观众提供了根据自身偏好调节感知深度的功能。
　　③提出了基于视差图中值滤波的匹配误差校正算法。该算法可以有效的校正匹配误差，且不会造成图像的模糊。由于算法与DIBR的三维图像变换无关，因此可作为附加的匹配误差校正算法应用于DIBR后处理过程中。
　　④提出了实时高清视频(720p)的2D转3D系统FPGA架构。该架构能在200MHz时钟频率下，实时地将2D视频转为3D视频(Side-by-Side)。对于风景图像，生成的3D视频具有令人满意的立体效果。
　　⑤实现了深度估计系统和DIBR系统中的三维图像变换模块和视差图中值滤波模块，给出了硬件架构、工作原理、工作时序图和仿真结果。
　　本论文力求在研究方法与思路上有所突破，其研究成果将为2D转3D技术在3D电视中的应用提供具有实用价值的新方法。

目录

封面

中文摘要

英文摘要

目录

图表目录

术语

1 绪 论

1.1 立项依据

1.2 研究内容

2 基于DIBR的2D转3D原理

2.1人眼如何感知3D

2.2立体显示技术

2.3 基于DIBR的2D转3D

2.4 本章小结

3 深度估计算法

3.1引言

3.2基于相对高度深度线索的深度估计算法

3.3基于硬件的算法改进

3.4实验结果和对比分析

3.5本章小结

4 DIBR算法

4.1 引言

4.2 DIBR算法流程

4.3 无摄像机标定参数的三维图像变换

4.4 视差图中值滤波

4.5 实验结果与对比分析

4.6 本章小结

5 深度估计系统的硬件实现

5.1 深度估计的硬件实现

5.2 深度估计系统子模块

5.3 分级流水线架构

5.4 行列转换

5.5 列行转换

5.6 本章小结

6 DIBR系统的硬件实现

6.1 DIBR系统硬件实现

6.2 DIBR系统内部模块设计

6.3 本章小结

7 硬件开发平台及实验结果分析

7.1 硬件开发平台及开发工具

7.2 测试方案设计

7.3 实验结果展示与分析

7.4本章小结

8 总结与展望

8.1总结

8.2展望

致谢

参考文献

附录

A. 作者在攻读硕士学位期间发表的相关论文目录

B. 作者在攻读硕士学位期间申请的相关专利目录

C. 作者在攻读硕士学位期间参加的相关科研项目

D. 相关代码的SVN路径