基于FPGA的视频2D转3D算法研究及实现

摘要

随着视频显示技术的发展，3D显示技术以其逼真的立体效果已经为现代人们所追捧，在影视娱乐、医疗教育等领域得到很快的发展。对于3D片源的获取，主要有多摄像头采集和3D转换两种形式。多摄像头采集难度大、采集成本高，传输占用带宽大;而采用3D转换技术，视频数据传输过程中仅需传输彩色图像和对应灰度图像，占用带宽小。在3D转换和显示端，由于硬件技术的发展和转换算法的不断改进，已经能够做到高清视频流的实时转换显示。
　　本论文的硬件平台是基于DE4所搭建的一个实时的2D转3D系统。整个系统由D5M摄像头采集实时的高清视频流，送入Stratix IV芯片进行处理，之后再送到DDR2 SDRAM进行缓存，最后通过扩展的DVI接口完成3D视频流的显示输出。本系统中各步骤所用算法均通过MATLAB的仿真验证，并采用Verilog语言构建所有模块，最后下载到FPGA开发板进行调试和实现。
　　论文首先介绍了3D显示技术和2D视频到3D视频转换的基本原理，然后分别对DIBR转换中的几个核心算法:深度信息提取、DIBR虚拟视点的绘制和空洞填补算法展开了理论上的研究和FPGA实现。在深度图信息提取方面，介绍了相对高度深度的深度提取算法和VIBE算法深度提取，随后对相对高度深度的深度提取算法进行简化改进。针对DIBR三维重建技术，在绘制目标图像之前介绍了匹配误差出现的原因并给出解决方法，然后采用了一种未标定摄像机参数的绘制技术绘制虚拟视点。对于重建后的目标图像存在空洞点的问题，本论文给出了空洞点形成的原因，详述了比较流行的几种空洞点填补算法。最后本文研究了一种基于前后景梯度过渡的空洞点解决方案，从而改善了3D图像的视觉效果。

目录

声明

致谢

摘要

第一章 绪论

1．1 引言

1．2 课题研究的意义

1．3 国内外研究现状

1．4 数字图像处理的硬件实现

1．5 本论文研究内容及章节安排

1．5．1 论文主要研究内容

1．5．2 各章节安排

第二章 立体显示技术及2D转3D系统原理

2．1 三维立体感如何产生

2．2 立体显示技术

2．2．1 眼镜式3D显示技术

2．2．2 裸视式3D显示技术

2．2．3 3D显示技术的未来：全息显示技术

2．3 基于DIBR的2D转3D介绍

2．4 基于DE4的2D转3D硬件系统平台

2．5 本章小结

第三章 深度图生成算法

3．1 基于单帧图像的深度估计：相对高度深度的深度提取

3．1．1 灰度转换

3．1．2 边缘检测

3．1．3 线轨迹追踪

3．1．4 深度赋值

3．2 基于多帧图像的深度估计：VIBE算法深度提取

3．2．1 背景模型的初始化

3．2．2 背景模型的更新机制

3．2．3 背景点的判定

3．3 基于相对高度深度的深度提取算法的硬件实现

3．3．1 深度提取硬件总体架构

3．3．2 各子模块硬件实现

3．4 本章小结

第四章 DIBR虚拟视点绘制

4．1 匹配误差

4．1．1 匹配误差产生的原因

4．1．2 解决方法

4．2 DIBR虚拟视点绘制

4．3 DIBR的硬件实现

4．4 本章小节

第五章 目标图像的空洞填补

5．1 空洞的形成

5．2 几种常见的空洞填补方法

5．2．1 利用多摄像机视点进行填补

5．2．2 利用图像修复技术进行填补

5．2．3 利用插值技术进行填补

5．3 基于前后景梯度过渡的空洞填补

5．3．1 深度图预处理

5．3．2 空洞填补

5．3．3 实验结果

5．4 本章小结

第六章 总结与展望

6．1 本文工作总结

6．2 未来工作展望

参考文献

攻读硕士学位期间的学术成果