视频图像2D转3D算法研究及硬件实现

摘要

随着科技的进步3D显示技术已渐渐引起人们的关注,本文从介绍2D转3D的技术背景开始,依次介绍了3D画面的人眼成像原理,二维视频序列提取深度图的改进算法及3D视差图像渲染,2D转3D的硬件架构及实现等。
　　本文的重点和难点是二维视频序列深度图的生成算法和基于有限逻辑资源的硬件架构设计及实现。主要创新性和特点包括:
　　二维视频序列的深度图生成:对源图像进行恰当的下采样缩放处理,有效降低了深度图生成过程中的计算量,提高了算法模型的工作效率;对源图像进行了场景相关度检测、场景丰富度检测以及场景连贯度检测等,为深度图的优化处理提供可靠依据;用运动矢量的累加值提供最原始的深度信息,得到深度图像的雏形;基于场景相关度对深度图进行平滑滤波处理,在处理的过程中我们用到了迭代操作,为避免迭代操作带来硬件上大量的时间和逻辑资源开支,我们采用分阶段迭代处理,在高分辨率的深度图处理阶段迭代次数少,在低分辨率的深度图处理阶段迭代次数多,不同的处理阶段,量化不同的迭代次数;对深度图的边缘轮廓处进行边缘锐化处理,有效避免在深度图中运动物体与背景之间的边缘交界处,由于像素点灰度值变化缓慢而造成的运动物体轮廓模糊的缺点;基于场景连贯度和场景丰富度的深度图对比度提升优化处理,利用场景连贯度和场景丰富度检测的不同结果,对当前的深度图图像做相应的运算处理,让深度图中的运动物体更加清晰明显,整幅图像的层次感更强;本文深度图的计算过程是全自动实时处理的,不需要人工干预,不需要提供关键帧的深度信息,这种算法极具灵活性并且大大提高了硬件实现的可行性。
　　基于有限逻辑资源的硬件架构设计:硬件架构是算法与芯片或FPGA之间过渡实现的桥梁,硬件架构的难点之处在于如何把软件算法的框架体系不失真的转化为硬件实现的框架体系,该过程要考虑硬件逻辑资源的限制、系统时钟约束等等。鉴于此,本文在实现硬件架构的过程中局部细节地方作了相应的优化处理,主要包括:下采样过程复用ram存储器空间,有效降低了硬件逻辑资源;不同分辨率阶段对深度图进行相应的硬平滑滤波处理,既最大限度的继承了改进算法的优点又大大提高了硬件处理的速度;深度图对比度提升处理过程中,纵向和横向滤波器同步进行,无需开辟大容量的数据缓存器进行缓存,进一步节约了硬件逻辑资源。
　　本论文所做的工作由算法的研究改进到最后的硬件语言实现,为自己以后在该领域的进一步研究打下一定的基础。