基于三维摄像头的视差图像处理在FPGA上的实现

摘要

三维视频、图像处理行业是目前炙手可热的产业之一。目前，国内外许多研究学者都在致力于研究如何以高速、有效的方式得到高质量的三维视频图像。迄今为止，关于三维视频、图像计算的讨论有很多，但是行业内目前还未出台一个统一的产业标准。在这种情况下，目前主流的研究方向有三个，一是基于多角度拍摄同一物体得到多方位目标信息与景深数据进行立体匹配，二是基于现有的二维图像信息完成三维物体的重建，三是针对目前市场上出现的三维摄像头对摄像头提供的视差图像进行增强处理。基于立体匹配的三维视频处理手段的具体方法有很多，有一些算法也取得了不错的成绩，但是因为前期的工作标准不同（比如摄像头的摆放位置、角度计算等）计算的精度和速度也会受到影响。基于二维重建的三维视频图像处理主要用于对历史文物的复原等方面。这种方式下的算法计算量以及算法复杂度极大，即使是借助硬件实现的手段也难以实时的实现具体应用。相对于前两种处理方法来说，第三种方法是近几年新兴的处理方法。这种处理方法是通过三维摄像头获取外界信息，通过对摄像头获取的数据信息进行处理来得到完整的三维视频图像。本课题就是针对第三种处理方法展开的讨论。相信随着三维摄像头的普及，通过提高视差图像的质量来得到高可靠性、高清晰度三维视频、图像的方法将有着重要的意义。
　　 本文针对如何提高三维摄像头输出的视差图像，如何实时的得到高清晰度、高准确度的三维视频信息进行了深入的研究和讨论。本文的主要工作分为两大方面:软件算法的研究和硬件加速算法的研究和实现。
　　 在软件算法研究方面，本文的主要工作有以下几点:
　　 (1)多尺度下的基于权重函数的全局插值方法
　　 本文算法在进行视差图像插值时采用了多尺度度量的方法，使得有效的抑制了插值后图像的失真情况。本文提供了一种可进行多级插值的二进制尺度模板，在每一级插值计算时可通过判断模板的二进制标识符进行相应的插值计算，来提高计算效率。同时还降低了视频帧计算的误差率和失真情况。基于多尺度的插值计算有效的减少了图像插值后的马赛克情况，使图像看起来更加逼真。
　　 (2)简化的时空一致性计算方法
　　 在进行了工作(1)后，本文设计的系统得到了视差图像处理的初始数据，与后续的基于光流场计算得到的运动估计矩阵一起，输入到后处理阶段进行后期处理。针对该处理阶段，本文对原有的时空一致性计算算法进行了改进，提出了一种简化的时空一致性计算方法，既提高了输出图像的质量，有效抑制输出噪声，又在误差允许的情况下提高了运行效率。
　　 其次，在硬件算法加速研究方面，本文的主要工作有如下几个方面:
　　 (1)提出了一种基于局部并行的多尺度插值计算和光流场计算的联合硬件架构。在这种架构下，系统将第n级的插值计算的输出作为基于分层的光流场计算单元第(n-1)级的输入，使得第n级插值计算与第(n-1)级的光流场计算可并行的运行。对于每帧图像的插值计算中的子单元以及光流场计算中的子单元则采用级联的处理方式。这种并行和级联相结合的方式有效的提高了系统的运行效率，同时由于处理数据的复用特性，还节省了系统的存储资源。
　　 (2)提出了一种分层计算的光流场计算的硬件架构。此架构包括快速的双线性插值硬件单元、梯度计算单元、最小均方矩阵计算单元以及速率计算单元的硬件加速架构。该部分的硬件结构同样使用并联和级联相结合的方法来提升系统的运行速度。在计算过程中第(n)级的双线性插值计算与第(n-1)级的梯度计算的卷积单元并行运行。对于双线性插值单元则是产生逐级串行的计算方式。
　　 (3)针对三维视频的后处理阶段的时空一致性计算单元，本文提出了一种基于并行迭代相加的时空一致性计算结构。这种结构进一步优化了系统的运行性能，使得对于前一帧视差图像与当前帧视差图像的分片卷积，和当前帧视差图像与当前帧光流场运动估计矩阵的分片卷积并行的运行，来提高运行效率。
　　 (4)提出了一种快速的奇偶交叉存储读取的摄像头RGB数据分量的提取方法。此方法在实时的获取摄像头原数据的同时可以快速的对原数据中的RGB分量进行分离和提取，产生后续处理需要的标准视频数据格式。
　　 (5)提出了一种基于行方向的高斯滤波快速计算结构。在这种结构下，系统提前将高斯模板数据预存到片内寄存器内，与待处理数据一同输入到计算单元来进行卷积计算。同时用数据移位的方式来代替除法器，有效的节约了计算时间。