基于光场的景深实时计算

摘要

随着人工智能时代的到来，计算机视觉越来越受到人们的关注。立体视觉作为计算机视觉中关键学科，在自动驾驶，军事航天，医疗，人机交互，VR/AR等领域都有着极为广泛的应用和发展空间。在立体视觉中最需要解决的问题是准确实时提取出场景的深度信息，并进行三维场景的重建。而景深的实时准确计算一直是立体视觉领域中的难点和核心技术，所以研究景深的实时准确计算具有十分重要的价值。 光场包含了空间中所有光线的辐射度信息，利用光场相机采集的4D光场数据包含了空间中光线的位置和角度信息，因此可以从光场数据提取出更多的场景深度信息。本文通过稀疏光场相机阵列采集到光场数据，在进行相关的预处理后，利用提出的立体匹配算法在Linux系统上利用GPU并行计算实现场景深度信息的实时计算，并利用计算出来的视差图实现了场景的三维重建。 本文首先概述了相关的技术背景，包括了光场理论，立体视觉系统，以及GPU并行计算等方面，并介绍了相关技术的最新研究进展和应用情况。本文对采集稀疏光场数据的双目相机进行标定，通过标定得到的相机的内外参数对图像进行极线矫正，同时详细分析了立体视觉系统的几何成像原理和空间坐标关系。然后介绍了基于GPU的景深实时计算算法。 本文利用GPU的CUDA架构进行景深的实时计算，为了在低纹理和复杂光照环境下具有良好的鲁棒性，我们选择Census Transform相似性测度函数进行代价计算，使用8条路径的半全局匹配算法（SGM）进行代价聚合，窗口大小为9*7个像素大小，与其他方法相比，其具有计算量小同时匹配误差小等优点。利用WTA（winner take all）策略选择像素点视差值，再利用左右一致性检测和引导滤波对视差图进行视差精化，有效提高了立体匹配算法的精确性和效率。最后利用得到的视差图和场景深度信息的三角关系进行三维场景的重建。本文在NVIDIA GTX1080显卡上，进行1920*1080分辨率图像景深计算，能够到达30fps以上的速度。

目录

第一个书签之前