基于卷积神经网络的端到端立体匹配方法

摘要

本发明公开了一种基于卷积神经网络的端到端立体匹配方法，包括：通过残差卷积神经网络分别提取左右图像各自的特征图；使用特征金字塔，分别提取左右特征图在多个尺度上的特征信息，获得左右图像最终的特征图；将左右图像最终的特征图融合形成四维的代价量；使用多尺度沙漏网络堆叠的三维卷积神经网络对四维的代价量进行代价规整，再通过上采样与视差回归，得到视差图。该方法可以充分利用到全局信息，从而获取到更为精确的视差图；相较于传统的立体匹配算法而言，其极大改善了在病态区域匹配效果差的问题，算法鲁棒性更好，并且泛化能力更强。与其他基于卷积神经网络的立体匹配算法相比，有效提升了视差图细节处的匹配效果，对应的误匹配率更低。