一种基于语义关联的多尺度双目立体匹配方法及装置

摘要

本发明提供一种基于语义关联的多尺度双目立体匹配方法及装置，结合语义分割分类结果和自注意力机制实现对不同物体的区分处理，构建不同类别的像素之间的语义关联关系，有助于提高网络对不同物体的分辨能力，之后采用自注意力机制来构建不同类别的像素之间的关联关系，有利于后续视差回归时充分考虑其它类别的像素对自身视差预测提供的有效信息，从而提高视差估计的准确性。本发明充分考虑不同分辨率特征对视差估计效果的影响，构建不同尺度的视差代价体，然后采用3D卷积操作实现多尺度代价体融合，得到最终的多尺度视差代价体cost volume，充分利用低分辨率特征提供的丰富语义信息和高分辨率特征提供的细节信息，从而有效提高整体的视差估计精度。