基于全域图像对称相关性的立体匹配算法

摘要

本发明公开一种基于全域图像对称相关性的立体匹配算法，包括：得到参考图像相关性权重值W

说明书

技术领域

本发明涉及计算机立体视觉领域中的立体匹配，可用于图像的三维重建，在医学图像、媒体设备等中 提供指导。

背景技术

立体匹配技术是计算机视觉领域内的一个重要研究方向，其旨在通过从左右相机获得的场景图中提取 出场景的深度信息。其应用领域涉及机器人控制，自主导航等科技领域。

传统的立体匹配算法通常采用基于窗口聚合的算法，通过限定局部窗口尺寸的大小，对窗口内的初始 匹配代价进行聚合继而完成最终的匹配。算法常用的初始匹配代价有截断亮度初始匹配代价、截断梯度初 始匹配代价、以及相关性初始匹配代价。其中相关性初始匹配代价计算局部窗口内匹配代价之间的相关性， 利用此相关性进行窗口内的匹配代价聚合，基于此匹配代价的窗口聚合立体匹配算法具有较高的鲁棒性。 然而此类基于局部相关性的窗口聚合立体匹配算法采用传统的局部相关性初始匹配代价计算方式存在以下缺点：1)需要指定局部窗口大小，初始匹配代价的计算未考虑到局部窗口之外的像素点对于初始匹配 代价计算的影响；2)窗口内所有像素点对于相关性计算的贡献程度相同，未考虑像素点间的亮度差异与 空间差异；3)只考虑到参考图像的初始匹配代价相关性，未考虑到目标图像的初始匹配代价相关性，缺 乏对称性。

目前，在实际应用中，为达到立体匹配实时性的要求，通常较多地采用基于局部窗口聚合的立体匹配 算法，但由于传统的初始匹配代价存在一定的局限性，因此匹配的性能受到约束。随着科学技术的不断发 展，立体匹配在众多科技领域内有着广泛的应用背景，具有较大的商业价值以及研究意义。近年来，图像 处理理论的发展为获得高精度的立体匹配提供了理论依据。

发明内容

本发明针对上述问题提出一种基于全域图像对称相关性的立体匹配算法，利用参考图像以及目标图像 的中心像素点与其周围所有像素点的相关性进行全域图像相关性的计算，将此数值作为传统窗口聚合立体 匹配算法的初始匹配代价进行聚合匹配，本发明的技术方案如下：

一种基于全域图像对称相关性的立体匹配算法，包括下列步骤：

(1)设参考图像I_R内任意像素点为(i_R,j_R)，设参考图像I_R的中心像素点为(x_R,y_R)，根据公式>计算(i_R,j_R)与(x_R,j_R)在竖直方向上每一对相邻>v,q_v之间的权重值H(|p_v-q_v|)，其中λ,μ为常数，同理根据公式计算(x_R,j_R)与(x_R,y_R)在水平方向上每一对相邻>h,q_h之间的权重值H(|p_h-q_h|)，最后将上述计算得到的每一对相邻点的权重值进行相乘得到参考图>R(i_R,j_R)，然后根据公式

计算参考图像全域权重均值 μ_R(x_R,y_R)，根据公式计算参考图像全域权重 方差最后根据公式计算参考图像全域的相关 性值Z_R(x_R,y_R)；

(2)与参考图像I_R的中心像素点(x_R,y_R)相对应的点为目标图像I_T的中心像素点(x_T,y_T)其中>T＝x_R,y_T＝y_R-d_R，d_R为参考图像的视差搜索值，依据(1)中相同的原理，计算目标图像全域的相>T(x_T,y_T)；

(3)根据公式e_R(x_R,y_R)＝1-Z_R(x_R,y_R)·Z_T(x_T,y_T)计算参考图像初始匹配代价e_R(x_R,y_R)；

(4)根据窗口聚合立体匹配算法对参考图像初始匹配代价进行聚合，得到最终的参考图像视差图D_R。

总之，本发明针对传统的基于局部相关性的窗口聚合立体匹配算法中存在的不足,提出一种基于全域图 像对称相关性的立体匹配算法，依据像素点之间的亮度及空间差异计算参考图像全域的相关性以及目标图 像的全域相关性，将二者用于参考图像的初始匹配代价计算，较好的解决了传统算法匹配精确度不高的问 题。本发明能够获得更为精准的立体匹配结果，有着广泛的应用前景。

附图说明

图1本发明的基于全域图像对称相关性的立体匹配算法流程图。

图2为传统的基于局部相关性的窗口聚合立体匹配算法与本发明对标准测试图像“Adirondack”进行匹 配得到的对比视差图，(a)为Adirondack左图，(b)为传统的基于局部相关性的窗口聚合立体匹配算法得到的 左视差图，(c)为本发明得到的为左视差图。

图3为传统的基于局部相关性的窗口聚合立体匹配算法与本发明对标准测试图像“Playroom”进行匹配 得到的对比视差图，(a)为Playroom左图，(b)为传统的基于局部相关性的窗口聚合立体匹配算法得到的左视 差图，(c)为本发明得到的为左视差图。

具体实施方式

本发明基于全域图像对称相关性的立体匹配算法，主要由四部分组成：参考图像全域相关性的计算、 目标图像全域相关性的计算、参考图像初始匹配代价的计算、最终视差图的生成。具体步骤和原理如下：

101：将左图作为参考图像I_R，右图作为目标图像I_T；

102：参考图像全域相关性Z_R的计算；

将参考图像的I_R中心像素点记为(x_R,y_R)，x_R,y_R分别为此像素点的横、纵坐标；(i_R,j_R)为I_R内任>R,j_R分别为此像素点的横、纵坐标；Z_R(x_R,y_R)为以(x_R,y_R)为中心像素点的参考图像全域>

其中μ_R(x_R,y_R)、分别为参考图像I_R全域权重均值及权重方差(以(x_R,y_R)为中心像素>R(i_R,j_R)为像素点(i_R,j_R)的权重值，k_R1、k_R2为参考图像横、纵坐标变量，k_R1、k_R2的变化范围>R(i_R,j_R)表达式中给出；H为一种分段函数，具体表达式已给出，λ,μ为常数。上述计算方式考>R的贡献。

103：目标图像全域相关性Z_T的计算；

将目标图像的I_T中心像素点记为(x_T,y_T)，x_T,y_T分别为此像素点的横、纵坐标；(i_T,j_T)为I_T内任>T,j_T分别为此像素点的横、纵坐标；且目标中心像素点(x_T,y_T)与参考中心像素点(x_R,y_R)满>

x_T＝x_R

y_T＝y_R-d_R,d_R∈[d_Rmin,d_Rmax]

其中d_R为参考图像的视差搜索值，d_Rmin、d_Rmax分别为参考图像的最小、最大视差。

Z_T(x_T,y_T)为以(x_T,y_T)为中心像素点的目标图像全域相关性值：

其中μ_T(x_T,y_T)、分别为目标图像I_T全域权重均值及权重方差(以(x_T,y_T)为中心像素>T(i_T,j_T)为像素点(i_T,j_T)的权重值，k_T1、k_T2为目标图像横、纵坐标变量，k_T1、k_T2的变化范围>T(i_T,j_T)表达式中给出。上述计算方式考虑了目标图像内所有像素点对Z_T的贡献。

104：参考图像初始匹配代价e_R的计算；

e_R(x_R,y_R,d_R)＝1-Z_R(x_R,y_R)·Z_T(x_T,y_T)

参考图像全域相关性以及目标图像全域相关性的值越大，对应的参考图像初始匹配代价越小。

105：对104得到的初始匹配代价进行传统窗口聚合得到相应视差图；

其中(p_R,q_R)为参考图像I_R局部聚合窗口Ω_IR(尺寸选为11×11)内的任意像素点(p_R、q_R分别为>

106：以右图作为参考图像，左图作为目标图像，依据相同原理重复步骤102-105；

107：对步骤101-106得到的两幅视差图采用常规的精炼方法后即可得到相应的优化视差图。

步骤101-106可依次得到(以左图作为参考图像、右图作为目标图像)左视差图、(以右图作为参考图 像，左图作为目标图像)右视差图，采用立体匹配技术中最为常用的视差精炼方法(简单邻近点填充)即 可获得优化后的视差图(参考图像视差图以及目标图像视差图)。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Intel i7-3610QM，2.3GHz，内存为16G的笔记本电脑上运行所得，操作 系统为Windows 7，仿真软件为64位Matlab R2012b。试验采用的图对‘Adirondack’、‘Playroom’为标准测试 图来源于http://vision.middlebury.edu/stereo/eval3/。

从图2、图3可以看出，传统算法在Adirondack椅子区域处以及Playroom背景区域处存在较多的误匹 配现象，而本发明在上述区域的误匹配点较少，整体视差效果图优于传统算法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述， 不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任 何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)设参考图像I_R内任意像素点为(i_R,j_R)，设参考图像I_R的中心像素点为(x_R,y_R)，根据公式>计算(i_R,j_R)与(x_R,j_R)在竖直方向上每一对相邻>v,q_v之间的权重值H(|p_v-q_v|)，其中λ,μ为常数，同理根据公式计算(x_R,j_R)与(x_R,y_R)在水平方向上每一对相邻>h,q_h之间的权重值H(|p_h-q_h|)，最后将上述计算得到的每一对相邻点的权重值进行相乘得到参考图>R(i_R,j_R)，然后根据公式

计算参考图像全域权重均值 μ_R(x_R,y_R)，根据公式计算参考图像全域权重 方差最后根据公式计算参考图像全域的相关 性值Z_R(x_R,y_R)；

(2)与参考图像I_R的中心像素点(x_R,y_R)相对应的点为目标图像I_T的中心像素点(x_T,y_T)其中>T＝x_R,y_T＝y_R-d_R，d_R为参考图像的视差搜索值，依据(1)中相同的原理，计算目标图像全域的相>T(x_T,y_T)；

(3)根据公式e_R(x_R,y_R)＝1-Z_R(x_R,y_R)·Z_T(x_T,y_T)计算参考图像初始匹配代价e_R(x_R,y_R)；

(4)根据传统的窗口聚合立体匹配算法对参考图像初始匹配代价进行聚合，得到最终的参考图像视 差图D_R。