一种基于图像分割和自适应权重的立体匹配方法

摘要

本发明公开了一种基于图像分割和自适应权重的立体匹配方法，包括视差初始化和视差优化，视差初始化包括：将经矫正的左右图像分别作为参考图像和目标图像并进行分割；利用构建的结合分割信息和自适应权重的代价函数计算左图像中当前待匹配像素点p与右图像中所有候选匹配点pd的匹配代价E(p,pd,d)，选择最小匹配代价的候选匹配点作为p的最优匹配点；重复上述步骤以光栅扫描顺序遍历左图像中每个像素点，得到初始视差图像；视差优化包括对获得的初始视差图像进行视差平面拟合、异常抑制和边缘修复；其优点在于对由最优匹配点计算的初始视差图像中的不可信点重新修正、异常的小区域合并到相邻的正常区域、边缘像素修复，消除了视差错误，提高了匹配精度。

说明书

技术领域

本发明属于图像处理领域，涉及一种立体匹配技术，具体是一种基于图像分割和 自适应权重的立体匹配方法。

背景技术

近年来，作为计算机视觉领域最热门的研究问题之一，立体视觉技术被广泛应用 于视觉导航、物体识别和工业控制等方面。立体视觉技术主要包括图像获取、摄像机标定、 特征提取、立体匹配和三维重建等部分，其中立体匹配是立体视觉技术的核心部分，目的在 于寻求同一空间景物在不同视点下投影图像像素间的一一对应关系。能否对图像进行准确 匹配，得到场景正确的三维坐标是立体视觉技术成败的关键。

按照约束方式的不同，将立体匹配分为两大类：全局立体匹配和局部立体匹配。全 局立体匹配通常跳过代价聚合步骤,通过寻找能量函数最优解可一次性获得整幅图像所有 像素的视差。经典的全局匹配算法主要包括：图割、动态规划和置信度传播等。该类方法可 获得精度较高的视差图像，但相应参数设置难度大且算法效率低，很难满足实时性要求。与 全局匹配方法不同，局部匹配一般使用窗口匹配，仅利用窗内像素信息作为约束条件，且每 次只能获得部分像素的视差值。该类方法一般具有较高的算法速率，但由于匹配过程所涉 及的信息量较少，匹配精度往往较低。

近年来，随着国内外学者对局部匹配算法研究的不断深入，一些具有较高精度的 局部匹配算法被提出。例如：一种基于置信度支持窗的立体匹配方法，首先利用SAD(Sumof AbsoluteDifference，绝对差值和)算法获得像素的初始视差，然后在各匹配窗内利用具 有较高置信度的像素点进行平面拟合并得到最终的视差图像，该方法虽然能够获得较好匹 配结果，但仅适用于具有光滑纹理的图像区域，因而存在较大的局限性；一种基于联合直方 图的立体匹配算法，该算法采用对匹配窗内的像素点进行有效采样的方式来减少重复滤波 的冗余计算，尽管能够得出一个固定的空间采样值，但由于匹配结果对输入图像的特点和 空间采样率过于敏感，这一方法目前不具有普遍性；一种基于自适应窗的立体匹配方法，首 先利用高斯混合模型描述匹配窗内像素的视差分布，然后根据视差分布的不确定度来确定 匹配窗的尺寸，该方法虽然提高了匹配质量，但也大大增加了算法的复杂度；一种基于自适 应支持权重的匹配方法，该方法并不改变匹配窗的大小和形状，而是选用固定大小的矩形 窗，根据窗内各像素点与中心点颜色和距离差异分配支持权重，从而进行能量聚合，该方法 有效避免了匹配窗的选择问题，虽然能够取得较好的匹配结果，但仍存在如下不足：对于匹 配窗内的低纹理区域、结构重复区域以及视差不连续区域，利用基于像素颜色和距离的匹 配难以得到正确的匹配结果。

发明内容

本发明的目的是为解决现有技术中的难题，提供一种高匹配精度的基于图像分割 和自适应权重的立体匹配方法。

本发明提供一种基于图像分割和自适应权重的立体匹配方法，包括视差初始化和 视差优化，所述视差初始化步骤包括：

S1：将经矫正的左图像I_L、右图像I_R分别作为参考图像和目标图像；

S2：利用mean-shift算法分别对左图像I_L、右图像I_R进行分割，并记录每个像素点 所属的彩色分割区域；

S3：令p为左图像I_L中当前待匹配像素点，(x_p,y_p)为其空间坐标；大小为W的匹配窗 中除中心像素点p外的其他像素点用q表示，视差d的取值范围为D＝[d_min,d_max]；利用代价函 数求得像素点p与右图像I_R中所有候选匹配点的匹配代价，候选匹配点p_d的匹配代价为E(p, p_d,d)；

S4：采用WTA策略选择具有最小匹配代价的候选匹配点作为像素点p的最优匹配 点；

S5：重复所述步骤S3、S4并采用光栅扫描顺序依次遍历每个像素点，得到由最优匹 配点组成的初始视差图像；

所述视差优化依次包括：视差平面拟合、异常抑制和边缘修复；

所述视差平面拟合包括：

A1：将初始视差图像每个存在不可信点的彩色分割区域中的稳定点作为数据集合 进行统计，并将包含稳定点最多的组分所对应的视差值作为彩色分割区域内不可信点的初 始视差进行初步修正；

A2：从彩色分割区域中任意选取3个稳定点，构建平面方程组并得出相应三个平面 参数；

A3：计算彩色分割区域内其他点与平面距离小于阈值△d的像素点个数N_i，其中i 为循环迭代次数；

A4：重复步骤A2、A3若干次，利用最大N_i所对应的3个稳定点及平面参数进行最小 二乘平面拟合，并更新平面参数；

A5：利用式d(x_q,y_q)＝|Ax_q+By_q+C|对彩色分割区域内的不可信点q的视差进行重 新修正；其中，式中的A、B、C为步骤A4中具有最大N_i的3个稳定点所对应的三个平面参数；

所述异常抑制具体为：对于视差平面拟合后的视差图像，设定阈值δ_n和δ_c，将与周 围像素视差差异较大且像素个数小于δ_n的小区域合并到与其相邻的具有最小视差值且像 素个数大于δ_c的区域中；

所述边缘修复包括：

B1：利用canny算法检测出经mean-shift分割后图像的边缘，对于异常抑制后的视 差图像中处在图像边缘处的像素点p，令其左右相邻像素点分别为q_l和q_r；

B2：利用公式${E^{\prime }}_{data}(p,p_d)=\frac{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }{w}^{\prime }(p,q)w^{\prime }(p_d,q_d)ϵ(q,q_d)}{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }{w}^{\prime }(p,q)w^{\prime }(p_d,q_d)}$计算匹配代价 和

B3：将具有步骤B2中最小匹配代价的像素点所对应的视差作为像素点p的视差值。

进一步的，步骤S3所述的匹配代价E(p,p_d,d)具体为：E(p,p_d,d)＝E_data(p,p_d)+λ E_smooth(p,d)；

其中，E_data()为数据项，用于衡量两匹配基元的相似性，数据项E_data()的定义如下：

$E_{data}(p,p_d)=\frac{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }w(p,q)w(p_d,q_d)ϵ(q,q_d)}{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }w(p,q)w(p_d,q_d)};$

$\Delta c(p,q)=\sqrt{\underset{c1\in \{l,a,b\}}{\Sigma }{\left(I_L^{c1}\right(x_p,y_p)-I_L^{c1}(x_q,y_q\left)\right)}^2};$

$ϵ(q,q_d)=min\left\{\underset{c2\in \{r,g,b\}}{\Sigma }\right|I_L^{c2}(x_q,y_q)-I_R^{c2}(x_{q_d},y_{q_d})|,T\};$

N_p和N_pd表示左右图像中分别以p和p_d为中心大小均为W的匹配窗内其他像素点的 集合。q和q_d是N_p和N_pd中具有相同空间位置的对应像素点；w(p,q)计算p和q之间的权重系 数；Δc(p,q)计算两像素在lab空间的颜色差异，γ_c为其归一化系数，表示左图 像中像素(x_p,y_p)在lab空间中的颜色分量值，k为经验常数；ε(q,q_d)计算像素q和q_d在rgb空 间的颜色差异，表示左图像中像素(x_q,y_q)在rgb空间的颜色分量值，表示右图像中像素在rgb空间的颜色分量值，T为截断阈值；

其中，E_smooth()为光滑项，用于对处于同一物体表面相邻像素的视差进行平滑约 束，λ为其权重系数，光滑项E_smooth()的定义如下：

t_h()、t_v()分别代表像素水平和竖直方向的梯度，γ_t为归一化系数，d()为像素的 视差值，f()代表像素的置信度，用视差估计过程中得到的最小匹配代价和次小匹配代价的 比值表示，即：

$f(x_p,y_p)=\frac{\underset{d\in D}{min}E(p,p_d,d)}{\underset{d\in D}{\underset{d\ne d(x_p,y_p)}{\min }}E(p,p_d,d)}.$

进一步的，步骤S4所述的采用WTA策略选择具有最小匹配代价的候选点作为最优 匹配点具体为：像素p的视差为$d(x_p,y_p),d(x_p,y_p)=\arg \underset{d\in D}{min}E(p,p_d,d).$

本发明的有益效果在于，对由最优匹配点计算的初始视差图像中的不可信点重新 修正、异常的小区域合并到相邻的正常区域、边缘像素修复，从而消除了视差错误，提高了 匹配精度。

附图说明

图1为本发明的总流程图；

图2为视差结果，其中，图2(a)原图像，图2(b)真实视差图像，图2(c)OptimizedDP 算法结果，图2(d)RTAdaptWgt算法结果，图2(e)本发明的立体匹配结果。

具体实施方式

下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中 描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达 到更好的技术效果。

如图1所示，本发明提供的一种基于图像分割和自适应权重的立体匹配方法，主要 包括两大部分：视差初始化和视差优化。其中，视差初始化的步骤如下：

S1：将经矫正的左图像I_L、右图像I_R分别作为参考图像和目标图像。

S2：利用mean-shift算法分别对左图像I_L、右图像I_R进行分割，并记录每个像素点 所属的彩色分割区域S()，其中，S(q)表示图像分割后像素点q的彩色分割区域标号；

S3：令p为左图像I_L中当前待匹配像素点，(x_p,y_p)为其空间坐标。大小为W的匹配窗 中除中心像素点p外的其他像素点用q表示，视差d的取值范围为D＝[d_min,d_max]。利用代价函 数求得像素点p与右图像I_R中所有候选匹配点的匹配代价，候选匹配点p_d的匹配代价为E(p, p_d,d)，由公式(1)计算获得。

E(p,p_d,d)＝E_data(p,p_d)+λE_smooth(p,d)(1)

其中，E_data()为数据项，用于衡量两匹配基元的相似性。E_smooth()为光滑项，用于对 处于同一物体表面相邻像素的视差进行平滑约束，λ为其权重系数。

数据项E_data()的定义如下：

$E_{data}(p,p_d)=\frac{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }w(p,q)w(p_d,q_d)ϵ(q,q_d)}{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }w(p,q)w(p_d,q_d)}---\left(2\right)$

其中，

$\Delta c(p,q)=\sqrt{\underset{c1\in \{l,a,b\}}{\Sigma }{\left(I_L^{c1}\right(x_p,y_p)-I_L^{c1}(x_q,y_q\left)\right)}^2}---\left(4\right)$

$ϵ(q,q_d)=min\left\{\underset{c2\in \{r,g,b\}}{\Sigma }\right|I_L^{c2}(x_q,y_q)-I_R^{c2}(x_{q_d},y_{q_d})|,T\}---\left(5\right)$

其中，N_p和N_pd表示左右图像中分别以p和p_d为中心大小均为W的匹配窗内其他像素 点的集合。q和q_d是N_p和N_pd中具有相同空间位置的对应像素点。w(p,q)计算p和q之间的权重 系数，Δc(p,q)计算两像素在lab空间的颜色差异，γ_c为其归一化系数，表示左 图像中像素(x_p,y_p)在lab空间中的颜色分量值，k为经验常数。ε(q,q_d)计算像素q和q_d在rgb 空间的颜色差异，表示左图像中像素(x_q,y_q)在rgb空间的颜色分量值， 表示右图像中像素在rgb空间的颜色分量值，T为截断阈值。

光滑项E_smooth()的定义如下：

其中，t_h()、t_v()分别代表像素水平和竖直方向的梯度，γ_t为归一化系数。d()为像 素的视差值，f()代表像素的置信度，可用视差估计过程中得到的最小匹配代价和次小匹配 代价的比值表示，即：

$f(x_p,y_p)=\frac{\underset{d\in D}{min}E(p,p_d,d)}{\underset{d\in D}{\underset{d\ne d(x_p,y_p)}{\min }}E(p,p_d,d)}---\left(7\right)$

S4：采用WTA(winnertakesall，胜者为王)策略选择具有最小匹配代价的候选点 作为最优匹配点。此时，像素p的视差d(x_p,y_p)可表示为：

$d(x_p,y_p)=\arg \underset{d\in D}{min}E(p,p_d,d)---\left(8\right)$

S5：重复步骤S3、S4并采用光栅扫描顺序依次遍历每个像素点，从而得到由最优匹 配点组成的初始视差图像。

图像中除物体边缘外，视差在图像中几乎所有区域都是缓慢变化的。视差值发生 突变的可能性跟像素间的颜色差异紧密相关。一般认为，颜色变化较大的区域，视差值发生 突变的可能性就越大。本发明通过引入视差连续性约束，利用像素点的梯度值衡量像素间 颜色差异程度，用其负指数形式调节视差约束力度，从而建立起有效的视差平滑控制机制。

对于每个待匹配像素点，对其施加约束的参考像素点的选取与图像的扫描顺序密 切相关。为提高匹配的准确性，本发明算法采用自下至上，偶数行像素从左依次向右、奇数 行像素从右依次向左的光栅扫描顺序依次遍历整幅图像。对于偶数行像素，若存在左和下 邻域像素点，则利用左和下邻域像素点的视差值对其进行约束。对奇数行像素进行视差匹 配则反之。此外，由于光照影响、匹配误差、图像遮挡等原因，每个参考像素点得到的视差值 并不一定为真实视差，若以这些点的视差作为参考视差，将会导致错误的进一步传播。为 此，本发明算法基于所提出的置信度概念，为每个参考像素赋予一定的权值。对于置信度较 高的参考像素，可通过赋予较大的权值来增大对其的依赖程度。

视差优化：

利用上述方法虽然能够获得较为准确的匹配结果，但仍存在许多视差错误。为进 一步提高匹配精度，对得到的初始视差图像进行优化处理。在本发明算法中，视差优化过程 主要分以下三步进行：视差平面拟合、异常抑制和边缘修复。

视差平面拟合：

为进一步消除视差错误，基于RANSAC(RandomSampleConsensus)算法，对每个彩 色分割区域进行视差平面拟合。首先基于上述视差初始化方法获得的左初始视差图像和右 初始视差图像，利用左右一致性检测筛选出视差图像中的不可信点。然后，根据临近的稳定 点视差值对左初始视差图像左侧有限列像素点重新赋值。最后对每个彩色分割区域，利用 稳定点进行视差平面参数估计，并对不可信点的视差进行修正。

左右视差一致性检测由唯一性约束推导得出，该约束确保左右图像中的像素点存 在一一对应关系。对于任意像素点p，若满足公式(9)，则将其标记为可信点，否则标记为不 可信点。

|d_L(x_pxy_p)-d_R(x_p-d_L(x_p,y_p),y_p)|<1(9)

其中，d_L()、d_R()分别是以左图像和右图像为参考图像进行视差匹配得到的视差 值。

对于左初始视差图像，由于左、右图像间存在遮挡，其左侧d_max列中存在大量的不 可信点，并且视差通常远小于真实值。正是区域中过多不可信点的存在，大大降低了平面拟 合的准确性。为此，本发明算法在进行平面拟合前先对左侧d_max列中的不可信点赋予新的视 差初值。设像素点p为指定区域内的不可信点，在其水平方向寻找距离最近的稳定点q，若q 的视差值远小于p下方像素的视差值，那么d(x_p,y_p)＝d(x_p,y_p-1)，否则d(x_p,y_p)＝d(x_q,y_q)。 像素点q若同时满足以下关系a和b，则将其定义为稳定点：

a.像素点q为可信点。

b.f(x_q,y_q)>＝ξ₁且f(x_q,y_q)<＝ξ₂

其中，ξ₁和ξ₂分别为设定的参数变量。

通过一致性检测得到的不可信点多为图像的遮挡点和误匹配点，为获得不可信点 的真实视差值，本发明对传统的平面拟合算法做了改进，具体步骤如下：

A1：将初始视差图像每个存在不可信点的彩色分割区域中的稳定点作为数据集合 进行统计，并将包含稳定点最多的组分所对应的视差值作为彩色分割区域内不可信点的初 始视差进行初步修正。

A2：从彩色分割区域中任意选取3个稳定点，设其坐标矩阵为x＝(x₁,x₂,x₃)^Τ、y＝ (y₁,y₂,y₃)^Τ，对应的视差矩阵为d＝(d₁,d₂,d₃)^Τ；依据下式(10)构建平面方程组并求解平面 参数A、B、C。

$\left(\begin{array}{ccc}x& y& 1\end{array}\right)\left(\begin{array}{c}A\\ B\\ C\end{array}\right)=d---\left(10\right)$

A3：计算彩色分割区域内其他点与平面距离小于阈值△d的像素点个数N_i，其中i 为循环迭代次数。

A4：重复步骤A2、A3若干次，利用最大N_i所对应的3个稳定点及平面参数进行最小 二乘平面拟合，并更新平面参数。

A5：利用下式(11)对区域内不可信点q的视差进行重新修正：

d(x_q,y_q)＝|Ax_q+By_q+C|(11)

其中，公式(11)中的A、B、C为步骤A4中具有最大N_i的3个稳定点所对应的三个平面 参数。

在平面拟合过程中，本发明算法首先利用直方图统计对区域内不可信点进行合理 赋值主要是基于以下考虑：RANSAC算法对异常点比较敏感，当不可信点过多时很难得到正 确的拟合结果；其次，平面拟合所需的迭代次数极其庞大。对于拥有几百个稳定点的区域， 要想得到最优的平面参数，需要迭代几千万甚至上亿次，时间消耗巨大。如果设置迭代次数 上限，得到的往往不是最优解，甚至可能得到错误的结果。为此，本发明算法通过对不可信 点进行合理赋值来限制异常点对平面拟合的不良影响，从而在有限次迭代过程中使拟合结 果趋于最优。

异常抑制：

为了消除视差图像中的噪声和孤立点，对平面拟合后的视差图进行中值滤波。此 外，由于误匹配，在前景区域周围往往存在与周围像素视差差异较大的小区域，通过设定阈 值δ_n和δ_c，将像素个数小于δ_n的小区域合并到与其相邻的具有最小视差值且像素个数大于 δ_c的区域中。

边缘修复：

不同于上述优化步骤，本步骤旨在于进一步消除由边缘肥胖效应所引起的深度不 连续区域的视差错误。首先利用canny算法检测出经mean-shift分割后图像的边缘。对于处 在图像边缘处的像素p，令其左右相邻像素分别为q_l和q_r。然后利用公式(12)计算匹配代价 和最后将具有最小匹配代价所对应 的视差作为p点的视差值。

${E^{\prime }}_{data}(p,p_d)=\frac{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }{w}^{\prime }(p,q)w^{\prime }(p_d,q_d)ϵ(q,q_d)}{\underset{q\in N_P,q_d\in N_{P_d}}{\Sigma }{w}^{\prime }(p,q)w^{\prime }(p_d,q_d)}---\left(12\right)$

$w^{\prime }(p,q)=k·\exp (-(\frac{\Delta c(p,q)}{{\gamma }_c}+\frac{\Delta g(p,q)}{{\gamma }_g}\left)\right)---\left(13\right)$

$\Delta g(p,q)=\sqrt{{(x_p-x_q)}^2+{(y_p-y_q)}^2}---\left(14\right)$

其中，Δg()代表两像素的欧式距离，γ_g为其归一化系数，其余公式及变量的定义 与公式(2)相同。

采用本发明提供的方法获得的立体匹配结果如图2所示，其中图2(a)-(e)分别为 原图像、真实视差图像、利用OptimizedDP、RTAdaptWgt和本发明得到的视差结果，其中原图 像采用的是Middlebury立体视觉网站提供的“Tsukuba”、“Venus”、“Teddy”和“Cones”四幅 标准图像。通过对比可以看出，本发明算法得到的视差图像轮廓清晰，噪点较少，除物体边 界处外，其他区域视差值连续平滑过渡。

为了能够定量评估算法性能，利用图像中非遮挡区域(nonocc)、所有区域(all)和 深度不连续区域(disc)像素的视差错误率作为算法优劣的判定标准。指定区域中视差错误 率η的定义如下：

公式(15)中，R表示指定区域的像素点集合，N为该区域中像素的总个数，d(x,y)和 d_T(x,y)分别表示区域内像素点(x,y)的生成视差值和真实视差值，δ_d为误差阈值，实验中δ_d设定为1。

本发明算法与近年来的一些先进的视差估计算法进行了比较，对比结果如表1所 示。不难看出，本发明算法具有较高的匹配精度，优于其它常见匹配算法：RTAdaptWgt、 SMPF、OptimizedDP、RTCensus、CSBP和HBDS+MDC。

表1本发明算法与其他算法的误匹配率对比(单位：％)