基于彩色分割和像素显著性估计的视差估计方法

摘要

一种引入彩色分割的视差估计方法，将彩色分割与像素显著性估计结合起来，通过利用彩色分割的结果来改善像素显著性估计的精度，通过利用彩色分割得到的彩色区域信息来减少像素视差估计的搜索范围。在运算精度方面，相比精度较高的局部法如自适应彩色权重法、基于自适应权重的DSM视差估计算法，能够更准确地获取参考像素和更准确地进行像素显著性估计，从而得到更精确的视差匹配结果。特别是在物体的边缘区域、遮挡区域和同质区域，有更高的估计精度；在运算速度方面，通过利用彩色分割得到的彩色区域信息，减小了视差匹配的搜索范围，提高了视差匹配的效率。

说明书

技术领域

本发明涉及一种计算机视觉领域的方法，特别是一种可应用于立体视频编码、立体图像分割、机器人视觉等应用场合中的基于彩色分割和像素显著性估计的视差估计方法。

背景技术

视差信息是进行立体图像处理的基础。视差估计技术是近年来计算机视觉领域研究的热点，在机器人视觉、医学、军事、航空等各方面都有着非常广泛的应用前景。视差估计的算法可以分为全局法和局部法两大类。一般来说，全局法匹配结果精确，但是计算复杂度很高；而局部法计算复杂度较低，但是匹配精确度也较低。近年来，随着视差估计算法的进一步发展，在增加少量计算复杂度的基础上，局部法的匹配精度不断得到提高。经过对现有技术文献的检索发现，在精度较高的局部法中，Yoon和Kweon于2006年在IEEE Transactions onPattern Analysis and Machine Intelligence(vol.28，No.4)上发表的“Adaptivesupport-weight approach for correspondence search”中提出的自适应彩色权重法得到了广泛的应用。传统的视差估计局部算法采用视差匹配窗口大小根据图像内容自适应变化的视差匹配窗，由于很难准确进行窗口大小的调整，因此视差匹配的精度较低。区别于传统的视差估计局部算法，自适应彩色权重法采用大小固定的视差匹配窗，根据视差匹配窗内各点之间的相关性来调整匹配窗内各点的权重，提高了视差匹配的精度。但在物体边缘区域、遮挡区域和同质区域，视差匹配的精度仍然较低。2007年10月，Yoon和Kweon在IEEEInternational Conference on Computer Vision上发表的“Stereo Matching with theDistinctive Similarity Measure”提出的基于自适应权重的DSM视差估计算法进一步提高了视差匹配的精度。DSM视差估计算法引入了图像各像素的显著性的概念，利用像素点的显著性和左右图像像素的相似性进行视差匹配。像素点的显著性表示了该像素点在图像中区别于其他像素点的特性，左右图像像素的相似性则表示了这两个像素匹配的程度。左右图像中的两个像素点越相似，各自的显著性越强，则越有可能是匹配像素。像素点的显著性与相似性根据自适应彩色权重法进行计算。这种方法具有较高的匹配精度。然而，由于采用自适应彩色权重法进行显著性和相似性的计算，在图像的边缘区域和同质区域，算法的匹配精度仍然较低。此外，由于需要进行自适应权重计算，并额外引入了像素显著性分析步骤，整个算法复杂度被提高，算法所需要的运行时间大大增加。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于彩色分割和像素显著性估计的快速视差估计方法。该方法利用彩色分割得到的彩色区域信息来提高视差估计的精度及效率。

本发明是通过以下技术方案实现的：本发明将彩色分割与DSM视差估计算法结合起来。一方面，在像素显著性估计过程中我们引入一种基于彩色区域信息的像素显著性估计方法，和彩色权重方法相比，这种方法能够有效利用彩色分割所得到的物体边缘信息，提高物体边缘区域以及图像遮挡区域像素的显著性估计准确度，从而提高视差估计的匹配精度；另一方面，由于同一彩色区域的像素视差有很强的相关性，该方法利用这种相关性来减少视差匹配的搜索范围，从而提高算法的运行效率。

本发明所述的利用彩色分割信息进行的视差匹配方法，实现步骤如下：

1)采用Mean-Shift算法分别对左右视图像进行彩色分割，得到图像的彩色区域信息。

2)结合彩色分割的结果计算左右视图像像素点各自的显著性以及左右图像相关像素点的相似性。

3)利用彩色分割得到的彩色区域信息确定当前待匹配像素点的初始视差值以及视差匹配搜索范围。

4)根据像素点的显著性和相似性，计算得到每一个像素点的代价函数，并对当前待匹配像素点匹配窗内所有像素的代价函数进行聚合。采用Win-Take-All策略，在像素点的视差匹配搜索范围内寻找使聚合后的代价函数最小的视差值，作为当前待匹配像素的视差。

本发明结合彩色分割，并引入像素点的显著性进行视差匹配。采用由Mean-Shift算法对原始图像进行过分割得到的彩色区域信息，显著改善了图像像素点显著性提取的过程；并基于同一彩色区域的视差连续，而不同的彩色区域视差不一定连续这一假设，利用与当前待匹配像素点处于同一彩色区域的相邻像素的视差作为当前像素的参考视差，大大缩小了视差匹配的搜索范围。本发明得到的视差估计结果精确，并且视差估计的效率较高，有很广的应用范围。

附图说明

图1基于彩色分割和像素显著性估计的视差匹配框图

图2对左右视图像进行彩色分割得到的彩色区域信息图

图3用来计算待匹配像素点显著性的所有相邻像素的集合表示

图4视差匹配的像素参考方式(扫描方向)

具体实施方式

下面结合附图对本发明的视差匹配方案作进一步描述。

如图1所示，本发明的视差匹配方法包括彩色分割、像素显著性和相似性估计、当前像素初始视差和匹配搜索范围确定、结合像素显著性和视差匹配搜索范围进行视差匹配，以及最终的匹配结果输出这几个部分。

以对左视图像进行视差匹配的过程为例，本发明采用Mean-Shift算法分别对左右视图像进行彩色分割，得到左右视图分割后的彩色区域信息。一方面，利用彩色分割得到的彩色区域信息，分别计算左右视图像的自匹配和互匹配权重，并结合自匹配和互匹配权重信息，进一步计算得到左右视图像各自的像素点显著性，以及左右视图像相关像素点的相似性。另一方面，对于左视图像，根据彩色分割得到的彩色区域信息确定其初始视差和视差匹配的搜索范围。最后，根据以上过程计算得到的像素显著性和相似性，构造视差匹配的代价函数，结合视差匹配搜索范围，采用Win-Take-All策略进行视差匹配，得到最终的视差匹配结果。

如图2所示，为分别对左右视图像进行彩色分割的结果。本发明采用Mean-Shift算法，对左右视图像进行过分割，得到左右视图像的彩色区域信息。

本发明利用彩色分割得到的彩色区域信息，进行左右视图像素显著性和相似性的计算。设当前待匹配的像素点为p点，p点的显著性用D(p)表示，p、q两点的相似性用S(p，q)表示。则D(p)、S(p，q)分别计算如下：

$D\left(p\right)=\underset{q\in N_p,q\ne p}{\min }f(p,q)$

S(p，q)＝1/f(p，q)

其中N_p表示用来计算p点显著性的所有相邻像素的集合，N_p的范围如图3所示；f(p，q)则表示p、q两点像素的相异性。

N_p和f(p，q)分别计算如下：

N_p＝{p+d|d_min(p)-d_max(p)≤d≤d_max(p)-d_min(p)}

其中d_min(p)表示p点视差匹配搜索范围内的视差最小值，d_max(p)表示p点视差匹配搜索范围内的视差最大值。

$f(p,q)=\underset{p_i\in W_l,q_i\in W_r}{\Sigma }\omega (p_i,p)\times \omega (q_i,q)\times \mathrm{AD}(p_i,q_i)$

p、q两点差异性越小，则f(p，q)就越小，S(p，q)就越大，表示p、q两点越相似。

其中W_l、W_r表示p、q两点的匹配窗。匹配窗为正方形窗，匹配窗的大小根据图像大小进行调整。在本专利中，对于640×480的图像，正方形匹配窗的边长设为25。p_i、q_i分别表示p、q两点的匹配窗内的像素点，AD(p_i，q_i)表示p_i和q_i的颜色差异，采用论文“Adaptivesupport-weight approach for correspondence search”中式(8)定义的方法进行计算。ω(p_i，p)表示p_i点在匹配窗W_l中的权重。ω(p_i，p)计算如下：

$\omega (p_i,p)=\left(\begin{array}{cc}1& p_i\in {\mathrm{Seg}}_p\\ \exp (-\frac{\mathrm{AD}(p_i,p)}{\eta })& p_i\notin {\mathrm{Seg}}_p\end{array}\right)$

其中Seg_p表示p点所属的彩色分割区域。

如上所述，基于彩色分割的像素显著性估计方法利用了彩色分割信息，使得匹配窗W_l中每个像素的权重分配和像素所属的彩色区域相关，改进了匹配窗每个像素的自适应权重分配，增强了像素显著性估计在图像边缘区域以及同质区域的准确性。

本发明中涉及的当前待匹配像素点的初始视差和视差匹配搜索范围的确定过程如下所述：本发明采用图像奇数行像素依次从左匹配到右，偶数行像素依次从右匹配到左的方式进行视差匹配，当前像素的参考像素为前一个已匹配像素，如图4所示。这种视差匹配方式保证了视差搜索的连续性，并在一定程度上保证了视差匹配的各向同性。对奇数行像素进行视差匹配时，参考像素为其左邻像素，对偶数行像素进行视差匹配时，参考像素为其右邻像素。若当前像素与其参考像素在同一彩色区域内，则当前像素的初始视差为参考像素的视差，视差匹配的搜索范围被限定在初始视差的附近，即

d∈{D₀(p)-d_radius，D₀(p)+d_radius}

D₀(p)为初始视差，d_radius为视差搜索的半径；

若当前像素和参考像素不在同一彩色区域内，则将当前像素的初始视差设为0，此时视差匹配的搜索范围最大，即

d∈{0，d_max}

根据已计算得到的像素的显著性和相似性的信息，以及上述过程确定的视差匹配搜索范围，进行最终的视差匹配过程。以对左视图进行视差匹配的过程为例，首先计算左视图中待匹配像素点p_l与右视图中视差匹配搜索范围内的像素点p_r的匹配代价函数Cost(p_l，p_r)：

$\mathrm{Cost}(p_l,p_r)=\frac{S(p_l,p_r)}{D\left(p_l\right)\times D\left(p_r\right)}$

S(p_l，p_r)表示p_l、p_r两点的相似性，D(p_l)、D(p_r)分别表示p_l、p_r两点的显著性。S(p_l，p_r)越小，表示p_l、p_r两点越相似，D(p_l)、D(p_r)越大，表示p_l、p_r与各自匹配窗内的其他像素点的差异性越大，则p_l、p_r两点越有可能是互相匹配的点，而Cost(p_l，p_r)就越小。

采用Win-take-all策略，在p_l的视差匹配搜索范围内找出使Cost(p_l，p_r)最小的p_r点，这时的视差即为当前待匹配点p_l的视差。