一种基于分段匹配和贝叶斯估计的递进式立体匹配算法

摘要

本发明公开了一种基于分段匹配和贝叶斯估计的递进式立体匹配算法，包含以下步骤：1）基于Sobel滤波器响应将图像分割为边缘区域和分段区域，分别使用基于窗口的立体匹配策略和分段匹配策略进行匹配，并合并得到预匹配深度图；2）对于预匹配深度图中的无效点，使用其支持窗口内有效点拟合最小二乘平面，从而估计出无效点处的深度，将预匹配图稠密化；3）对于得到的预匹配图，使用贝叶斯最大后验概率的方法对每一点处的深度进行修正，考虑预匹配值作为先验概率，同时考虑图像的相似度和深度的平滑性作为后验概率。本发明以递进的结构完成从稀疏到稠密，从粗糙到精细的深度图像提取，同时考虑到了边缘特性和平滑性，从而得到精确而平滑的深度图像。

说明书

技术领域

本发明涉及计算机视觉领域的立体匹配方法，特别是涉及一种基于分段匹配和贝叶斯估计的递进式立体匹配算法。

背景技术

立体匹配技术是从对场景从不同视角拍摄的两幅或多幅图像中寻找对应的匹配点，从而计算出图像中每个像素点处的深度，是立体视觉技术的重要部分。立体匹配是目前计算机视觉研究中的热点和难点，在三维重构、三维物体建模和识别、机器人路径规划中得到了广泛的应用。

立体匹配算法从优化方式上可以分为全局立体匹配算法和局部立体匹配算法。其中，全局立体匹配算法通过搜索整幅图像的全局最优解计算出整个图像的深度图，具有较高的准确性，但是运算量较大，不能实时运算。局部立体匹配算法一般是在像素点附近的窗口内定义评价函数，搜索局部最优解，运算速度快，但是在纹理不清晰和物体遮挡的情况下会出现误匹配，而且结果的深度图像不够平滑，不能完好的保持边缘特征，丢失了较多的环境信息。

发明内容

本发明为了克服现有技术的不足，提供了一种基于分段匹配和贝叶斯估计的递进式立体匹配算法，该方法在保证运算速度的同时，可以有效地处理场景中的弱纹理和遮挡，得到平滑的深度图像，良好的保持边缘特性。

一种基于分段预匹配和贝叶斯估计的递进式立体匹配算法，用于从双目图像中稠密地提取深度信息，使用一种从粗到细、从稀疏到稠密的匹配策略，包括了分段预匹配、无效点估计以及贝叶斯估计三个步骤，具体如下：

1）分段预匹配：将图像基于Sobel滤波器响应分割成边缘区域和分段区域；其中所述的分段区域分为横向和纵向分段，对所述的边缘区域和横向/纵向分段区域分别进行预匹配；所述的边缘区域的预匹配使用基于窗口的立体匹配方法，边缘区域预匹配的评价函数考虑以像素点为中心的窗口内的像素值和Sobel滤波响应的差异；所述的分段区域的预匹配使用平移的策略，分段区域预匹配的评价函数考虑两个分段重合部分的颜色差异、重合比例、长度差异以及分段内平均颜色差异；将所述的横向/纵向分段区域预匹配结果进行合并，再与边缘区域预匹配的结果合并得到较稠密的预匹配深度图；

2）无效点估计：所述的预匹配深度图中匹配失败的点成为无效点，对于每一个无效点在其周围搜索与其颜色差异在一定阈值内的像素点，组成支持窗口；在所述的支持窗口内拟合最小二乘平面，三维坐标分别为图像行、列和深度值；将所述的无效点的图像坐标代入最小二乘平面得到估计深度值，从而将所述的预匹配深度图稠密化；

3）贝叶斯估计：根据贝叶斯条件概率原理，计算每一点处关于深度值的概率分布，以所述的预匹配深度图稠密化结果作为先验知识，以图像相似度以及深度平滑程度作为后验概率；定义先验概率为以预匹配值为均值的高斯分布；定义图像相似度为以考虑点为中心的窗口内的census函数；定义平滑程度为以考虑点为中心的窗口内深度的差值和；根据得到的关于深度值的概率分布，使用最大后验概率方法取概率最大的深度后获取深度图。

步骤1)中所述的边缘区域预匹配评价函数使用公式（2）定义，公式(2)为：

cost＝cost_edge+cost_data

$>{\cos t}_{\mathrm{edge}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\underset{(\mathrm{row},\mathrm{col}){\in W}_s}{\Sigma }\right|{S_L}^i(\mathrm{row},\mathrm{col})-{S_R}^i(\mathrm{row},\mathrm{col}-d)|/{\lambda }_{\mathrm{edge}})$>

$>{\cos t}_{\mathrm{data}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\underset{(\mathrm{row},\mathrm{col})\in W_s}{\Sigma }\right|{I_L}^i(\mathrm{row},\mathrm{col})-{I_R}^i(\mathrm{row},\mathrm{col}-d)|/{\lambda }_{\mathrm{data}})$>

其中，cost为评价函数值，cost_edge，cost_data分别为Sobel滤波值和像素值对应的评价函数分量，(row,col)表示考虑点的坐标，W_s为与考虑点距离小于wsize的点组成的集合，d为深度值，i表示RGB空间的任一分量，I_Lⁱ,I_Rⁱ分别为左右图像在i分量上的像素值，S_Lⁱ,S_Rⁱ分别为左右图像在RGB空间i分量上的Sobel滤波响应，λ_data,λ_edge为设定的常数值。

步骤1)中所述的横向/纵向分段区域预匹配的评价函数对于左右两个分段Seg_L,Seg_R使用公式（3）定义，公式(3)为：

cost＝cost_ad+cost_{co_length}+cost_{length_diff}+cost_{aver_color}

$>{\cos t}_{\mathrm{ad}}=1-\exp (-\underset{(\mathrm{row},\mathrm{col}){\in P}_O}{\Sigma }\underset{i\in \{r,g,b\}}{\Sigma }|{I_L}^i(\mathrm{row},\mathrm{col})-{I_R}^i(\mathrm{row},\mathrm{col}-d)/{\lambda }_{\mathrm{ad}})$>

$>{\cos t}_{\mathrm{co}\_\mathrm{length}}=1-\exp (\frac{\mathrm{length}\left(P_O\right)}{\mathrm{length}\left({\mathrm{Seg}}_L\right)}/{\lambda }_{\mathrm{co}\_\mathrm{length}})$>

$>{\cos t}_{\mathrm{length}\_\mathrm{diff}}=1-\exp (\frac{|\mathrm{length}\left({\mathrm{Seg}}_L\right)-\mathrm{length}\left({\mathrm{Seg}}_R\right)|}{\mathrm{length}\left({\mathrm{Seg}}_L\right)}/{\lambda }_{\mathrm{length}\_\mathrm{diff}})$>

$>{\cos t}_{\mathrm{aver}\_\mathrm{color}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\right|\overline{{I_L}^i}-\overline{{I_R}^i}/{\lambda }_{\mathrm{aver}\_\mathrm{color}})$>

其中，cost为评价函数结果，cost_ad,cost_{co_length},cost_{length_diff},cost_{aver_color}分别表示考虑重合部分颜色差异、重合比例、两个分段长度差异和两个分段内平均颜色差异的评价函数分量。P_O为Seg_R向右平移d个像素后与Seg_L的重合部分，length()为计算长度的函数，i表示RGB空间的任一分量，分别为两个分段在i分量上的平均像素值，λ_ad,λ_{co_length},λ_{length_diff},λ_{aver_color}分别为设定的常数。

步骤1）横向/纵向分段区域预匹配结果进行合并根据公式（5）进行，公式（5）为：

$>d=\left(\begin{array}{cc}{d}_h& \mathrm{if}{d}_v=0\\ d_v& \mathrm{if}{d}_h=0\\ 0& \mathrm{if}|d_h-d_v|>{\tau }_d\\ \sqrt{d_h{d}_v}& \mathrm{otherwise}\end{array}\right)$>

其中d为深度结果，d_h,d_v分别为横向和纵向的匹配结果，τ_d为最大容许差距。

步骤2）中所述的组成支持窗口的颜色差异阈值根据公式(6)确定，公式(6)为：

$>\tau (i,j)=-\frac{{\tau }_{\max }}{L_{\max }}·\sqrt{{(\mathrm{row}-i)}^2+{(\mathrm{col}-j)}^2}+{\tau }_{\max }$>

。

所述步骤3）中计算每一点处关于深度值的概率分布根据公式(9)和(11)进行，公式(9)和(11)分别为：

p(d,I_l,I_r)∝p(d)p(I_l,I_r|d)

p(I_l,I_r|d)＝p_d·p_s

其中，p(d)是以预匹配值为均值的高斯分布，p_d为关于图像相似度的概率，是关于相似度评价函数的高斯分布，p_s为关于深度值平滑程度的概率，是关于平滑程度评价函数的高斯分布。

本发明与现有技术对比的有益效果是：本发明是一种递进式的立体匹配算法，基于分段匹配的预匹配策略可以有效地解决弱纹理地匹配问题，并且横向、纵向分别进行匹配并合并的方法可以捕获更多的图像特征，减少误匹配的情况。另外，在贝叶斯估计的过程中，综合考虑图像相似度和深度的平滑性，优化得到准确而平滑的深度图。

附图说明

图1是本发明中立体匹配算法的框架图。

图2是图像分段的示意图。

图3是图像分段匹配的示意图。

图4是实际例具体实施的流程图。

具体实施方式

以下结合具体实施方式并对照附图对本发明加以详细说明。

一种基于分段匹配和贝叶斯估计的立体匹配算法，根据从双目相机获取的左图和右图，将左图中每一个像素点与右图中的像素点进行匹配，得到场景的稠密深度图。基本思路是使用从粗到细、从稀疏到稠密的递进式结构，先进行稀疏而粗略的分段预匹配，再使用最小二乘的方法估计无效点的深度值将其稠密化，最后使用贝叶斯条件概率方法综合考虑预匹配值、图像相似度、深度平滑性对每一点的深度进行修正，从而得到稠密而精确的深度图。本发明的立体匹配方法的流程图如图1所示，为：

步骤1，分段预匹配，包含以下步骤：

1)计算图像在RGB颜色空间上的Sobel滤波器响应，如式（1）：

$>{G_x}^i=\left(\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right)*I^i$>

$>{G_y}^i=\left(\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& 1\end{array}\right)*I^i---\left(1\right)$>

$>G^i=\sqrt{{\left({G_x}^i\right)}^2+{\left({G_y}^i\right)}^2}$>

i∈{r,g,b}

其中，i表示图像RGB的任一分量，Iⁱ表示图像在i分量上的像素值，Gⁱ表示在i分量上的滤波结果，G_xⁱ,G_yⁱ分别表示在x和y方向上i分量的滤波结果。

2)根据滤波器响应值，使用阈值对图像分别进行横向和纵向的分割，将图像分为边缘区域和分段区域，如图2。边缘区域是指具有较大颜色变化的区域，即该点处的滤波器响应大于一定阈值，Sobel(I)＞τ_edge。同一行的两个相邻的边缘区域之间即为横向分段，同理同一列的两个相邻边缘区域之间即为纵向分段。

3)对边缘区域的点使用局部匹配算法进行匹配，其评价函数如式（2）：

cost＝cost_edge+cost_data

$>{\cos t}_{\mathrm{edge}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\underset{(\mathrm{row},\mathrm{col}){\in W}_s}{\Sigma }\right|{S_L}^i(\mathrm{row},\mathrm{col})-{S_R}^i(\mathrm{row},\mathrm{col}-d)|/{\lambda }_{\mathrm{edge}})---\left(2\right)$>

$>{\cos t}_{\mathrm{data}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\underset{(\mathrm{row},\mathrm{col}){\in W}_s}{\Sigma }\right|{I_L}^i(\mathrm{row},\mathrm{col})-{I_R}^i(\mathrm{row},\mathrm{col}-d)|/{\lambda }_{\mathrm{data}})$>

其中I_Lⁱ,S_Lⁱ和I_Rⁱ,S_Rⁱ分别表示左图像和右图像的在i分量上的像素值和Sobel滤波值。

4)对横向分段进行匹配，主要方法是对于左图像的每一个分段Seg_L，在右图像中同一行搜索候选的分段Seg_R，候选条件如式（3）：

$>\left(\begin{array}{c}{\mathrm{row}}_L={\mathrm{row}}_R\\ {\mathrm{startCol}}_L<{\mathrm{endCol}}_R+\mathrm{MaxDisp}\\ {\mathrm{endCol}}_L>{\mathrm{startCol}}_R\end{array}\right)---\left(3\right)$>

其中MaxDisp为最大的深度值，row,startCol,endCol分别表示该分段的行坐标、开始列和结束列。对于每一个候选分段，假设对其向右平移为d，则d即为候选的深度值，如图3，评价函数如式（4）:

cost＝cost_ad+cost_{co_length}+cost_{length_diff}+cost_{aver_color}

$>{\cos t}_{\mathrm{ad}}=1-\exp (-\underset{(\mathrm{row},\mathrm{col}){\in P}_O}{\Sigma }\underset{i\in \{r,g,b\}}{\Sigma }|{I_L}^i(\mathrm{row},\mathrm{col})-{I_R}^i(\mathrm{row},\mathrm{col}-d)/{\lambda }_{\mathrm{ad}})$>

$>{\cos t}_{\mathrm{co}\_\mathrm{length}}=1-\exp (\frac{\mathrm{length}\left(P_O\right)}{\mathrm{length}\left({\mathrm{Seg}}_L\right)}/{\lambda }_{\mathrm{co}\_\mathrm{length}})---\left(4\right)$>

$>{\cos t}_{\mathrm{length}\_\mathrm{diff}}=1-\exp (\frac{|\mathrm{length}\left({\mathrm{Seg}}_L\right)-\mathrm{length}\left({\mathrm{Seg}}_R\right)|}{\mathrm{length}\left({\mathrm{Seg}}_L\right)}/{\lambda }_{\mathrm{length}\_\mathrm{diff}})$>

$>{\cos t}_{\mathrm{aver}\_\mathrm{color}}=1-\exp \left(\underset{i\in \{r,g,b\}}{\Sigma }\right|\overline{{I_L}^i}-\overline{{I_R}^i}/{\lambda }_{\mathrm{aver}\_\mathrm{color}})$>

该评价函数综合考虑了重合部分P_o的颜色差异、重合比例、两个分段的长度差异以及分段内平均颜色差异，通过对d在[0,maxDisp]区间搜索得到最优的评价函数值，即得到该分段的深度值。

5)同理对纵向分段进行匹配。

6)将横向和纵向的分段匹配结果合并，如式(5)：

$>d=\left(\begin{array}{cc}{d}_h& \mathrm{if}{d}_v=0\\ d_v& \mathrm{if}{d}_h=0\\ 0& \mathrm{if}|d_h-d_v|>{\tau }_d\\ \sqrt{d_h{d}_v}& \mathrm{otherwise}\end{array}\right)---\left(5\right)$>

式中，d_h,d_v分别为横向和纵向的匹配结果，通过这种策略可以去除误匹配的点，并结合两种匹配的结果，提高精确性。

7)将边缘匹配结果与分段匹配结果合并，得到预匹配深度图。

步骤2，对步骤1得到的预匹配深度图中的无效点进行估计，对于每一个左图像中的无效点(row,col)，进行如下步骤：

1)在(row,col)周围搜索与其颜色差异在一定阈值内的有效点(i,j)作为支持点，组成支持窗口SW，该阈值定义如式(6)：

$>\tau (i,j)=-\frac{{\tau }_{\max }}{L_{\max }}·\sqrt{{(\mathrm{row}-i)}^2+{(\mathrm{col}-j)}^2}+{\tau }_{\max }---\left(6\right)$>

其中，τ_max,L_max分别为最大阈值和最大距离。

2)对于所有的支持点，拟合最小二乘平面，每一点的三维坐标分别为图像行row、图像列col、深度值d。平面方程如式(7)：

d＝a₀·row+a₁·col+a₂        (7)

参数的估计方法可以通过求解下列线性方程组获得：

$>\left(\begin{array}{ccc}\Sigma {{\mathrm{row}}_i}^2& \Sigma {\mathrm{row}}_i{\mathrm{col}}_i& \Sigma {\mathrm{row}}_i\\ \Sigma {\mathrm{row}}_i{\mathrm{col}}_i& \Sigma {{\mathrm{col}}_i}^2& \Sigma {\mathrm{col}}_i\\ \Sigma {\mathrm{row}}_i& \Sigma {\mathrm{col}}_i& n\end{array}\right)\left(\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right)=\left(\begin{array}{c}\Sigma {\mathrm{row}}_i{d}_i\\ \Sigma {\mathrm{col}}_i{d}_i\\ \Sigma d_i\end{array}\right)---\left(8\right)$>

3)将无效点的图像坐标代入平面方程，得到深度值。

步骤3，对步骤2生成的稠密预匹配深度图进行修正。基于贝叶斯条件概率公式，对于左图像中一点I_l，在右图像中对应的点为I_r，关于深度值d的概率分布如式(9)：

p(d,I_l,I_r)∝p(d)p(I_l,I_r|d)       (9)

p(d)为基于预匹配值的先验概率，为以预匹配值d_e为中心的高斯分布，如式(10)：

$>p\left(d\right)\propto \left(\begin{array}{cc}{\lambda }_e+\exp (-\frac{{\left({d-d}_e\right)}^2}{{{2\sigma }_e}^2})& \mathrm{if}\left|{d-d}_e\right|<3\sigma \\ 0& \mathrm{otherwise}\end{array}\right)---\left(10\right)$>

后验概率p(I_l,I_r|d)考虑对应点之间的相似度以及点周围的深度平滑程度，其概率分布如式(11):

p(I_l,I_r|d)＝p_d·p_s       (11)

其中，p_d为相似度概率分布，p_s为考虑平滑性的概率分布，分别如式(12)，(13)：

$>p_d\propto {\lambda }_d+\exp (-\frac{\mathrm{census}{(I_l,I_r)}^2}{{{2\sigma }_d}^2})---\left(12\right)$>

$>p_s\propto {\lambda }_s+\exp (-{\left(\frac{\underset{d_i\in d_{\mathrm{SW}}}{\Sigma }|d-d_i|}{N}\right)}^2/{{2\sigma }_s}^2)---\left(13\right)$>

d_SW为支持窗口内所有深度值的集合，census(I_l,I_r)表示census评价函数，用来描述左右图像中两点的相似度：

$>\mathrm{census}(I_l,I_r)=\underset{(x,y)\in \mathrm{WS}}{\Sigma }\rho (x,y,d)$>

$>\rho (x,y,d)=\left(\begin{array}{cc}0& {{\mathrm{ifI}}^R}_{(x+d,y)}{\mathrm{\Delta I}}_l\mathrm{and}{I^L}_{(x,y)}{\mathrm{\Delta I}}_r\\ 1& \mathrm{otherwise}\end{array}\right)---\left(14\right)$>

Δ∈{＞,＜,＝}

对于每一点求取最大后验概率的深度值d，如式(15)：

$>d^{*}=\underset{d\in D_c}{\arg \max }p(d,I_l,I_r)---\left(15\right)$>

对图像中每一点进行步骤3的处理，得到结果深度图像。

实施例

如图4表示了基于分段预匹配和贝叶斯估计的递进式立体匹配算法具体实施的流程。首先获取双目图像；在所述的分段预匹配步骤中，先进行横向预匹配和纵向预匹配，再合并为较为稀疏而粗糙的预匹配深度图；在所述的无效值估计步骤中，将预匹配深度图中的无效点根据所述的最小二乘估计法进行估计，将其稠密化；在所述的贝叶斯估计步骤中，使用所述的方法对深度值进行修正，得到稠密又精确的深度图。从结果可以看出，本发明中的算法从粗到细、从稀疏到稠密地从双目图像中提取到深度图，具有较好的效果。