基于图像分割的大面积低纹理区立体匹配算法

摘要

本发明的目的在于提供一种基于图像分割的大面积低纹理区立体匹配算法，其步骤是：第一步，根据实际需求对立体像对进行预处理；第二步，把经过预处理的立体像对按照三个方向进行处理，分三个支路；第三步，根据步骤二中3个支路产生的结果，合成视差图；第四步，对生成的视差图进行后期处理，本发明所提出的算法基于图像分割和图像多尺度空间技术，克服了常规算法不能处理低纹理区匹配的不足，可以得到较为准确的视差图。

说明书

技术领域

本发明涉及计算机视觉、数字图像处理和图像分割领域，特别是涉及一种基于图像分割 的大面积低纹理区立体匹配算法。

背景技术

立体视觉在实质上是从左右图片恢复被拍照物体三维信息的过程。立体视觉中的立体匹 配环节，一直是制约立体视觉发展的瓶颈，也是立体视觉中研究领域的热点问题。近年来， 随着计算机科学、人工智能、以及机器人技术等其它相关领域学科的发展，随着摄像机和计 算芯片性能的提高，立体视觉技术正在更加广泛地应用于各个方面。立体视觉在车辆导航， 工业检测，地图绘制，物体三维重构等多方面有十分广阔的应用。

多尺度分析是正确认识事物和现象的重要方法之一。研究者们在划分图像的边缘和纹理 时，发现图像的边缘和纹理的识别依赖于图像分析的尺度，于是产生了在不同的尺度下检测 图像特征的方法。目前，很多文献提到采用多尺度的图像处理方法，其核心内容是建立图像 金字塔，把图像信息分层次的表现出来：随着采样尺度的大小不同，得到的图像分辨率也不 同。这种方法的优势非常明显，在某种分辨率下不能注意到的图像特征在另一种分辨率下就 可以很容易的发现了。需要从较小的尺度来观察图像的细节信息，从较大尺度来观察图像的 整体特征。利用低通滤波构建多分辨率金字塔的方法实现简单，时空复杂度较低。通过这种 方式，把立体匹配过程嵌入到“由粗到精”的离散尺度空间当中，粗分辨率下的匹配结果作 为进一步精匹配的指导。这种方法在一定程度上能提高匹配精度，加快匹配速度。

图像分割把一幅图像中具有相似特性的不同区域分别划分出来。而正确、有效的图像分 割能够为进一步目标识别和图像分析奠定良好的基础。Mean Shift的最初含义就是偏移的均 值向量，但随着Mean Shift理论的发展，一般情况下提到Mean Shift算法，是指一个迭代 至收敛的过程。Comaniciu等人把Mean Shift理论引入数字图像处理领域，在解决图像平滑 和图像分割很有效。算法的过程就是先找出当前点的偏移均值，然后把该点移动到其偏移均 值，再把这个结果作为新的起始点，迭代计算并移动直到满足约束条件的过程。而利用Mean  Shift算法进行图像分割，就是把收敛到相同点的像素都归类，然后把不同类别记录下来， 区分标示。在实际工作中，为了获得更好的图像分割结果，有时还需要把含较少象素点的类 归并。

目前的匹配算法有全局匹配和局部匹配两大类，全局匹配有动态规划、图切、模拟退火 和置信传播等算法，这类算法通过在全局中计算最优解来求取视差图，得到的视差图在整体 上有很好的效果，但是匹配速度非常慢，基于全局的立体匹配算法，会把待匹配点的周围信 息尽可能多的引入，起到扩大邻域的作用，此时可以在某种程度上解决非纹理区匹配的问题。 这类方法尽管时空复杂度都高一些，但是获得的视差图更加准确。然而，对于大片非纹理区， 全局算法并不能获得完美的效果，它只能是把靠近纹理区的视差计算出来。而传统的基于图 像灰度的局部立体匹配方法，对于纹理区的匹配效果都比较好，而对于非纹理区匹配效果往 往不尽人意。尤其是对于大片的非纹理区域，按照局部匹配算法计算的视差基本失效。

发明内容

本发明的目的在于提供一种克服常规算法不能处理低纹理区匹配的不足的基于图像分割 的大面积低纹理区立体匹配算法。

本发明的目的是这样实现的：

基于图像分割的大面积低纹理区立体匹配算法包括下列步骤：

步骤一：根据实际需求对立体像对进行预处理；

步骤二：把经过预处理的立体像对按照三个方向进行处理，分三个支路：

支路1：

利用mean shift算法对基准图进行图像分割，积累窗口的形状为图像后每个聚类的形状， 生成视差图disp_seg；

支路2：

利用多窗口算法，在多尺度空间内计算视差图disp_Mutiscales；

支路3：

在基准图像划分纹理区及非纹理区表示结果为Texture_Picture；

步骤三：根据步骤二中3个支路产生的结果，合成视差图；

支路3生成的Texture_Picture图像标明了图像纹理区和非纹理区；支路2所生成的视 差图disp_Mutiscales在纹理区是准确的，而在大片的非纹理区中，支路1生成的视差图 disp_seg在划分好聚类的区域是准确的；因此能按Texture_Picture的标记，综合 disp_Mutiscales、disp_seg的结果，合成准确的视差图为：Texture_compose；

步骤四：对生成的视差图进行后期处理。

本发明的方法的主要特点如下：

1、本发明嵌入多尺度的匹配方法，利用上层视差的结果指导下层计算，有助于提高匹 配速度和准确程度。

2、本发明在多尺度空间的每一层中都使用多窗口算法进行立体匹配，保证了最大限度 的引入了纹理区信息，使得纹理区以及非纹理区中靠近边界的区域匹配结果准确。

3、本发明利用了mean shift的聚类功能，把非纹理区待匹配的像素最大化地和周围联 系起来，把图像分割的结果作为积累窗口的形态，这一针对大面积非纹理区的立体匹配方法 有很好的效果。

4、本发明根据对纹理区和非纹理区的划分结果，综合两种视差图生成最终结果，保证 了最终视差图的准确性和稠密性的要求。

附图说明

图1为视差图求解流程图；

图2为建立多尺度图像金字塔示意图；

图3a-i为多窗口的匹配窗口示意图；

图4a为第一组原始立体像对左图；

图4b为第一组原始立体像对右图；

图5a第一组原始实验数据多窗口匹配结果的差图；

图5b第一组原始实验数据SSD匹配结果的差图；

图6为第一组原始实验数据的大面积存在的非纹理区；

图7为本发明算法的第一组原始实验数据生成的视差图；

图8a为第二组原始立体像对左图；

图8b为第二组原始立体像对右图；

图9a第一组原始实验数据多窗口匹配结果的差图；

图9b第一组原始实验数据SSD匹配结果的差图；

图10为第二组原始实验数据的大面积存在的非纹理区；

图11为本发明算法的第二组原始实验数据生成的视差图；

图12a为第三组原始立体像对左图；

图12b为第三组原始立体像对右图；

图13a第一组原始实验数据多窗口匹配结果的差图；

图13b第一组原始实验数据SSD匹配结果的差图；

图14为第三组原始实验数据的大面积存在的非纹理区；

图15为本发明算法的第三组原始实验数据生成的视差图；

图16a为第四组原始立体像对左图；

图16b为第四组原始立体像对右图；

图17a第一组原始实验数据多窗口匹配结果的差图；

图17b第一组原始实验数据SSD匹配结果的差图；

图18为第四组原始实验数据的大面积存在的非纹理区；

图19为本发明算法的第四组原始实验数据生成的视差图；

具体实施方式

下面结合附图举例对本发明做更详细的描述：

结合图1到图3。本算法总共分为四个大步骤：图像预处理，生成视差图，合成视差图， 视差图后期处理。

预处理的过程可以使用极线校正、平滑滤波过程或高斯滤波过程实现。

1.极线校正：

在实际匹配过程中，如果采用非平行式立体视觉系统，极线不与坐标轴平行，搜索过程 就要在斜线上进行，计算费时，不利于计算机实现。极线校正能使搜索方向与坐标轴平行， 搜索仅仅沿同名行搜索即可。

2.平滑滤波过程：

平滑线性滤波器的输出是包含在滤波掩膜邻域内像素的简单平均值，可消除某些过亮或 者过暗点的存在，典型的随机噪声由灰度级别的尖锐变化造成，因此平滑线性滤波器有减弱 噪声的作用。

平滑线性滤波器为一个m×n大小的窗口，对应着1/mn的归一化常数。用公式可以表示 为：

$R=\frac{1}{9}\underset{i=1}{\overset{9}{\Sigma }}{z}_i$

式中：R——掩膜后窗口的输出

z_i——邻域中原来每个像素的值。

3.高斯滤波过程：

高斯滤波为加权平均的过程，是一种更加重要的方法。在这种方法中，处于掩膜不同位 置的像素具有不相等的权重。由于位于中心的像素最为重要，因此其权重最大，而距离掩膜 中心较远的其他像素就显得不太重要，因此所赋给的权重较小。用公式可以表示为：

$R=\frac{1}{16}\underset{i=1}{\overset{9}{\Sigma }}{z}_i\times {\mathrm{weight}}_i$

式中：weight_i——掩膜的相应位置处的权重。

本发明算法具体步骤是：

步骤一：对立体像对进行预处理，减弱噪声。

预处理过程为引入高斯滤波器f，对图像进行预滤波，定义预滤波器系数如下：

$f=\left(\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right)\times \frac{1}{16}$

用滤波器f对输入立体图像对进行滤波处理，得到处理后的图像I_l和I_r。其中I_l是左图和 I_r是右图。

步骤二：对预处理后立体像对进行纹理分析，同时生成两种不同形式的视差图。具体做 法如下：

支路1：

1）利用mean shift算法对基准图进行图像分割。

2）把分割后的图像作为输入，利用基本的局部匹配算法进行匹配，算子采用SSD，匹配过程 中，积累窗口的形状即为图像后每个聚类的形状，C(u,v,d)值越小，证明匹配越理想。

灰度差平方方式(Sum of Squared Differences，SSD)

$C(u,v,d)=\underset{(i,j)\in W}{\Sigma }{(I_r(u+i,v+j)-I_l(u+i+d,v+j))}^2$

式中：

u,v——图像中像素的坐标值，

i，j——控制像素坐标前后变化的索引值，

I(u,v)——(u,v)处像素的像素值，

l——左图，

r——右图，

W——积累窗口，

C(u,v,d)——位于(u,v)处点取视差d时的“耗费情况”。

3）支路1生成视差图，命名为：disp_seg

支路2：

1）自底向上，为左右图像分别逐层建立各自的图像金字塔。

利用低通滤波构建图像金字塔是对输入的图像逐层进行滤波并进行下采样。可采用高斯 低通滤波的方式生成高斯金字塔。

具体公式如下：

$I_1^0=I_1$

$I_2^0=I_2$

$\forall \left(j\right)|1\le j\le l_{\max }:I_i^j=(G\otimes I_i^{j-1}){\downarrow }_2$

式中，

i——i取值为1或2，控制I_i表示左图或右图

I₁——左图

I₂——右图

j——金字塔的第j层

l_max——金字塔的最大层数

——金字塔第j层的图像

G——低通滤波器

↓₂——表示隔2下采样。

——卷积运算符

2）利用多窗口算法，对于每一个待匹配点构造图中所示的九个邻域窗口，其中黑色方块为待 匹配像素。然后计算此时每个窗口内的图像和源图像的相似程度，具有最相似图像的窗口被 保留。这种方法可以有效的处理视差不连续的情况。在多尺度空间内，从最低分辨率开始， 利用上层对下层匹配结果的指导，自顶向下逐层求得视差图。然后从金字塔的最顶层开始， 在上层视差图的指导下，求解下层图像的初始视差图。例如，初始的图像大小为1024×1024， 则J+1级图像大小为512×512，J+2级图像大小为256×256，J+3级图像的大小是128×128。 如果在J级视差搜索范围的50个像素的话，那么在J+3级只需要搜索7个像素；如果在J+3 级图像中确定了此时的视差为D_j+3，那么在J+2层只需要在2*D_j+3和2*D_j+3+1两个位置搜索即 可。同理，如果在J+2层确定了视差为D_j+2，在J+1层只需要比较2*D_j+2和2*D_j+2+1两个位置。 这种上层指导下层的匹配方法极大的减少了搜索的时间，同时也有助于增加非纹理区匹配的 准确率。

3）支路2生成视差图，命名为：disp_Mutiscales

支路3：

1）在基准图像划分纹理区及非纹理区。

根据数字图像处理知识，一幅图像中像素点的灰度特征矢量可以定义为：

x_i＝(L,u,v)

式中：L——像素的相对亮度

u，v——像素坐标。

设L1是窗口的边长，p₀是大小为L1*L1的窗口中心像素，W表示该窗口区域，x₀表示p₀点的灰度特征矢量，x_i表示窗口内任一点p_i的特征矢量。通过估计窗口W内x₀的分布密度， 可以判定位于窗口中心的p₀点处是否平滑。核函数密度估计是最常用的估计方法。

设g(x)是多元正态函数：

$g\left(x\right)={\left(2\pi \right)}^{-d/2}\exp (-\frac{1}{2}{\left|\right|x\left|\right|}^2)$

式中，d——向量的维数。

那么，窗口内x₀的密度估计可以按下式计算：

${\sigma }_{x_0}=k\underset{W}{\Sigma }g\left(\frac{x_i-x_0}{h}\right)$

式中，h——色彩分辨率

k——归一化系数

显然，越大，位于窗口中心的p₀点越平滑。此时只需要确定一个阈值T来区分纹理区 和非纹理区。由于在一幅图像中，某个特定区域的平滑与否是相对的，并不能采用常数的方 式限定。通常是基于全局来定义T的数值。在整个图像的各像素点p_i处计算将归一 化为

${\sigma }_{x_i}^{\prime }=\frac{{\sigma }_{x_i}-{\sigma }_{\min }}{{\sigma }_{\max }-{\sigma }_{\min }}$

式中，σ_max——图像中x_i的最大值

σ_min——图像中x_i的最小值。

显然，x_i越接近于l，此处越平滑。当大于某个阈值时，则认为像素点p_i处基本平滑， 该像素与邻域像素之间差异很小。

2）在上步骤产生的初始结果中，使非纹理区做适当的膨胀

3）支路3生成纹理区和非纹理区的最终表示结果，命名为：Texture_Picture

步骤三：根据步骤二中3个支路产生的结果，合成视差图。

支路3所生成的Texture_Picture图像标明了图像纹理区和非纹理区；支路2所生成的 视差图disp_Mutiscales在纹理区是准确的，而在大片的非纹理区中，支路1所生成的视差 图disp_seg在划分好聚类的区域是准确的。因此可以按照Texture_Picture的标记，综合 disp_Mutiscales、disp_seg的结果，合成准确的视差图，命名为：Texture_compose。

步骤四：对生成的视差图进行后期处理。

此时，可以根据实际需要，在常用的后期处理方法中自主选择。例如采用视差的左右一 致性原则对生成的视图进行检测和修正，采用中值滤波器对生成的视差图滤波，消除椒盐噪 声，获得更加平滑的视差图。如果需要获得亚像素级精度视差，也可以利用拟合或者快速插 值的算法，计算出亚像素视差。

利用本发明提出的匹配方法，结合多窗口匹配方法和SSD匹配方法，进行了以下四组对 比实验。

示例一：

利用现有的多窗口匹配方法和SSD匹配方法对图4原始立体像对进行处理，得到图5的 两个视差图。利用本发明提出的方法处理图4原始立体像对，得到图7的视差图，图6标注 了大面积存在的非纹理区。白色为非纹理区。

对比图5和图7，图5中的两幅视差图没有原始图像中左上和右下角的圆形建筑的视差 信息，也没用飞机的视差信息，同时噪声较大；而图7的视差图几乎包含了原始图像中的所 有视差信息，视差图更为准确、平滑，噪声更小，尤其是纹理区以及非纹理区中靠近边界的 区域匹配结果更加准确，可以明显看出图7的匹配效果更加优异。

示例二：

利用现有的多窗口匹配方法和SSD匹配方法对图8原始立体像对进行处理，得到图9的 两个视差图。利用本发明提出的方法处理图8原始立体像对，得到图11的视差图，图10标 注了大面积存在的非纹理区。

对比图9和图11，图9的两个视差图噪声较大，对非纹理区域匹配效果差，原始图像中 建筑的有效视差信息较少。而图11的视差图更为准确、平滑，噪声更小，对非纹理区域匹配 效果更好，原始图像中建筑物的有效视差信息更加丰富，可以明显看出图11的匹配效果更加 优异。

示例三：

利用现有的多窗口匹配方法和SSD匹配方法对图12原始立体像对进行处理，得到图13 的两个视差图。利用本发明提出的方法处理图12原始立体像对，得到图15的视差图，图14 标注了大面积存在的非纹理区。

对比图13和图15，图13的两个视差图噪声较大，对非纹理区域匹配效果不理想。而图 15的视差图更为平滑，噪声更小，对非纹理区域匹配效果更好，其是纹理区以及非纹理区中 靠近边界的区域匹配结果更加准确，可以明显看出图15的匹配效果更加优异。

示例四：

利用现有的多窗口匹配方法和SSD匹配方法对图16原始立体像对进行处理，得到图17 的两个视差图。利用本发明提出的方法处理图16原始立体像对，得到图19的视差图，图18 标注了大面积存在的非纹理区。

对比图17和图19，原始图像中建筑物较多，而图17中的两个视差图对建筑物的匹配结 果较差，粘合现象严重，有效视差信息较少，对非纹理区域的匹配较差，噪声较大。而图19 的视差图对建筑物的匹配结果优异，粘合现象较少，噪声较小，图像更为平滑，有效视差信 息丰富，对非纹理区域匹配效果更好，尤其是纹理区以及非纹理区中靠近边界的区域匹配结 果更加准确，可以明显看出图19的匹配效果更加优异。