一种基于局部线性模型的光照不敏感快速立体匹配方法

摘要

本发明公开了一种基于局部线性模型的光照不敏感快速立体匹配方法。针对光照不一致条件下，目前主流方法很难进行精确匹配。在匹配之前，先要进行立体图像的颜色校正。然而要获得颜色一致的立体图像是非常困难的工作，目前还没算法可完成精确的立体图像校正。本发明包括图像从RGB颜色空间转换到CIE‑Lab颜色空间，基于一个局部线性模型，消除光照不一致对立体图像左右视图匹配的影响，采用基于导向滤波的改进NCC匹配算法，最后对匹配代价求解立体视差图。本方法在立体匹配过程中不再依赖于立体图像左右图中的颜色信息进行匹配，不仅具有较高的运行效率和匹配精度，而且有效的解决了光照不一致条件下，立体匹配难以进行精确匹配的问题。

说明书

技术领域

本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于局部线性模型的光照不敏感快速立体匹配方法。

背景技术

最近几年，立体媒体越来越受到人们的关注，因此立体图像的编辑也变得越来越重要。而立体图像匹配算法是立体图像编辑的基础，可以这么说，根据Luo S-J,Sun Y-T,Shen I-C,Chen B-Y,Chuang Y-Y在2015发表在IEEE transactions on visualizationand computer graphics21卷第1期56-67页上的论文Geometrically consistentstereoscopic image editing using patch-based synthesis，以及龚永义,关柏良,曾坤,李可宏,吴贺丰,罗笑南在2016年发表在计算机学报第39期第1-17页上的论文，垂直方向立体接缝雕刻缩放算法，得出立体图像编辑的效果好坏很大程度上取决于立体匹配的质量。因此，很多学者对立体匹配算法进行了广泛的研究，如Kordelas GA,Alexiadis DS,Daras P,Izquierdo E等人2015年发表在Image and Vision Computing第35卷31-49页上的论文Enhanced disparity estimation in stereo images；Liu J,Li C,Mei F,Wang Z等人2015发表在The Visual Computer第31卷第9期1253-1269页上的论文3D entity-based stereo matching with ground control points and joint second-ordersmoothness prior。

通常，立体匹配算法都是基于颜色信息的匹配，因为这些立体匹配算法都假设在进行立体图形匹配之前，立体图像已经进行了颜色校正。然而在实际情况中，立体图像左右图的颜色通常会受到几何或者光照条件的影响，导致采集到的立体图像左右图像的颜色不一致。Kim Y-H,Koo J,Lee S等人2016年发表在Pattern Recognition Letters第78卷41-47页的论文Adaptive descriptor-based robust stereo matching under radiometricchanges，其公开了在光照变化条件下采用基于颜色信息的立体匹配算法，立体匹配的效率将大大的降低，甚至无法工作。由于主流的立体匹配算法的效果都依赖于立体图像的颜色一致性，因此在进行立体匹配之前，首先要进行立体图像的颜色校正。然而要获得颜色一致的立体图像是一件非常困难的工作，至少到目前为止，还没有一个算法可以完成精确的立体图像校正。

Heo YS,Lee KM,Lee SU等人2008年在Computer Vision and PatternRecognition，IEEE Conference on,Anchorage，pp.1-8会议上的论文Illumination andcamera invariant stereo matching，针对光照变化条件下的立体匹配问题，提出了一种自适应归一化互相关算法，为了减少立体视差过于平滑，采用了具有边缘保持效果的双边滤波，最后通过图割的方法进行优化。随后Heo YS,Lee KM,Lee SU等人2009在ComputerVision and Pattern Recognition，IEEE Conference on,Miami,pp.445-452会议上的论文Mutual information-based stereo matching combined with SIFT descriptor inlog-chromaticity color space，又结合SIFT来构建左右图的联合概率密度函数，但是改进的效果并不明显。Xu J,Yang Q,Tang J,Feng Z等人2016年在International Journalof Computer Vision 119卷第2期179–193页提出的论文Linear Time IlluminationInvariant Stereo Matching，针对全局和局部的亮度改变，提出了一种新的相似度测量方法，该方法的计算复杂度和图像的像素成线性关系，提高了光照变化条件下立体图像匹配的计算速度。国内，很多学者也对光照变化下的立体图像匹配进行开展了研究。曹晓倩,马彩文2014在机器人第05期634-640页上发表的论文一种光照度不一致的鲁棒立体匹配算法，曹晓倩等人提出了改进极线距离变化的立体匹配算法，然后利用置信传播方法来计算立体视差图。于方杰,栾新,宋大雷,周红虹,李秀芳2014在中国海洋大学学报(自然科学版)第04期108-111页上发表的论文：一种光照变化条件下的自适用权重局部立体匹配算法，随后于方杰等人又提出了一种基于稀疏Census变换的自适应权重的立体匹配方法。

但是大部分光照变化下的立体匹配算法都是基于朗伯体表面反射模型。

发明内容

为了克服背景技术的缺点与不足之处，本发明提出了一种基于局部线性模型的光照不敏感快速立体匹配方法，其主要基于局部线性模型，对光照不一致的的立体图像匹配具有较强的鲁棒性，而且算法的执行速度非常快。

本发明的技术方案是：一种基于局部线性模型的光照不敏感快速立体匹配方法，包含以下步骤：

(一)输入待处理立体图像左右图，并将左右立体图像从RGB颜色空间转换到CIE-Lab颜色空间；

(二)基于一个局部线性模型，消除光照不一致对立体图像左右视图匹配的影响，其包括以下步骤：

(a)对左右立体图像的CIE-Lab颜色空间中的图像进行均值滤波，获得均值滤波后的图像

(b)CIE-Lab颜色空间的左右图和步骤(a)中得到的均值滤波后的图像分别进行减运算操作，获得图像I'(i)；

(c)对左右图I'(i)进行高斯滤波操作，获得高斯滤波后的图像S(i)；

(d)对左右图I'(i)和高斯滤波后的图像S(i)进行分别除运算操作，获得图像I″(i)；

(三)对步骤(二)中获得的图像I″(i)采用基于导向滤波的改进NCC匹配算法处理，得到匹配代价；

(四)对经过导向滤波优化后的匹配代价求解立体视差图。

在步骤(一)中所述左右立体图像从RGB颜色空间转换到CIE-Lab颜色空间的转换方法如下：

式中R，G，B分别表示图像的红、绿、蓝颜色值，L是亮度通道值，a和b是颜色通道值。

步骤(二)中所述的局部线性模型，该模型假设输入的立体图像和校正后的立体图像之间是一个线性关系，该局部线性模型如下：

式中，J表示校正后的立体图像，I表示立体图像在CIE-Lab颜色空间中的图像，i，p为图像中的像素位置索引，c表示彩色图像的三个通道，ω_i为以i为中心的m×m的局部区域，由于图像具有局部平滑特性，线性系数α^c(p)，β^c(p)在窗口ω_i中为常量。

步骤(a)中对CIE-Lab颜色空间的左右图分别进行均值滤波，获得均值滤波后的图像：

其中ω_i为以i为中心的m×m的局部区域，|ω_i|表示窗口ω_i中像素的个数，i，k为图像中的像素位置索引。

步骤(b)CIE-Lab颜色空间的左右图和步骤(a)中得到的图像分别进行减运算操作，获得图像

步骤(c)对左右图I'(i)进行高斯滤波操作，获得高斯滤波后的图像S(i)，

其中i，j，k为图像中的像素位置索引，G(i,j)为高斯滤波系数：

ω_j为以j为中心的m×m的局部区域，Z_i为归一化系数，参数σ_s决定了高斯滤波窗口的宽度。

步骤(d)对左右图I'(i)和高斯滤波后的图像S(i)分别进行除运算操作，获得图像I″(i)：

步骤(三)中所述基于导向滤波的改进NCC匹配算法为：

其中C_NCC为NCC匹配算法：

I_L"和I"_R分别为立体图像通过步骤(二)操作获得的左图和右图，

W(i,j)是导向滤波的权重系数：

式中M表示了导向图，ω_k为以k为中心的m×m的局部区域，μ_k和分别为导向图在窗口ω_k中的均值和方差，ε为规则化参数，参数取值范围为10^-5-10^-7。

步骤(四)中采用胜者为王对经过导波滤波优化后的匹配代价求解视差图，即通过计算视差值d在[0,d_max]之间所有的匹配代价，选取使得最小匹配代价的视差值做为最优的视差结果：

ω为以i或j或k为中心的m×m的局部区域，m的取值为7。

本发明设计和推导了一个基于局部线性模型的立体匹配代价，消除光照不一致对立体图像左右视图匹配的影响，对光照不一致的的立体图像匹配具有较强的鲁棒性。随后，利用导向滤波的优点，提出的立体匹配方法完成了高质量的立体图像匹配。实验结果表明本发明方法在光照不一致的情况下，立体匹配质量受光照条件的影响非常小。相比现有的立体匹配方法，在光照变化条件下，本发明方法的立体匹配质量明显提高了立体匹配的质量，算法具有较好的鲁棒性。

附图说明

图1为本发明的流程图。

图2为本发明与先前的立体图像匹配结果对比示意图。

图3为本发明在光源和曝光时间变化情况下的三组立体图像匹配效果，第一列为立体图像左图，第二列为立体图像右图，第三列为本发明获得的立体匹配视差图。

图4为本发明在光照不一致条件下的多组立体匹配效果，第一列为立体图像左图，第二列为立体图像右图，第三列为本发明获得的立体匹配视差图。

具体实施方式

下面针对附图对本发明的实施例作进一步说明：

如图1所示，本实施例所描述的一种基于局部线性模型的光照不敏感快速立体匹配方法，包括以下步骤：

先输入待处理立体图像左右图，并将左右立体图像从RGB颜色空间转换到CIE-Lab颜色空间；

所述左右立体图像从RGB颜色空间转换到CIE-Lab颜色空间的转换方法如下：

式中R，G，B分别表示图像的红、绿、蓝颜色值，L是亮度通道值，a和b是颜色通道值。

本发明基于一个局部线性模型，该局部线性模型在形式上和局部图像抠图模型相似，该局部线性模型假设输入的立体图像和校正后的立体图像之间是一个线性关系，该局部线性模型如下：

式中，J表示校正后的立体图像，I表示立体图像在CIE-Lab颜色空间中的图像。通常ω_i为以i为中心的m×m的局部区域，由于图像具有局部平滑特性，线性系数α^c(p),β^c(p)在窗口ω_i中为常量。在公式中可以看出，因为▽I＝α▽J，所以输入的立体图像I和校正后的立体图像J具有相同的图像边缘。因此本发明提出局部线性模型具有边缘保持的特性。要求求解出校正后的立体图像J是非常困难的，因此本发明方法的目标是消除系数α^c(p),β^c(p)对立体图像左右视图匹配的影响。

由于光照变化条件下，线性系数α^c(p),β^c(p)对立体图像左右视图的影响不同，所以受到线性系数α^c(p),β^c(p)的影响，基于颜色信息的立体匹配算法无法精确的立体匹配，有的方法甚至无法工作。因此我们的目标是消除系数α^c(p),β^c(p)对立体图像左右视图的影响，因为在公式(1)中，彩色图像中的三个通道是独立进行操作的，因此我们以单个通道为例。因为线性系数α^c(p),β^c(p)在窗口ω_i中为常量，因此对CIE-Lab颜色空间的左右图进行一次均值操作，进行均值滤波后的图像为：

式中ω_i为以i为中心的m×m的局部区域，m的取值为7，|ω_i|表示窗口ω_i中像素的个数,i，k为图像中的像素位置索引。

然后把CIE-Lab颜色空间的左右图I和均值滤波后的图像分别进行减运算操作，获得的图像I'(i)如下：

左右图I'(i)中已经消除了线性系数β(p)的影响。为了消除线性系数α(p)的影响，我们对左右图I'(i)进行高斯滤波操作，高斯滤波如下：

其中i，j，k为图像中的像素位置索引，其中G(i,j)为高斯滤波系数，公式如下：

Z_i为归一化系数，参数σ_s决定了高斯滤波窗口的宽度,本发明采用了7×7的高斯滤波模板。

为了消除系数α(p)的影响，图像I'(i)和高斯滤波后的图像S(i)进行除运算操作，获得的结果如下：

从公式(6)中可以看出，图像I″(i)中已经不再含有线性系数α^c(p),β^c(p)，式中仅受校正后的立体图像J的影响。

为了提高算法的效率，本文采用NCC匹配算法，NCC匹配算法是一种广泛使用的基于局部窗口的匹配算法，对光照变化具有较强的鲁棒性，该匹配算法如下：

结合公式(6)和公式(7)，可以看出匹配算法的结果依赖于校正后的立体图像J的影响，而不在受到输入的立体图像I的影响，因此算法的匹配效果将会得到极大的改善。

通过公式(7)，我们计算了立体图像左右图的匹配代价，为了使匹配的代价更加精确、平滑，本文算法对获得的匹配代价进行了导向滤波：

式中，W(i,j)是导向滤波的权重系数，权重系数的求解如下：

式中M表示了导向图，在本发明方法中，M为立体图像左图，μ_k和分别为导向图在窗口ω_k中的均值和方差，ω_k是以k为中心的m×m的局部区域，m的取值为7，ε为规则化参数，取值范围为10^-5-10^-7。

最后我们对经过导波滤波优化后的匹配代价求解视差图。

步骤(四)中采用胜者为王对经过导波滤波优化后的匹配代价求解视差图，即通过计算视差值d在[0,d_max]之间所有的匹配代价，选取使得最小匹配代价的视差值做为最优的视差结果：

为了验证本发明方法在光照变化条件下的立体匹配效果，图2显示了两组本发明与先前的立体图像匹配结果对比。第一组图片显示了光照一致立体图像(左右图均为expo.2/illu.1)的立体匹配效果，从图中可以看出，各种方法均取得了较好的立体匹配结果，由于SGM、SSCA和FCVF三种方法采用了全局立体匹配的算法思想，效果要明显好于基于局部立体匹配算法绝对误差和算法(SAD)和归一化互相关算法(NCC)，而本发明方法的立体匹配质量要明显好于绝对误差和算法(SAD)和归一化积相关算法(NCC)，和全局立体匹配的效果相当。第二组图片显示了光照不一致立体图像(左图为expo.1/illu.1，右图为expo.2/illu.1)的立体匹配效果，从图2第二组图片中可以看出，在光照不一致的情况下，先前的立体图像匹配结果质量均出现了严重的下降，特别是绝对误差和算法(SAD)和SGM算法已经无法正常工作。光照不一致对归一化互相关算法(NCC)虽然影响不大，但是归一化互相关算法(NCC)立体匹配质量仍旧比较低。相比较而言，本发明方法在光照不一致的情况下，立体匹配质量几乎不受光照条件的影响。在光照不一致条件下，本发明方法的立体匹配质量最高。

其中SGM方法由Hirschmuller H 2008年发表在IEEE Transactions on patternanalysis and machine intelligence 30卷2期328-341页上的论文Stereo processingby semiglobal matching and mutual information提出。

SSCA方法由Zhang K,Fang Y,Min D,Sun L,Yang S,Yan S,Tian Q等人2014年发表在Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,1590-1597页上的论文Cross-scale cost aggregation for stereomatching提出。

FCVF方法由Hosni A,Rhemann M,Bleyer M,Rother,Gelautz M等人2011年发表在IEEE Transactions on Pattern Analysis and Machine Intelligence 35卷2期504-511上的论文Fast cost-volume filtering for visual correspondence and beyond提出。

为了定量计算光照条件对本发明方法的影响，我们计算了本方法得到的视差图和标准视差图之间的匹配率，匹配率(Percentage of Matching pixels,PM)的计算公式如下：

式中p为像素位置索引，D_S(p)为本发明计算获得的视差图，D_G(p)为标准视差图，N为整个视差图像素的总数，#为计数操作，统计满足条件|D_S(p)-D_G(p)|＜1的像素个数。匹配率越高，表示获得的视差图和标准视差图越接近。我们计算了图2中两组立体视差图的匹配率，在相同光照条件下(第一组立体图像)，本发明方法获得的视差图匹配率为85.55％。在光照变化条件下(第二组立体图像)，本发明方法获得的视差图匹配率为84.70％。因此本发明方法对光照的变化具有较强的鲁棒性。

为了验证本发明方法对曝光时间和光源不一致情况下的立体匹配效果，图3显示了光照条件变化下的三组立体图像匹配效果，第一组立体图像为光源相同，曝光时间不同(左图为expo.1/illu.1，右图为expo.2/illu.1)，本发明方法获得的视差图匹配率为84.70％。第二组图像为光源不同，曝光时间相同(左图为expo.2/illu.1，右图为expo.2/illu.2)，本发明方法获得的视差图匹配率为84.91％。第三组图像为光源不同，曝光时间不相同(左图为expo.0/illu.1，右图为expo.2/illu.3)，本发明方法获得的视差图匹配率为81.87％。从光照不一致条件下的三组立体图像的立体匹配结果可以看出，单一的曝光时间或光源变化对本发明的立体匹配效果几乎没什么影响，而在曝光和光源变化都比较大的情况下，本发明方法的立体匹配效果略有下降，但是仍然保持了较高的匹配率。因此本发明提出的立体匹配方法对光照具有很强的鲁棒性。

图4显示了本发明在光照不一致条件下的多组立体匹配效果，从图中可以看出，本发明方法在光照不一致条件下针对不同的立体图像均能获得高质量的立体匹配结果。本发明测试的立体图像均来自Middlebury立体图像匹配图像库，因为本发明方法很适合在GPU下运行，本发明的运行环境为Quadro K5200显卡，Intel i7CPU处理器和16G内存，使用CUDA并行编程技术，本发明方法仅需要1.2s就能处理420×370的立体图像对。

实施例不应视为对发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。