一种基于马尔可夫随机场的视差图精化方法

摘要

一种基于马尔可夫随机场的视差图精化方法，属于计算机视觉及模式识别技术领域，其步骤为：输入初始左视差图，得到右视差图；利用扩展的交叉验证法进行异常点的检测并将视差点进行分类；建立全局能量函数；计算数据项和平滑项；利用图割算法进行求解；得到精化后的视差图。本方法可以有效地去除局部或全局立体匹配算法生成的视差图中的误匹配点，大幅度提升视差图的精度，最终得到精化后的高精度视差图，利于视觉深度信息的进一步处理。

说明书

技术领域

 本发明涉及计算机视觉及模式识别技术领域，特别是涉及一种立体视觉技术中视差图的精化方法。

背景技术

 立体匹配问题是计算机视觉中的关键科学问题，至今没有完全令人满意的解法。很多算法针对不同的应用，在匹配的效率和精度问题上进行权衡。这里只讨论如何进一步提高立体匹配的精度问题。

 给出两幅已校正的立体图像对, 在采用某一算法求解立体匹配问题时, 算法的结果往往是一幅左视差图或者左右二幅视差图。 由于存在遮挡等各种复杂因素的影响, 所以, 所得到的视差图总是存在或多或少的误匹配, 这些误匹配在视差图中的表现就是很多的异常值, 有一些异常值甚至是大面积的。 这一现象是普遍存在的, 无论采用局部性算法, 还是采用性能优良的全局性算法,例如图割算法和信任传播算法,异常值都有可能会出现在视差图中。

很多异常点区域通过不断的能量最小化迭代操作并不会被合理的消除。 视差图中大量异常值的存在影响了立体视觉技术的更进一步的研究, 尤其不利于在此基础上的中后期视觉技术的研究, 所以消除异常值显得非常有必要。如何“消除”视差图中的这些异常值？目前并没有十分有效的解决方法。 然而在立体视觉中, 这的确是一个非常关键的科学问题, 消除异常值后, 可以获得更高精度的视差图, 优良的匹配结果可以优化视觉信息的进一步处理过程。 消除异常值不仅仅意味着简单的删除, 而且要以更加适当的视差值替补。 这样的操作实际上是一个精化的过程。

发明内容

本发明的目的在于提供了一种基于马尔可夫随机场的视差图精化方法，消除初始视差图中的误匹配点，更进一步提高立体匹配的精度。

本发明是一种基于马尔可夫随机场的视差图精化方法，其步骤为：

步骤（1）读取初始左视差图；

步骤（2）生成右视差图；

步骤（3）异常视差点检测；

步骤（4）视差点分类；

步骤（5）建立马尔可夫随机场模型；

步骤（6）建立全局能量方程；

步骤（7）计算数据项与平滑项；

步骤（8）利用图割算法进行求解；

步骤（9）得到精化以后的高精度视差图。

本发明的有益效果是：能够有效地解决了对初始视差图进一步精化的问题，经过本发明所述的精化过程，视差图的精度将获得大幅度地提升，非常有利于对视觉信息的进一步处理。

上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的附图和较佳实施例详细说明如后。

附图说明

图1为基于马尔可夫随机场的视差图精化方法步骤流程图，图2为初始左视差图，图3为初始右视差图，图4为左视差图中检测到的异常视差点，图5为右视差图中检测到的异常视差点，图6为初始左视差图在Middlebury网站评估后的误匹配点，图7为精化后的左视差图在Middlebury网站评估后的误匹配点，图8为Teddy左图像，图9为Teddy右图像，图10为精化后的视差图，图11为Teddy的基准视差图。

具体实施方式

本发明是一种基于马尔可夫随机场的视差图精化方法，其步骤为：

    步骤（1）读取初始左视差图；

    步骤（2）生成右视差图；

    步骤（3）异常视差点检测；

    步骤（4）视差点分类；

    步骤（5）建立马尔可夫随机场模型；

    步骤（6）建立全局能量方程；

    步骤（7）计算数据项与平滑项；

    步骤（8）利用图割算法进行求解；

    步骤（9）得到精化以后的高精度视差图。

根据以上所述的方法，在步骤（1）中，初始左视差图由某一立体匹配算法得到，例如可以采用全局性立体匹配算法如信任传播算法、图割算法等等。

根据以上所述的方法，在步骤（2）中，生成右视差图，利用立体匹配左右对应原理，即可以根据左视差图生成对应的右视差图。

根据以上所述的方法，在步骤（3）和步骤（4）中，异常视差点的检测及分类，将初始视差图中的所有视差点分为三类，令                                                为初始左视差图，检测后正确匹配的视差点集为，直接交叉验证后得到的异常视差点集为，间接交叉验证后得到的异常视差点集为；判别一个视差点属于集合，令为左视差图的一个点的位置，为其视差值，为其匹配的右视差图中的点的位置，为其视差值，则有：

，

这时，中点的视差值为，对应左视差图中的点为：

，

若，则在中的这个点就是异常点，且属于集合。

根据以上所述的方法，在步骤（5）中，建立马尔可夫随机场模型，马尔可夫随机场中以初始视差值为观测数据。

根据以上所述的方法，在步骤（6）中，建立全局能量方程，其能量方程为：

，

其中，为邻域系统，为图像，为像素，为数据项，为像素的平滑项。

根据以上所述的方法，在步骤（7）中，计算数据项与平滑项，其数据项为：

 ，

其中，正确匹配的点集为，直接交叉验证后得到的直接异常点集为，间接交叉验证后得到的间接异常点集为， 为常数；其平滑项为：

，

其中，为视差间断的最大截尾值，均为视差值。

根据以上所述的方法，在步骤（8）中，利用图割算法进行求解，采用方法对能量函数进行求解。

为更进一步阐述本发明为达到预定发明目的所采取的技术手段和功效，对依据本发明所提出的基于马尔可夫随机场的视差图精化方法其具体实施方式、特征及其功效，下面结合具体的实施例对本发明做进一步详细说明。

实施例1：

本发明的基于马尔可夫随机场的视差图精化方法包括以下步骤：

（1）读取初始左视差图，初始左视差图由某一立体匹配算法得到，例如可以采用全局性立体匹配算法如信任传播算法、图割算法等等；

（2）生成右视差图，利用立体匹配左右对应原理，即可以根据左视差图生成对应的右视差图；

（3）异常视差点检测；

（4）视差点分类；

（5）建立马尔可夫随机场模型；

（6）建立全局能量方程；

（7）计算数据项与平滑项；

（8）利用图割算法进行求解；

（9）得到精化以后的高精度视差图。

原理说明：初始左视差图由某种立体匹配算法得到。

 以上所述的基于马尔可夫随机场的视差图精化方法，初始左视差图由某种立体匹配算法得到。

以上所述步骤（2）生成右视差图，由立体匹配技术中的对应原理得到。

以上述步骤（3）异常视差点检测，异常视差点由扩展以后的交叉验证法进行检测得到，判别一个视差点属于间接异常点，令为左视差图的一个点的位置， 为其视差值，为其匹配的右视差图中的点的位置，为其视差值，则有：

，

这时，中点的视差值为，对应左视差图中的点为：，

若，则在中的这个点就是异常点，且属于间接异常点。

以上所述步骤（4）视差点分类，根据步骤（3）的结果，将初始视差图中的所有视差点分为三类。令为初始左视差图，检测后正确匹配的视差点集为，直接交叉验证后得到的异常视差点集为，间接交叉验证后得到的异常视差点集为。

以上所述步骤（5）建立马尔可夫随机场模型，马尔可夫随机场中以初始视差值为观测数据。

以上所述步骤6）建立全局能量方程，其能量方程为：

 

其中，为邻域系统，为图像，为像素，为数据项，为像素的平滑项。

以上所述步骤（7）计算数据项与平滑项，其数据项为：

 

其中，正确匹配的点集为，直接交叉验证后得到的异常点集为，间接交叉验证后得到的异常点集为，令视差区间为,一般地，可以取,,。

以上所述步骤（7）计算数据项与平滑项，其平滑项为：

 

其中，为视差间断的最大截尾值，一般可取，均为视差值。

以上所述步骤（8）利用图割算法进行求解，采用算法对能量函数进行求解。

以上所述步骤（9）得到精化以后的高精度视差图，像素值由步骤（8）得到。

根据本发明所述步骤及原理，最后可以得到精化后的视差图，由结果可见，精差图的精度获得到了大幅度的提升，非常有利于对视觉信息的进一步处理。