基于超像素的稠密匹配算法、系统和智能终端

摘要

本发明公开了一种基于超像素的稠密匹配算法、系统和智能终端，所述算法包括：获取双目相机的原始图像，并对所述原始图像进行预处理；对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。解决了现有技术中由于图像处理稠密匹配方法出现局部偏差而导致的图像处理准确度的问题。

说明书

技术领域

本发明涉及图像处理算法技术领域，具体涉及一种基于超像素的稠密匹配算法、系统和智能终端。

背景技术

近年来，随着自动驾驶和辅助驾驶技术的发展，对车辆行驶过程中图像处理的要求也在不断提高。在自动驾驶和辅助驾驶领域，多利用双目相机进行图像采集，传统双目匹配的核心思想，是通过暴力搜索的方法，在左右图像的同一基线上找到相似点。根据视差点的稠密程度，又可分为稠密匹配和稀疏匹配，而由于视差点丰富，稠密匹配的应用范围更广。但是，常用的SGM(Semi-Global Matching)稠密匹配方法，存在一定的缺陷，例如光照的微小变化就可能引起图像纹理的变化，从而导致局部视差值出现偏差或错误，造成图像处理准确度降低。

发明内容

为此，本发明实施例提供一种基于超像素的稠密匹配算法、系统和智能终端，以解决现有技术中由于图像处理稠密匹配方法出现局部偏差而导致的图像处理准确度的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于超像素的稠密匹配算法，所述算法包括：

获取双目相机的原始图像，并对所述原始图像进行预处理；

对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；

将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。

进一步地，所述对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算，具体包括：

获取并记录超像素区域坐标值；

根据已获得的超像素区域，对代价值进行融合；

遍历所述超像素区域内的所有点的坐标值，并进行代价值融合，得到最终代价值数据。

进一步地，所述获取并记录超像素区域坐标值，具体包括：

创建m×n大小的容器，m×n对应于图像的每个像素点；

其中，m和n分别为图像的宽度和高度，m×n等于图像总像素点数量。

进一步地，所述根据已获得的超像素区域，对代价值进行融合，具体包括：

对P点的k个代价值依次进行融合，融合的空间范围是P点容器内存储的所有坐标点，融合的数据是这个代价值所在层，对应的P点容器内所有点的代价值，求取这些数值的均值，替换P点在该层的原有代价值，其中，P点是容器中m×n个点中的其中一点。

本发明还提供一种基于超像素的稠密匹配系统，所述系统包括：

预处理单元，用于获取双目相机的原始图像，并对所述原始图像进行预处理；

代价值计算单元，用于对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；

结果输出单元，用于将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。

进一步地，所述代价值计算单元，具体用于：

获取并记录超像素区域坐标值；

根据已获得的超像素区域，对代价值进行融合；

遍历所述超像素区域内的所有点的坐标值，并进行代价值融合，得到最终代价值数据。

进一步地，所述代价值计算单元，具体用于：

创建m×n大小的容器，m×n对应于图像的每个像素点；

其中，m和n分别为图像的宽度和高度，m×n等于图像总像素点数量。

进一步地，代价值计算单元，具体用于：

对P点的k个代价值依次进行融合，融合的空间范围是P点容器内存储的所有坐标点，融合的数据是这个代价值所在层，对应的P点容器内所有点的代价值，求取这些数值的均值，替换P点在该层的原有代价值，其中，P点是容器中m×n个点中的其中一点。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

本发明还提供一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如上所述的方法。

本发明所提供的基于超像素的稠密匹配算法，通过获取双目相机的原始图像，并对所述原始图像进行预处理；对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。从而将超像素分割后的区域信息，出输给稠密匹配的代价计算模块，作为代价值的约束之一，使得计算获得的代价值将包含更多的图像信息，从而提高了视差图效果。解决了现有技术中由于图像处理稠密匹配方法出现局部偏差而导致的图像处理准确度的问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明所提供的基于超像素的稠密匹配算法一种具体实施方式的流程图；

图2为图1所示算法中超像素区域分割的流程图；

图3为点P所在的超像素区域的示意图；

图4为本发明所提供的基于超像素的稠密匹配系统一种具体实施方式的结构框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

总的来讲，本发明提供的算法在SGM(Semi-Global Matching)算法基础上进行改进，SGM算法主要由图像预处理、代价值计算、代价值聚合、视差计算、滤波几个模块组成。其中比较重要的是代价值计算模块，该模块主要基于census特征，计算左右图像对应两个像素census变换值的汉明距离。但是代价值的初始计算，并没有考虑图像的轮廓特征，这就导致视差图最终结果不理想，最直观的影响就是待测物体上的视差值存在很大的差异，视差值无法反映其真实情况。而如果在这一步增加了图像超像素分割后的区域信息，就能给每个代价值增加被测物体轮廓信息的权重，基于该代价值再进行后续处理，得到的视差图相较于原始图像有明显的改善，待测物体上的视差值聚合度更好。

需要理解的是，超像素是由一些具有相似特征且相邻的像素点，聚合到一起形成一个具有代表性的大“元素”。这些新的元素大都不会破坏图像中物体的边界信息，并且保留了下一步图像处理必需的有效信息。常用的超像素算法比较多，其中SLIC(simplelinear iterativeclustering)由于可以生成紧凑，均匀的超像素，因此具有较高的综合评价。且运算速度较快、轮廓保持完整，广泛应用于图像分割、姿势估计等图像处理领域。将SLIC超像素分割后的区域信息，给到稠密匹配的代价计算模块，作为代价值的约束之一，计算获得的代价值将包含更多的图像信息，从而提高视差图效果。超像素算法根据图像色彩信息(或灰度信息)将原图进行分割，并将分割后的小区域填充该区域原始色彩值的均值。

在一种具体实施方式中，如图1所示，本发明所提供的基于超像素的稠密匹配算法包括以下步骤：

S1：获取双目相机的原始图像，并对所述原始图像进行预处理；

S2：对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；

S3：将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。

本发明主要的改进点在于代价值计算中融入了超像素分割后的区域信息，如图2所示，上述步骤S2具体包括：

S201：获取并记录超像素区域坐标值；具体地，创建m×n大小的容器，m×n对应于图像的每个像素点；其中，m和n分别为图像的宽度和高度，m×n等于图像总像素点数量。

在一个具体场景中，超像素区域坐标值记录时，首先创建m×n大小的容器(m和n分别为图像的宽度和高度，m×n等于图像总像素点数量)对应于图像每个像素点。以点P为例，P点所在的超像素区域以图3的方格区域表示，点P位置的容器储存的是所有方格区域像素的坐标值。

S202：根据已获得的超像素区域，对代价值进行融合。仍以上述场景为例，根据已获得的m×n个容器，对代价值进行融合时，其中代价值的意义是，基准图(假设为左图)和匹配图(假设为右图)两幅图像中对应点的匹配程度，而每一个基准图的点，在匹配图中都有k个对应点(k即是搜索范围)，因此整幅图像的代价值集合是一个m×n×k的三维数据集，m记为“行”，n记为“列”，k记为“层”(可以假设为待选视差)。对P点的k个代价值依次进行融合，融合的空间范围是P点容器内存储的所有坐标点，融合的数据是这个代价值所在层，对应的P点容器内所有点的代价值，求取这些数值的均值，替换P点在该层的原有代价值。

S203：遍历所述超像素区域内的所有点的坐标值，并进行代价值融合，得到最终代价值数据。

下面对以上所述算法的效果进行对比和论述。

以此方案获得的视差图，相较于原始SGM算法的视差图效果有较为明显的提升。现以待测物体区域内的所有视差值方差作为评估方法，进行评价。对比结果如下表1所示：

表1原始SGM和基于超像素稠密匹配方法效果对比

结果表明相较于原始SGM算法，优化后的算法获取到的视差图待测物上视差值方差较小，代表其视差点更加集中，可以较为真实的反应待测物的实际信息。后续以视差图为输入源的例如障碍物提取，三维重构等算法，都可以获得更加理想的效果。

因此，在上述具体实施方式中，本发明所提供的基于超像素的稠密匹配算法，通过获取双目相机的原始图像，并对所述原始图像进行预处理；对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。从而将超像素分割后的区域信息，出输给稠密匹配的代价计算模块，作为代价值的约束之一，使得计算获得的代价值将包含更多的图像信息，从而提高了视差图效果。解决了现有技术中由于图像处理稠密匹配方法出现局部偏差而导致的图像处理准确度的问题。

除了上述方法，本发明还提供一种基于超像素的稠密匹配系统，用于实施如上所述的方法，在一种具体实施方式中，如图4所示，所述系统包括：

预处理单元100，用于获取双目相机的原始图像，并对所述原始图像进行预处理；

代价值计算单元200，用于对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；

结果输出单元300，用于将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。

其中，所述代价值计算单元具体用于：

获取并记录超像素区域坐标值；具体地，创建m×n大小的容器，m×n对应于图像的每个像素点；其中，m和n分别为图像的宽度和高度，m×n等于图像总像素点数量。

根据已获得的超像素区域，对代价值进行融合；对P点的k个代价值依次进行融合，融合的空间范围是P点容器内存储的所有坐标点，融合的数据是这个代价值所在层，对应的P点容器内所有点的代价值，求取这些数值的均值，替换P点在该层的原有代价值。

遍历所述超像素区域内的所有点的坐标值，并进行代价值融合，得到最终代价值数据。

在上述具体实施方式中，本发明所提供的基于超像素的稠密匹配系统，通过获取双目相机的原始图像，并对所述原始图像进行预处理；对经过预处理的图像进行超像素分割，并获取分割后的区域信息，基于所述区域信息得到被测物体轮廓信息的权重，结合所述权重进行代价值计算；将经过代价值计算的图像依次进行代价值聚合、视差计算和滤波后，得到被测物体匹配后的视差值。从而将超像素分割后的区域信息，出输给稠密匹配的代价计算模块，作为代价值的约束之一，使得计算获得的代价值将包含更多的图像信息，从而提高了视差图效果。解决了现有技术中由于图像处理稠密匹配方法出现局部偏差而导致的图像处理准确度的问题。

本发明还提供一种智能终端，所述智能终端包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如上所述的方法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，所述一个或多个程序指令用于被一种双目相机深度标定系统执行如上所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。