基于边缘非相似性对比的图像显著性检测方法

摘要

一种基于边缘非相似性对比的图像显著性检测方法，属于图像识别领域。本发明的目的是提供一种能够很好地突出显著目标，使显著目标有很好的完整性和一致性的基于边缘非相似性对比的图像显著性检测方法。本发明的步骤是：对被检测图像进行预分割，提取预分割之后的这些超像素块的一系列特征值，计算每个超像素值的边缘非相似性和超像素对之间的最短路径，计算出每个超像素属于背景区域的概率，显著性概率值进行优化，得到最终的超像素显著值；将超像素的值赋予相应的像素点，得到最终的显著图。本发明对噪声的鲁棒性强，结果的误差小，有助于后续图像分割等应用的显著目标提取处理。

说明书

技术领域

本发明属于图像识别领域。

背景技术

随着计算机视觉领域的发展，显著目标检测技术已经成为计算式视觉领域的基本 问题，并且成为很多图像应用上的常用工具，比如图像分割，图像信息检索，目标识别，图像 压缩等等。显著目标指的是图像中的一个人或者一个事物甚至只是一个像素吸引了我们的 注意力。随着显著目标检测方向的发展，显著目标检测算法可以被分为两类：自顶向下从高 层语义入手的算法和自底向上从底层特征入手的算法，其中后者一直是显著目标检测中的 主流方法。

早期显著目标检测起源于Itti关于灵长类动物视觉系统的研究，其最出名的文章 是Amodelofsaliencybasedvisualattentionforrapidsceneanalysis，发表在 1998年的PAMI上，他最初的着眼点是对人眼关注点的预测，它是一种基于局部对比的显著 性算法，基础思想是通过背景与显著目标的对比来获得每个点的显著性值，这篇文章基本 奠定了显著度研究的基本思路，即：特征提取，归一化，特征融合，显著性计算，显著性区域 划分。

随后的很多研究都采用了这个框架，比如J.Harel,C.Koch,&P.Perona在 2006年发表于AdvancesinNeuralInformationProcessingSystems的文章“Graph- basedvisualsaliency”。它仍采用Itti的特征提取方式，但是综合阶段使用的不是线性 组合而是马尔科夫随机场，获得了比Itti更好的效果。XiaodiHou,JonathanHareland ChristofKoch在2012年发表于PAMI的论文“ImageSignature:HighlightingSparse SalientRegions”则是定义了一种新的底层特征提取方法，计算saliency的过程仍采用马 尔科夫随机场。

然而，通过实验我们发现，基于全局或者局部对比的显著性算法有着很大的局限 性和不稳定性，通过不同的基于对比的算法的实验，我们看到他们的结果有很大的差异，对 于同样一副图片不同的算法提取出不同的显著目标。出现这个结果的原因在于对显著性缺 乏有效的定义，单纯依靠对比不能得出优秀的结果。基于对比的方法应该提取更多不是基 于对比的特征来指导显著度的计算。

近几年Y.Wei,F.Wen,W.Zhu,J.Sun发表于ECCV2012的论文“Geodesic saliencyusingbackgroundpriors”（以下简称GS算法）和C.Yang,L.Zhang,H.Lu, X.Ruan,M.-H.Yang发表于CVPR2013的论文“Saliencydetectionviagraph-based manifoldranking”（以下简称MR算法）探讨了基于图像边缘特征的显著目标提取算法，通 过实验，他们取得了良好的效果，证明了基于图像边缘特征的显著目标提取算法的可行性， 我们发现他们的算法也有以下两个缺点：1，GS算法只考虑了每个超像素到边缘超像素的最 短路径，只用到一个边缘超像素来决定当前超像素块的显著度值，而其他边缘超像素的影 响被忽略了；2，MR算法虽然考虑了所有的边缘超像素，但是他将所有的边缘超像素分成上 下左右四个方向来计算显著性，破坏了原本完整的边缘信息，不利于更好地计算每块超像 素的显著性。

发明内容

本发明的目的是提供一种能够很好地突出显著目标，使显著目标有很好的完整性 和一致性的基于边缘非相似性对比的图像显著性检测方法。

本发明的步骤是：

（1）对被检测图像进行预分割，利用超像素算法，将它分割成一系列紧密均匀的超像素 块，每个超像素块都有一定的完整性和一致性；

（2）提取预分割之后的这些超像素块的一系列特征值，包括边缘超像素的序号，超像素 的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间 的距离，超像素对在源图像上的欧几里得几何距离；

（3）根据上一步的超像素的特征值计算每个超像素值的边缘非相似性和超像素对之间 的最短路径；

（4）融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于 背景区域的概率；

（5）通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的 超像素显著值；

（6）将超像素的值赋予相应的像素点，得到最终的显著图。

本发明的步骤（1）所述对待检测图像进行超像素分割，具体为采用SLIC算法，步骤 是：

（1-1）将待检测图像从RGB空间转换到CIELab色彩空间；

（1-2）SLIC最主要的两个参数是compactness和spNumber，compactness的范围为[10, 40]，pixelNumber的范围为[200,600]，假设源图像大小为H*W，则

（1-3）利用SLIC算法将图像分割成N≈spNumber个超像素。因为考虑到算法性能还有最 终效果的问题，最后分割成的超像素的个数和每块超像素内部所拥有的像素数和设定有略 微的差别。

本发明的步骤（2）所述提取预分割之后的超像素块的一系列特征值，包括边缘超 像素的序号，超像素的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标， 超像素对在LAB空间的距离，超像素对在源图像上的距离；其具体步骤如下：

（2-1）计算边缘超像素的序号通过遍历所有的超像素，检查他们是否含有边缘像素点 来得到；

（2-2）计算超像素的邻接矩阵，通过检查每个像素点的邻接像素点所属的超像素编号 来确定超像素之间的邻接性；

（2-3）超像素在LAB色彩空间的平均颜色值通过计算每个超像素块内部所有像素值的 平均值来确定；

（2-4）超像素的中心位置坐标通过超像素块内部所有超像素的坐标的平均值进行计 算；

（2-5）超像素对在LAB空间的距离通过计算这两个超像素的LAB色彩空间的平均颜色值 的欧几里得距离来确定，假设两个超像素a和b的LAB色彩空间平均颜色值为（L_a,A_a,B_a)和 （L_b,A_b,B_b）：

（2-6）超像素对在源图像上的距离是他们中心位置坐标的欧几里得距离

。

本发明的步骤（3）所述计算每个超像素块的边缘非相似性值和超像素对之间的最 短路径，将预分割之后的图像看做无向图，G=(V,E)，其中G表示这个无向图，V表示无向图的 结点，每个结点对应一个超像素，E表示相邻超像素也即相邻结点之间的权值，相邻超像素 权值由以下公式确定：

则这两项特征的计算步骤如下：

（3-1）超像素的边缘非相似性值：

（3-2）超像素对之间的最短路径：

。

本发明的步骤（4）所述融合超像素不相似性和到边缘超像素的最短路径长度值， 计算出每个超像素属于背景区域的概率，融合的公式如下，其中第一项为到边缘超像素的 最短路径长度值，具体为：

将超像素的SD值标准化得到每个超像素的显著目标概率：

同时，每个超像素的背景概率则是：

。

本发明的步骤（5）所述通过我们建立的最优化方法对暂时计算出的显著性概率值 进行优化，得到最终的超像素显著值，我们建立关于最终显著度值的最优化方程：

将关于N块超像素的最优化方程融合在一起写成矩阵的形式则是：

解这个最优化方程我们可以得到S^*作为最终的显著度值：

。

本发明的步骤（6）所述将超像素的值赋予相应的像素点，得到最终的显著图，对于 上一步得到的S*，将它归一化到[0,1]，每个像素点的显著值就是其对应的超像素的显著度 的归一化的值，最终得到显著图。

本发明对噪声的鲁棒性强，结果的误差小，有助于后续图像分割等应用的显著目 标提取处理。具有以下优点和有益效果：

（1）本发明创造性地提出了一种基于边缘非相似性对比的图像显著性检测的具体可行 的方法，得到的最终显著图考虑了图像的色彩和位置信息，利用绝大多数边缘点属于背景 区域的先验知识，均匀地突出显著区域，很好地抑制了噪声的干扰，对复杂图像也有很好的 效果。

（2）本发明完整地利用了边缘超像素的信息，摒弃了只利用边缘超像素的一部分 或者将边缘信息分成多次进行统计的办法，我们在认识到边缘超像素更多属于背景的同 时，将当前超像素与所有边缘超像素对比得到边缘非相似性，并且突出当前超像素到边缘 超像素的最短路径，得到了更优秀的效果。

（3）本发明创造性地提出了一种最优化方案，我们将显著性的运算过程看做计算 每个点属于显著目标的概率问题，通过一种类似最小二乘的最优化算法，使得目标区域的 概率值更大，而背景区域的概率值更小，从而更好地突出了图像上的显著目标。

（4）本发明利用超像素而不是单个像素点作为计算单元，极大地减少了运算量，近 似将单个超像素下O(n^2k)的计算方法减少到O(n^k)，其中n代表源图像的像素总数。

（5）本发明由于采用了内聚性，内部完整性和内部一致性较好的超像素作为基本 计算单位，很好地保证了显著目标的完整性和一致性，使得最终显著图更均匀，显著目标更 突出。

附图说明

图1是本发明的实施例的基于边缘非相似性对比的图像显著性检测的工作流程 图；

图2是本发明的实施例的边缘非相似度和当前超像素到边缘超像素最短路径的示例 图；

图3是本发明的实施例的待检测源图像；

图4是本发明的实施例的经过计算边缘非相似性后的显著性图像；

图5是本发明的实施例的融合边缘非相似性和到边缘超像素最短路径值的显著性图 像；

图6是本发明的实施例的经过最优化的最终显著度图像；

图7是本发明的实施例的理想显著图；

图8是本发明与现有十三种算法的直观比较图；

图9是本发明与现有十三种算法的Precision值；

图10是本发明与现有十三种算法的Recall值；

图11是本发明和现有十三种算法的MAE值；

图12是本发明和现有十三种算法的F-measure（beta=1）值；

图13是本发明和现有十三种算法的F-measure（beta=0.3）值。

具体实施方式

本发明的步骤是：

（1）对被检测图像进行预分割，利用超像素算法，将它分割成一系列紧密均匀的超像素 块，每个超像素块都有一定的完整性和一致性；

（2）提取预分割之后的这些超像素块的一系列特征值，包括边缘超像素的序号，超像素 的邻接矩阵，超像素在LAB空间的平均颜色值，超像素的中心位置坐标，超像素对在LAB空间 的距离，超像素对在源图像上的欧几里得几何距离；

（3）根据上一步的超像素的特征值计算每个超像素值的边缘非相似性和超像素对之间 的最短路径；

（4）融合超像素不相似性和到边缘超像素的最短路径长度值，计算出每个超像素属于 背景区域的概率；

（5）通过我们建立的最优化方法对暂时计算出的显著性概率值进行优化，得到最终的 超像素显著值；

（6）将超像素的值赋予相应的像素点，得到最终的显著图。

本发明的步骤（1）所述对待检测图像进行超像素分割，具体为采用SLIC算法，步骤 是：

（1-1）将待检测图像从RGB空间转换到CIELab色彩空间；

（1-2）SLIC最主要的两个参数是compactness和spNumber，其中compactness，其中G表 示这个无向图，V表示无向图的结点，每个结点对应一个超像素，E表示相邻超像素也即相邻 结点之间的权值，相邻超像素权值由以下公式确定：

则这两项特征的计算步骤如下：

（3-1）超像素的边缘非相似性值：

（3-2）超像素对之间的最短路径：

。

超像素的边缘非相似性的计算结果如图3所示。

我们通过实验发现超过98%的边缘像素属于背景区域，如果我们利用这个先验知 识进行显著目标检测将会有很好的效果，我们将每个超像素与边缘超像素进行比较，如果 这个非相似性越高就说明这块超像素与图像背景的非相似性就越高，也就具有更高的显著 度值，随后我们考虑到距离当前超像素最近的边缘超像素对于当前超像素属于显著目标的 概率有更大的影响，我们对每块超像素找到它到边缘超像素的最短路径。

本发明的步骤（4）所述融合超像素不相似性和到边缘超像素的最短路径长度值， 计算出每个超像素属于背景区域的概率，融合的过程如图4所示，融合的公式如下，其中第 一项为到边缘超像素的最短路径长度值，具体为：

将超像素的SD值标准化得到每个超像素的显著目标概率：

同时，每个超像素的背景概率则是：

。

由于边缘的非相似性和到边缘超像素的最短路径长度这两种度量不是相同的单 位，所以他们的融合采用乘法更为合适。由于求显著性值的过程就是对每块超像素属于显 著目标的概率进行度量，所以我们将计算得到的SD值标准化到[0,1]得到超像素属于显著 目标的概率。这一步的结果如图5所示。

本发明的步骤（5）所述通过我们建立的最优化方法对暂时计算出的显著性概率值 进行优化，得到最终的超像素显著值，我们建立关于最终显著度值的最优化方程：

将关于N块超像素的最优化方程融合在一起写成矩阵的形式则是：

解这个最优化方程我们可以得到S^*作为最终的显著度值：

。

在这个最优化公式中一共有三项，第一项的目的是使显著目标区域的概率值接近 于1，第二项的目的是使背景区域的概率值更接近0，第三项属于平滑项，用来平滑相近的超 像素之间的不平滑的过渡，使图像看起来更均匀，显著目标区域的一致性和完整性更强，一 定程度上也能抑制噪声。

本发明的步骤（6）所述将超像素的值赋予相应的像素点，得到最终的显著图，对于 上一步得到的S*，将它归一化到[0,1]，每个像素点的显著值就是其对应的超像素的显著度 的归一化的值，最终得到显著图。

本实施得到的示例图像的最终显著图如图6所示。图7为微软研究院标准的理想显 著图，其中白色区域为显著区域，通过比较图6和图7我们发现我们的结果与理想显著图相 吻合，误差较小，本发明有着良好的显著性检测效果。本实施例得到的最终结果是灰度显著 图，可以归一化到[0,1]区间或者[0,255]区间方便显示和存储。最终显著图综合考虑了颜 色和位置信息，结合边缘像素点的先验知识，均匀地突出了显著目标区域，保证了显著目标 的完整性和一致性，对噪声有着很高的鲁棒性，达到了理想的效果。

上述实施例为本发明较好的实施方式，但本发明实施方式不受所述实施例的限 制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均 应为等效的置换方式，都包含在本发明的保护范围之内。

实践例1：和其他十三种算法的比较

主要和以下13种算法进行了比较：IT,GB,MZ,SR,AC,IG,SIM,GS,SF,ES,MR, SA,LR这些算法来源如下：

IT：Amodelofsaliencybasedviauslattentionforrapidsceneanalysis, 1998

MZ：Contrast-basedimageattentionanalysisbyusingfuzzygrowing,2003

GB：graphbasedsaliencydetection，2007

SR:saliencydetection:aspectralresidualapproach,cvpr2007

AC:salientregiondetectionandsegmentation,icvs2008

IG：frequencytunedsaliencydetection，cvpr2009

SIM:saliencyestimationusinganon-parametriclow-levelvisionmodel, cvpr2011

GS：geodesicsaliencydetection，cvpr2012

SF:saliencyfilters:contrastbasedfilteringforsalientregion detection,cvpr2012

ES:EfficientSalientRegionDetectionwithSoftImageAbstraction,ICCV 2013

MR:saliencydetectionviagraphbasedmanifoldranking,cvpr2013

SA:SaliencyAggregationAData-drivenApproach,cvpr2013

LR:Aunifiedapproachtosalientobjectdetectionvialowrankmatrix recovery,cvpr2012。

直观比较：（见图8）

从左到右为源图像，IT,GB,MZ,SR,AC,IG,SIM,GS,SF,ES,MR,SA,LR，我们 的算法产生的图像，标准显著图可以看出本发明算法十分接近标准显著图，直观效果在这 些方法中最为突出。保证了显著目标的完整性和一致性，最终图像的噪声比较小，与标准显 著图的误差也比较小。

实践例2：Precision和Recall

Precision和Recall分别代表查准率和查全率，这两项数值越高就意味着算法的精确 度越高，利用自适应阈值分割的Precision和Recall数值由以下步骤得到：

1，将显著图标准化到[0,255]之间；

2，通过自适应阈值分割显著图得到二值图像；

3，将这个二值图像与标准显著图对比来得到一对PR值。

自适应阈值Thresh由以下公式得到：

这13种方法和本申请算法的自适应阈值的Precision和Recall统计表和图9和图10如 下：

从图中可以看出，无论是查全率还是查准率，本算法都比其他方法要优秀。

实践例3：MAE值

MAE(Meanabsoluteerror)指的是显著图和标准显著图之间的误差，这个值越小代表 显著图越接近标准结果。（图11）

可以看出本发明的MAE值在这些算法中是最小的，也即本发明结果最贴近标准结果。认 为显著度的计算的最终结果就是要尽可能的产生一副可以用于显著目标分割的二值图像， 因为一般的显著性算法的应用就是用这种方法来提取显著目标。通过一系列的最优化过程 将显著区域的概率变得更接近1而背景区域的概率值更接近0，从而得到最终的显著图，就 可以达到这种目的。

实践例4：F-measure

F-measure测评方法是从Precision和Recall发展出来的，他是综合考虑Precision和 Recall的一种度量。得到F-measure参数需要我们将显著图通过自适应阈值分割算法进行 二值化变成黑白图像。然后与标准显著图进行比较得到相应的P，R和F值。相应的F值越大， 代表算法的结果越优秀。（图12和图13）

从图中可以看出，两种常用的β值下的F-measure参数都有很好的效果。证明了本发明 的有效性。

本发明之所以能取得较好的结果主要是因为本算法保证在算法的进行中坚持以 下几条显著性计算当中必须坚守的准则：

1，显著图必须与源图像有相同的分辨率和大小，如果我们想将显著图应用到实际当 中，而又不损失图像的高频细节，就必须坚持这一原则，本算法提取特征的方法直接从源图 像中提取而不是通过建立高斯金字塔的方式，这样就能保证特征图的分辨率和源图像一 致，最终保证显著图的分辨率和大小与源图像一致。

2，必须保证显著目标的完整性和一致性，只有完整的目标才有实际意义，一个残 缺的目标不利于下一步的识别。而目标内部的一致性也保证了目标被下一步处理的准确 性。我们的算法通过超像素的方法进行预分割，使得显著目标的完整性和一致性得到了保 障。

3，我们应当将显著目标整体都凸显出来，并且提供完整的目标边缘。我们通过计 算边缘非相似性来获得每个超像素的显著性值，这个方法使得显著目标整体都能获得较高 的显著性值，从而整体都得到了加强显示。