一种基于图像背景和空间位置的显著区域检测方法

摘要

本发明提供一种基于图像背景和空间位置的显著区域检测方法，方法主要包括如下步骤：对目标图像进行M种尺度的超像素分层分割，得到M层目标子图像；超像素块特征向量提取，提取超像素块的颜色特征和纹理特征；背景超像素块聚类；利用空间位置和与背景超像素差异对每个超像素块进行显著性计算；多尺度超像素块显著性融合。优点为：本发明所述方法能够准确判断图像的显著区域，表现效果良好，能有效提高检测的准确率和计算效率，为应用到互联网、云计算的海量图像或视频数据的筛选和分析提供技术支持。

说明书

技术领域

本发明属于图像显著性区域检测技术领域，具体涉及一种基于图像背景和空间位置的显著区域检测方法。

背景技术

从推动高级智能机器人研发的角度来说，显著区域检测能够使智能机器人从同一时间接收到的大量视频数据中，筛选出与当前任务最相关的部分进行处理。这可以有效模拟人类视觉感知的指向性和集中性，为完成智能任务奠定基础。从促进视觉领域智能应用的角度来说，将显著区域检测方法应用到互联网、云计算的海量图像或视频数据的筛选和分析中，能有效提高检测的准确率和计算效率；应用到侦察机、视频监控领域，可为目标识别、热点追踪等算法提供前期重点区域标记，提高相关算法的计算效率；应用到图像或视频传输领域，可对图像或视频上的重点区域有针对性的进行压缩，提高图像或视频传输的效率。此外，显著区域检测方法还可广泛应用于路径导航、无人机等其它领域。

近年来，众多学者提出了许多用于在图像中检测显著性区域或目标的方法。为提高计算效率并忽略图像中一些不必要的细节，这些方法大多首先提取图像的感知同质元素，如超级像素、区域(当然也有直接使用像素的方法)，然后计算它们的局部对比性、全局对比性或稀疏噪声以获得每个感知同质元素的显著性值，最后进行整合来分割整个显著目标。从近年来的研究趋势来看，相对于局部对比性，全局线索由于其可在相似图像区域上分配有对比性的显著值而更受关注。

名称为“一种视频显著性区域检测方法及系统”、公开号为CN 104424642 A的专利公开一种视频显著性区域检测方法及系统，通过分别获得像素级的静态显著性特征、局部区域级的静态显著性特征、局部区域级的动态显著性特征、全局级的静态显著性特征和全局级的动态显著性特征，利用视频帧之间的相关性对该视频显著性特征进行调制，基于调制后的视频显著性特征，采用3D-MRF设置视频帧的视频显著性区域，然后利用Graph-cuts选择最优的视频显著性区域，对视频显著性区域进行分割。该方法应用显著区域检测的互补性先验来提高算法的性能，但是当图像的边界区域不能良好描述背景时，如边框区域特征差异较大时，把整个边框放在一起计算背景特征，这种方法对背景特征的计算不准确。

名称为“一种显著性区域的检测方法”的专利公开了一种显著性区域的检测方法，其将参与差异性对比计算的基本元素定义为区域，使之与最终的检测结果在同一量级，从而提高了显著性区域检测的效率。但是该发明只是应用了颜色空间转换和图分割等局部对比度，当图像目标不明显时，效果不好。

名称为“一种深度学习的图像显著性区域检测方法”的专利公开了一种深度学习的图像显著性区域检测方法，通过将深度学习下不同网络层的结果进行结合，得到图像在不同尺度下的特征，从而得到更好的检测性能；同时利用图像分割进行超像素阈值学习。但是该发明提出的方法受其训练集的图像类别(复杂背景或简单背景，包含单一目标或多个目标)和数量影响，这种方法容易出现过度适用风险，当图像类别发生变化时可能会表现不好。

由此可见，上述各类图像显著性区域检测方法，均具有一定的使用局限性，从而导致检测的准确率不高，检测的算法过于复杂。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于图像背景和空间位置的显著区域检测方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于图像背景和空间位置的显著区域检测方法，包括以下步骤：

步骤1，对目标图像进行M种尺度的超像素分层分割，其中，M为尺度的总层数，得到M层目标子图像；每层目标子图像由多个超像素块组成；

步骤2，对于每层目标子图像，均执行以下步骤2.1-步骤2.3：

步骤2.1，提取目标子图像中每个超像素块的特征向量，得到超像素块特征向量；

步骤2.2，将目标子图像的边框区域当作图像背景，属于图像背景的超像素块称为背景超像素块；

对背景超像素块进行聚类，得到n个聚类，分别为：第1个聚类，第2个聚类…第n个聚类；第1个聚类的聚类中心特征向量为B₁，第2个聚类的聚类中心特征向量为B₂，依此类推，第n个聚类的聚类中心特征向量为B_n，因此，聚类中心特征向量B＝{B₁,B₂，…，B_n}；

步骤2.3，对于目标子图像的每个超像素块，表示为超像素块p，均采用下式计算超像素块p的显著性值s：

其中：

其中：

D(p,B_i)表示超像素块p和第i个聚类的聚类中心特征向量B_i之间的距离，i＝{1,2，…，n}；σ代表尺度因子；

w为权值，用于衡量超像素块p与本层目标子图像中心点间的距离，(x,y)表示超像素块p的中心点坐标，(x',y')表示本层目标子图像的中心点坐标；

由此计算得到每层目标子图像的每个超像素块的显著性值；

步骤3，多尺度超像素块显著性融合，得到最终的显著性图，并在显著性图上检测到显著性区域，具体包括：

步骤3.1，计算融合后显著性图上任意像素点j的显著性值:

像素点j的显著性值s_j是其在所有尺度下位于对应的超像素块的显著性值的平均值，即：

其中：s_l是像素点j位于第l层目标子图像的超像素块的显著性值；

步骤3.2，所有像素点j的显著性值形成图像显著性图，在显著性图上，超过设定阈值的区域即为最终检测到的显著性区域。

优选的，步骤1中，采用SLIC算法对目标图像进行M种尺度的超像素分层分割。

优选的，步骤2.1中，提取目标子图像中每个超像素块的特征向量，具体为：提取每个超像素块的颜色特征和纹理特征，每个超像素块的特征向量包括：RGB平均值的3个分量、RGB直方图的256个分量、HSV平均值的3个分量、HSV直方图的256个分量、Lab平均值的3个分量、Lab直方图的256个分量和LM滤波器响应的48个分量。

优选的，步骤2.2中，对背景超像素块进行聚类，具体为，采用改进K-Means聚类算法对背景超像素块进行聚类。

优选的，采用改进K-Means聚类算法对背景超像素块进行聚类，具体包括：

步骤2.2.1，设定改进的K-means聚类算法的初始聚类数为z，即最后聚类得到z个聚类数；

步骤2.2.2，使用K-means聚类算法进行初始聚类，得到若干个初始聚类；在初始聚类时，采用以下方法计算任意两个超像素块的距离：

对于目标子图像中任意两个超像素块，分别记为超像素块u和超像素块v；

设提取目标子图像中超像素块u的RGB平均值为f₁^u，RGB直方图为HSV平均值为HSV直方图为Lab平均值为Lab直方图为LM滤波器响应为

设提取目标子图像中超像素块v的RGB平均值为f₁^v，RGB直方图为HSV平均值为HSV直方图为Lab平均值为Lab直方图为LM滤波器响应为

超像素块u和超像素块v之间的距离D(u,v)为：

其中：N(●)表示归一化；

表示超像素块u和超像素块v之间的第a个特征的距离；

其中，a＝1,3,5,7,分别代表RGB平均值特征，HSV平均值特征，Lab平均值特征和LM滤波器响应特征；m为各特征的维度总数，e为各特征的维度数量参数，对于RGB平均值特征，其维度为3；对于HSV平均值特征，其维度为3；对于Lab平均值特征，其维度为3；对于LM滤波器响应特征，其维度为48；是超像素块u的第a个特征的第e个维度分量；是超像素块v的第a个特征的第e个维度分量；

表示超像素块u和超像素块v之间的第c个特征的距离；其中，c＝2,4,6，分别代表RGB直方图、HSV直方图和Lab直方图；b为直方图区间个数；d为直方图区间数量参数；是超像素块u的第c个特征的第d个直方图值；是超像素块v的第c个特征的第d个直方图值；

然后计算每个初始聚类的聚类中心特征向量；将一个聚类里的所有超像素的特征分别做平均值得到聚类中心；

步骤2.2.3，选定欧式距离作为初始聚类间的相似性度量，从而计算出聚类中心之间的差异值；

步骤2.2.4，判断任意两个聚类中心的差异是否小于阈值θ；设聚类中心集合为A，则D(g,h)代表聚类中心g和聚类中心h之间的欧式距离；

步骤2.2.5，如果步骤2.2.4的结果为“是”，则聚类的个数N减1，返回步骤2.2.2重新聚类；

步骤2.2.6，如果步骤2.2.4的结果为“否”，则进入步骤2.2.7；

步骤2.2.7，记录聚类的个数和聚类中心的特征向量；

步骤2.2.8，流程结束。

本发明提供的一种基于图像背景和空间位置的显著区域检测方法具有以下优点：

本发明所述方法能够准确判断图像的显著区域，表现效果良好，能有效提高检测的准确率和计算效率，为应用到互联网、云计算的海量图像或视频数据的筛选和分析提供技术支持。

附图说明

图1为本发明提供的基于图像背景和空间位置的显著区域检测方法的整体流程示意图；

图2为本发明提供的基于图像背景和空间位置的显著区域检测方法的超像素分层分割结果示意图；

图3为本发明提供的一种改进K-means聚类算法的方法流程图；

图4为显著区域检测结果对比示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于图像背景和空间位置的显著区域检测方法，方法主要包括如下步骤：对目标图像进行M种尺度的超像素分层分割，得到M层目标子图像；超像素块特征向量提取，提取超像素块的颜色特征和纹理特征；背景超像素块聚类；利用空间位置和与背景超像素差异对每个超像素块进行显著性计算；多尺度超像素块显著性融合。本发明所述方法能够准确判断图像的显著区域，表现效果良好，能有效提高检测的准确率和计算效率，为应用到互联网、云计算的海量图像或视频数据的筛选和分析提供技术支持。

基于图像背景和空间位置的显著区域检测方法，在每层图像上进行图像背景超像素聚类，计算超像素特征向量，依据超像素空间位置，和其与背景超像素的差异，计算该超像素显著性值。最后对各层图像上超像素显著值进行融合，得到最终显著图。参考图1，包括以下步骤：

步骤1，对目标图像进行M种尺度的超像素分层分割，其中，M为尺度的总层数，得到M层目标子图像；每层目标子图像由多个超像素块组成；

本步骤中，具体采用SLIC(Simple Linear Iterative Cluster)算法对目标图像进行M种尺度的超像素分层分割。图像超像素分层分割能够模拟人眼不同视觉细胞的不同视觉粒度，以取得更良好的效果，从不同尺度上对图像上像素进行显著性判断，从而最终得到一个公平客观的显著图。综合考虑人眼特征和算法性能，可以采取3层超像素分层分割方法。

步骤2，对于每层目标子图像，均执行以下步骤2.1-步骤2.3：

步骤2.1，提取目标子图像中每个超像素块的特征向量，得到超像素块特征向量；具体的，提取每个超像素块的颜色特征和纹理特征，每个超像素块的特征向量包括：RGB平均值的3个分量、RGB直方图的256个分量、HSV平均值的3个分量、HSV直方图的256个分量、Lab平均值的3个分量、Lab直方图的256个分量和LM滤波器响应的48个分量。

步骤2.2，将目标子图像的边框区域当作图像背景，属于图像背景的超像素块称为背景超像素块；

对背景超像素块进行聚类，得到n个聚类，分别为：第1个聚类，第2个聚类…第n个聚类；第1个聚类的聚类中心特征向量为B₁，第2个聚类的聚类中心特征向量为B₂，依此类推，第n个聚类的聚类中心特征向量为B_n，因此，聚类中心特征向量B＝{B₁,B₂，…，B_n}；

一般情况下，将背景超像素块聚类至1-3个聚类集合，能够防止因图像边框超像素差别较大而引起的背景特征向量计算错误，从而给背景节点一个更准确的评价方式。

本步骤中，对背景超像素块进行聚类，具体为，采用改进K-Means聚类算法对背景超像素块进行聚类，参考图3，包括以下步骤：

步骤2.2.1，设定改进的K-means聚类算法的初始聚类数为z，即最后聚类得到z个聚类数；一般z取值为3；

步骤2.2.2，使用K-means聚类算法进行初始聚类，得到若干个初始聚类；在初始聚类时，采用以下方法计算任意两个超像素块的距离：

对于目标子图像中任意两个超像素块，分别记为超像素块u和超像素块v；

设提取目标子图像中超像素块u的RGB平均值为f₁^u，RGB直方图为HSV平均值为HSV直方图为Lab平均值为Lab直方图为LM滤波器响应为

设提取目标子图像中超像素块v的RGB平均值为f₁^v，RGB直方图为HSV平均值为HSV直方图为Lab平均值为Lab直方图为LM滤波器响应为

超像素块u和超像素块v之间的距离D(u,v)为：

其中：N(●)表示归一化；

表示超像素块u和超像素块v之间的第a个特征的距离；

其中，a＝1,3,5,7,分别代表RGB平均值特征，HSV平均值特征，Lab平均值特征和LM滤波器响应特征；m为各特征的维度总数，e为各特征的维度数量参数，对于RGB平均值特征，其维度为3；对于HSV平均值特征，其维度为3；对于Lab平均值特征，其维度为3；对于LM滤波器响应特征，其维度为48；是超像素块u的第a个特征的第e个维度分量；是超像素块v的第a个特征的第e个维度分量；

表示超像素块u和超像素块v之间的第c个特征的距离；其中，c＝2,4,6，分别代表RGB直方图、HSV直方图和Lab直方图；b为直方图区间个数；d为直方图区间数量参数；是超像素块u的第c个特征的第d个直方图值；是超像素块v的第c个特征的第d个直方图值；

然后计算每个初始聚类的聚类中心特征向量；将一个聚类里的所有超像素的特征分别做平均值得到聚类中心；

步骤2.2.3，选定欧式距离作为初始聚类间的相似性度量，从而计算出聚类中心之间的差异值；

步骤2.2.4，判断任意两个聚类中心的差异是否小于阈值θ；设聚类中心集合为A，则D(g,h)代表聚类中心g和聚类中心h之间的欧式距离；

步骤2.2.5，如果步骤2.2.4的结果为“是”，则聚类的个数N减1，返回步骤2.2.2重新聚类；

步骤2.2.6，如果步骤2.2.4的结果为“否”，则进入步骤2.2.7；

步骤2.2.7，记录聚类的个数和聚类中心的特征向量；

步骤2.2.8，流程结束。

本步骤中，背景先验基于摄影原理，将图像的四个边框区域当作图像背景对待。目前大多数使用背景先验的算法，把图像的整个边框作为背景，提取背景区域特征向量，这种方式不能有效利用图像边框背景差异。通过调查发现，许多图像边框的区域可划分成1至3个部分，且一般在3个部分以下。因此，为良好描述图像背景区域，在对图像进行超像素分割的基础上，针对图像边框背景超像素块集合，本发明使用改进k-means聚类算法，将图像四个边框上背景超像素块聚类为1至3个集合，作为图像背景区域。利用图像四个边框上的所有背景超像素块形成背景超像素块集合，提取所有超像素块的颜色特征和纹理特征来描述超像素块信息。

步骤2.3，对于目标子图像的每个超像素块，表示为超像素块p，均采用下式计算超像素块p的显著性值s：

其中：

其中：

D(p,B_i)表示超像素块p和第i个聚类的聚类中心特征向量B_i之间的距离，i＝{1,2，…，n}；σ代表尺度因子，通常取值为0.5；

w为权值，用于衡量超像素块p与本层目标子图像中心点间的距离，(x,y)表示超像素块p的中心点坐标，(x',y')表示本层目标子图像的中心点坐标；

由此计算得到每层目标子图像的每个超像素块的显著性值；

本步骤进行超像素块的显著性值的计算时，利用空间位置和与背景超像素差异对超像素块进行显著性计算，具体为：在每层目标子图像上进行背景超像素块聚类，依据超像素块空间位置，和其与背景超像素块的差异，计算该超像素块显著性值。超像素块p的显著性值为其与所有背景超像素块聚类中心差异的加权平均值，其权重和其与该层图像中心点的距离有关，距离越小，权重越大。

步骤3，多尺度超像素块显著性融合，得到最终的显著性图，并在显著性图上检测到显著性区域，具体包括：

步骤3.1，计算融合后显著性图上任意像素点j的显著性值:

像素点j的显著性值s_j是其在所有尺度下位于对应的超像素块的显著性值的平均值，即：

其中：s_l是像素点j位于第l层目标子图像的超像素块的显著性值；

步骤3.2，所有像素点j的显著性值形成图像显著性图，在显著性图上，超过设定阈值的区域即为最终检测到的显著性区域。

采用本发明提出的基于图像背景和空间位置的显著区域检测方法BSP、经典算法GR、经典算法SF分别对图4中的原始图进行显著区域检测，检测结果如图4所示，由结果示意图图4可知，本发明BSP算法的显著区域检测效果良好，明显优于经典算法GR和经典算法SF。另外，计算三种检测算法的平均绝对误差MAE和ROC曲线下面积AUC，计算结果如下表所示，从下表可以看出，BSP的MAE值低于GR和SF；BSP的AUC值高于GR和SF，由此表明，BSP方法的综合性能表现良好。

表：三种检测算法比较

本发明提供的一种基于图像背景和空间位置的显著区域检测方法，具有以下优点：

通过本发明方法，能够准确判断图像的显著区域，能有效提高检测的准确率和计算效率，为应用到互联网、云计算的海量图像或视频数据的筛选和分析提供技术支持，具有很好的应用前景。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。