一种双通道颜色对比度融合的视觉显著性检测方法

摘要

本发明涉及一种双通道颜色对比度融合的视觉显著性检测方法。本发明方法首先提取输入图像的高斯尺度图像，将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。其次采用彩色变换方法，分别提取每层高斯尺度图像在CIELAB空间的三个彩色分量图，基于上述三个彩色分量图为每个像素分配基于CIELAB空间的颜色显著性值。然后采用彩色变换方法，分别提取每层高斯尺度图像在RGB空间的三个彩色分量图，基于这三个彩色分量图为每个像素分配基于RGB空间的颜色显著性值。最后将两个空间的颜色显著性值融合得到输入图像中每个像素的最终显著性值。本发明可有效克服单一颜色通道检测的局限，提高显著性检测的鲁棒性。

说明书

技术领域

本发明属于计算机视觉领域，具体来说是一种融合CIELAB颜色通道对比度特性和RGB颜色通道对比度特性的视觉显著性检测方法。

背景技术

视觉选择性注意力机制可以突破信息处理的瓶颈，使得人类可以很容易地判断局部显著性区域。在计算机视觉中，显著性提供了一种基于生物启发的人工视觉系统处理框架，实现图像处理和分析所需计算资源的优先分配。目前视觉显著性已在计算机视觉和图像处理领域引起广泛兴趣，包括图像分割，自适应压缩，图像内容编辑等。

目前视觉显著性检测模型大致分为两类。一类是基于生物启发的显著性检测方法。这类方法倾向模拟人类眼球运动，追踪眼部的关注焦点，其最终显著图往往是图像中某几个预测人眼关注的位置点或小区域，难以直接用于大多数的计算机视觉任务。

另一类是计算模型，它们通常都是以目标为显著单元，这与大多数的计算机视觉任务的目标更为一致。在大多数的计算模型中，显著目标通常定义为“相对于周围背景有充分的独特性、稀有性和不可预计性”。该定义隐含了对比度先验、背景先验，或某些高阶假设。基于对比度的显著检测模型是目前的流行方法，通过提取局部对比度特性和全局对比度特性来实现显著性检测。虽然这些方法通常也是受生物学原理启发以及基于某些生物学概念，且在近年来已获得了瞩目的成功，但它们的实现和策略往往是难以验证其合理性。特别是特征的选择和参数配置通常都需根据实验来确定。Cheng等人利用图割方法提取区域特征，并将全局对比度分析应用到显著性区域检测。但由于采取大尺度区域的图割方法，难以解决显著性区域的边缘扩散问题。Perazzi等人引入SLIC超像素分割方法，提取均匀且具边缘保持特性的超像素区域作为显著基元，提高了显著性检测精度。然而目前性能优秀的计算模型通常都在单一尺度空间下进行显著性分析，因而难以处理背景纹理复杂或目标纹理复杂的显著性检测。目前基于多尺度空间的计算模型往往面临着显著目标轮廓模糊等局限，因而召回率和精确度都难以令人满意。

发明内容

本发明针对现有技术的不足，融合CIELAB和RGB颜色通道对比度特性，提供了一种双通道颜色对比度融合的视觉显著性检测方法。

本发明方法的具体步骤如下：

步骤(1)：提取输入图像的N层高斯尺度图像，具体为：

对于输入图像                                               ，其第n层高斯尺度图像表示为：

，

其中高斯函数的方差为，均值为0；表示卷积运算。通常取，。

步骤(2)：采用SLIC超像素聚类方法，将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。具体为：

对于第n层高斯尺度图像，设定期望划分的超像素个数为，采用SLIC方法根据期望的超像素个数划分超像素区域。

步骤(3)：采用彩色变换方法，分别提取步骤(1)中每层高斯尺度图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图，具体为：

对于第n层高斯尺度图像，其l彩色分量图、a彩色分量图和b彩色分量图分别表示为、和。

步骤(4)：根据步骤(2)和步骤(3)的结果，提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色特征，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其颜色特征是由超像素区域r_ni在CIELAB空间的颜色均值矢量、超像素区域r_ni的质心坐标和超像素区域r_ni的面积率组成。

所述的超像素区域r_ni在CIELAB空间的颜色均值矢量表示为，其中为超像素区域r_ni内所有像素的l彩色分量均值，为超像素区域r_ni内所有像素的a彩色分量均值，为超像素区域r_ni内所有像素的b彩色分量均值。

所述的超像素区域r_ni的质心坐标表示为，其中为超像素区域r_ni内所有像素垂直方向坐标的均值与输入图像高度的比值，为超像素区域r_ni内所有像素水平方向坐标的均值与输入图像宽度的比值。

所述的超像素区域r_ni的面积率表示超像素区域r_ni内的像素个数与输入图像总像素的比值。

步骤(5)：根据步骤(4)结果，提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色独特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其CIELAB空间的颜色独特性表示为：

其中为超像素区域r_ni和超像素区域r_nj在CIELAB空间的颜色距离；为超像素区域r_ni和超像素区域r_nj的空间距离；为高斯函数标准差；m为第n层高斯尺度图像在步骤(2)中划分出的超像素个数。

所述的超像素区域r_ni和超像素区域r_nj在CIELAB空间的颜色距离表示为超像素区域r_ni在CIELAB空间的颜色均值矢量与超像素区域r_nj在CIELAB空间的颜色均值矢量的L2距离，具体描述为：

所述的超像素区域r_ni和超像素区域r_nj的空间距离表示为超像素区域r_ni的质心坐标与超像素区域r_nj的质心坐标的L2距离，具体描述为：

步骤(6)：根据步骤(4)结果，计算每层高斯尺度图像中每个超像素区域在CIELAB空间的空间分布特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的空间分布特性表示为：

其中为高斯函数标准差。

步骤(7)：根据步骤(5)和步骤(6)的结果，计算每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的颜色显著性值表示为：

其中为高斯函数方差。

步骤(8)：根据步骤(5)结果，对步骤(7)结果进行平滑优化，以保证在CIELAB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。

所述的CIELAB空间中颜色显著性值的平滑优化方法具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的颜色显著性值经平滑优化后结果表示为：

其中表示超像素区域r_ni在CIELAB空间的颜色独特性和超像素区域r_nj在CIELAB空间的颜色独特性的距离，为距离归一化值。

步骤(9)：为每层高斯尺度图像中的每个像素分配基于CIELAB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中像素，其在CIELAB空间的颜色显著性值表示为：

步骤(10)：为输入图像中的每个像素分配基于CIELAB空间的颜色显著性值，具体为：

对于输入图像中像素，其在CIELAB空间的颜色显著性值表示为：

其中 和 分别为像素p在图像坐标系下的水平坐标和垂直坐标。 和 分别为输入图像中心点的水平坐标和垂直坐标。 和分别为二维高斯函数的水平方差和垂直方差，分别取值为输入图像宽度的一半和高度的一半。

步骤(11)：采用彩色变换方法，分别提取每层高斯尺度图像在RGB空间的R彩色分量图、G彩色分量图和B彩色分量图，具体为：

对于第n层高斯尺度图像，其R彩色分量图、G彩色分量图和B彩色分量图分别表示为、和。

步骤(12)：根据步骤(2)和步骤(11)的结果，提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色特征，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其颜色特征是由超像素区域r_ni在RGB空间的颜色均值矢量、超像素区域r_ni的质心坐标和超像素区域r_ni的面积率组成。

所述的超像素区域r_ni在RGB空间的颜色均值矢量表示为，其中为超像素区域r_ni内所有像素的R彩色分量均值，为超像素区域r_ni内所有像素的G彩色分量均值，为超像素区域r_ni内所有像素的B彩色分量均值。

步骤(13)：根据步骤(12)结果，提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色独特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色独特性表示为：

                 

其中为超像素区域r_ni和超像素区域r_nj在RGB空间的颜色距离。

所述的超像素区域r_ni和超像素区域r_nj在RGB空间的颜色距离表示为超像素区域r_ni在RGB空间的颜色均值矢量与超像素区域r_nj在RGB空间的颜色均值矢量的L2距离，具体描述为：

步骤(14)：根据步骤(12)结果，计算每层高斯尺度图像中每个超像素区域在RGB空间的空间分布特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色空间分布特性表示为：

步骤(15)：根据步骤(13)和步骤(14)的结果，计算每层高斯尺度图像中每个超像素区域在RGB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色显著性值表示为：

步骤(16)：根据步骤(13)结果，对步骤(15)结果进行平滑优化，以保证在RGB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。

所述的RGB空间中颜色显著性值的平滑优化方法具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色显著性值经平滑优化后结果表示为：

其中表示超像素区域r_ni在RGB空间的颜色独特性和超像素区域r_nj在RGB空间的颜色独特性的距离，为距离归一化值。

步骤(17)：为每层高斯尺度图像中的每个像素分配基于RGB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中像素，其在RGB空间的颜色显著性值表示为：

步骤(18)：为输入图像中的每个像素分配基于RGB空间的颜色显著性值，具体为：

对于输入图像中像素，其在RGB空间的颜色显著性值表示为：

步骤(19)：根据步骤(10)和步骤(18)的结果，计算输入图像中每个像素的最终显著性值，具体为：

对于输入图像中像素，其最终颜色显著性值表示为：

其中和分别为基于CIELAB空间颜色显著性值和基于RGB空间颜色显著性值的融合权重。

本发明提供了一种双通道颜色对比度融合的视觉显著性检测方法。该方法融合了CIELAB颜色通道的颜色对比度显著特性和RGB颜色通道的颜色对比度显著特性，可有效克服单一颜色通道检测的局限，提高显著性检测的鲁棒性。同时该方法融合了不同尺度图像的显著性区域特性，可有效解决单一尺度图像的显著性检测中难以处理背景纹理复杂或目标纹理复杂的问题。该方法可在保持高精度的同时，提高了对显著目标像素的召回率，并且显著目标区域的显著值分布均匀高亮。

附图说明

图1为本发明中的方法流程图；

图2为本发明方法与现有方法的显著性检测结果图像比较；

图3为召回率-精确度曲线的比对图；

图4为平均绝对误差比较图。

具体实施方式

以下结合附图对本发明作进一步说明。

 如图1所示，一种双通道颜色对比度融合的视觉显著性检测方法具体步骤如下：

步骤(1)：提取输入图像的N层高斯尺度图像，具体为：

对于输入图像，其第n层高斯尺度图像表示为：

，

其中高斯函数的方差为，均值为0；表示卷积运算。通常取，。

步骤(2)：采用SLIC超像素聚类方法，将每层高斯尺度图像划分为多个互不相交且区域面积近似相等的超像素区域。具体为：

对于第n层高斯尺度图像，设定期望划分的超像素个数为，采用SLIC方法根据期望的超像素个数划分超像素区域。

步骤(3)：采用彩色变换方法，分别提取步骤(1)中每层高斯尺度图像在CIELAB空间的l彩色分量图、a彩色分量图和b彩色分量图，具体为：

对于第n层高斯尺度图像，其l彩色分量图、a彩色分量图和b彩色分量图分别表示为、和。

步骤(4)：根据步骤(2)和步骤(3)的结果，提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色特征，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其颜色特征是由超像素区域r_ni在CIELAB空间的颜色均值矢量、超像素区域r_ni的质心坐标和超像素区域r_ni的面积率组成。

所述的超像素区域r_ni在CIELAB空间的颜色均值矢量表示为，其中为超像素区域r_ni内所有像素的l彩色分量均值，为超像素区域r_ni内所有像素的a彩色分量均值，为超像素区域r_ni内所有像素的b彩色分量均值。

所述的超像素区域r_ni的质心坐标表示为，其中为超像素区域r_ni内所有像素垂直方向坐标的均值与输入图像高度的比值，为超像素区域r_ni内所有像素水平方向坐标的均值与输入图像宽度的比值。

所述的超像素区域r_ni的面积率表示超像素区域r_ni内的像素个数与输入图像总像素的比值。

步骤(5)：根据步骤(4)结果，提取每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色独特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其CIELAB空间的颜色独特性表示为：

其中为超像素区域r_ni和超像素区域r_nj在CIELAB空间的颜色距离；为超像素区域r_ni和超像素区域r_nj的空间距离；为高斯函数标准差；m为第n层高斯尺度图像在步骤(2)中划分出的超像素个数。

所述的超像素区域r_ni和超像素区域r_nj在CIELAB空间的颜色距离表示为超像素区域r_ni在CIELAB空间的颜色均值矢量与超像素区域r_nj在CIELAB空间的颜色均值矢量的L2距离，具体描述为：

所述的超像素区域r_ni和超像素区域r_nj的空间距离表示为超像素区域r_ni的质心坐标与超像素区域r_nj的质心坐标的L2距离，具体描述为：

步骤(6)：根据步骤(4)结果，计算每层高斯尺度图像中每个超像素区域在CIELAB空间的空间分布特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的空间分布特性表示为：

其中为高斯函数标准差。

步骤(7)：根据步骤(5)和步骤(6)的结果，计算每层高斯尺度图像中每个超像素区域在CIELAB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的颜色显著性值表示为：

其中为高斯函数方差。

步骤(8)：根据步骤(5)结果，对步骤(7)结果进行平滑优化，以保证在CIELAB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。

 所述的CIELAB空间中颜色显著性值的平滑优化方法具体为：

 对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在CIELAB空间的颜色显著性值经平滑优化后结果表示为：

其中表示超像素区域r_ni在CIELAB空间的颜色独特性和超像素区域r_nj在CIELAB空间的颜色独特性的距离，为距离归一化值。

 步骤(9)：为每层高斯尺度图像中的每个像素分配基于CIELAB空间的颜色显著性值，具体为：

 对于第n层高斯尺度图像中像素，其在CIELAB空间的颜色显著性值表示为：

步骤(10)：为输入图像中的每个像素分配基于CIELAB空间的颜色显著性值，具体为：

对于输入图像中像素，其在CIELAB空间的颜色显著性值表示为：

其中 和 分别为像素p在图像坐标系下的水平坐标和垂直坐标。 和 分别为输入图像中心点的水平坐标和垂直坐标。 和分别为二维高斯函数的水平方差和垂直方差，分别取值为输入图像宽度的一半和高度的一半。

步骤(11)：采用彩色变换方法，分别提取每层高斯尺度图像在RGB空间的R彩色分量图、G彩色分量图和B彩色分量图，具体为：

对于第n层高斯尺度图像，其R彩色分量图、G彩色分量图和B彩色分量图分别表示为、和。

步骤(12)：根据步骤(2)和步骤(11)的结果，提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色特征，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其颜色特征是由超像素区域r_ni在RGB空间的颜色均值矢量、超像素区域r_ni的质心坐标和超像素区域r_ni的面积率组成。

所述的超像素区域r_ni在RGB空间的颜色均值矢量表示为，其中为超像素区域r_ni内所有像素的R彩色分量均值，为超像素区域r_ni内所有像素的G彩色分量均值，为超像素区域r_ni内所有像素的B彩色分量均值。

步骤(13)：根据步骤(12)结果，提取每层高斯尺度图像中每个超像素区域在RGB空间的颜色独特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色独特性表示为：

                 

其中为超像素区域r_ni和超像素区域r_nj在RGB空间的颜色距离。

所述的超像素区域r_ni和超像素区域r_nj在RGB空间的颜色距离表示为超像素区域r_ni在RGB空间的颜色均值矢量与超像素区域r_nj在RGB空间的颜色均值矢量的L2距离，具体描述为：

步骤(14)：根据步骤(12)结果，计算每层高斯尺度图像中每个超像素区域在RGB空间的空间分布特性，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色空间分布特性表示为：

步骤(15)：根据步骤(13)和步骤(14)的结果，计算每层高斯尺度图像中每个超像素区域在RGB空间的颜色显著性值，具体为：

对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色显著性值表示为：

 步骤(16)：根据步骤(13)结果，对步骤(15)结果进行平滑优化，以保证在RGB空间中颜色独特性值近似的两个相邻超像素区域间颜色显著性值的连续平滑。

 所述的RGB空间中颜色显著性值的平滑优化方法具体为：

 对于第n层高斯尺度图像中的第i个超像素区域r_ni，其在RGB空间的颜色显著性值经平滑优化后结果表示为：

其中表示超像素区域r_ni在RGB空间的颜色独特性和超像素区域r_nj在RGB空间的颜色独特性的距离，为距离归一化值。

 步骤(17)：为每层高斯尺度图像中的每个像素分配基于RGB空间的颜色显著性值，具体为：

 对于第n层高斯尺度图像中像素，其在RGB空间的颜色显著性值表示为：

步骤(18)：为输入图像中的每个像素分配基于RGB空间的颜色显著性值，具体为：

对于输入图像中像素，其在RGB空间的颜色显著性值表示为：

 步骤(19)：根据步骤(10)和步骤(18)的结果，计算输入图像中每个像素的最终显著性值，具体为：

 对于输入图像中像素，其最终颜色显著性值表示为：

 其中和分别为基于CIELAB空间颜色显著性值和基于RGB空间颜色显著性值的融合权重。

 采用目前通用的1000幅数据库及其真值图^[2]测试本发明方法的性能。

 如图2所示，本发明方法的显著性检测结果说明如下：第一列为输入图像，第二列为步骤10中得到的CIELAB空间的颜色显著性值，第三列为步骤18中得到的RGB空间的颜色显著性值，第四列为步骤19中得到的最终颜色显著性值，第五列为人工标记的正确视觉显著性区域。

 如图3所示，本发明方法与近期最好的四种方法在召回率-精确度曲线的比对说明如下：CM表示本发明方法；SF表示F. Perazzi 等人提出的显著性滤波方法；HC为M.-M. Cheng等人提出的基于直方图的全局对比度显著性检测方法；RC为M.-M. Cheng等人提出的基于区域的全局对比度显著性检测方法； LR为X. Shen等人提出的基于低阶矩阵的显著性检测方法。本发明方法得到的召回率-精确度曲线明显高于其他方法。

如图4所示，采用与文献相同的平均绝对误差计算方法，本发明方法与现有12种方法的平均绝对误差比对说明如下：FT为R. Achanta等人提出的基于频率域的显著性检测方法；IT为L. Itti等人提出的视觉显著测量方法；AC为R. Achanta等人提出的显著区域检测方法；SR为X. Hou等人提出的基于谱分析的检测方法；LC为Y. Zhai等人提出的基于空时线索的显著性检测方法；GB为J. Harel等人提出的基于图的显著性检测方法；MZ为Y.-F. Ma等人提出的基于模糊增长的视觉注意力分析方法；CA为S. Goferman等人提出的基于内容的显著性检测方法。本发明方法得到的平均绝对误差明显低于其他方法，表明本发明方法结果更接近于真值图。