基于形状先验信息和视觉对比度的遥感图像目标分割方法

摘要

本发明公开了一种基于形状先验信息和视觉对比度的遥感图像目标分割方法，所述方法包括：对样本图像进行训练得到分类器；利用所述分类器对待处理图像进行处理，得到所述待处理图像的图像目标的形状先验置信图；对所述待处理图像进行分割，得到所述待处理图像的图像目标的对比度置信图；通过所述形状先验置信图和对比度置信图得到所述待处理图像中的目标。本发明通过所述形状先验置信图和对比度置信图对待处理图像进行分析，利用了分类器的分类正确性和待处理图像自身的特性，提高了待处理图像的图像目标的分割精度。

说明书

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于形状先验信息和视觉 对比度的遥感图像目标分割方法。

背景技术

随着卫星遥感技术的发展，遥感卫星分辨率逐渐提高，世界各国已经发射 了越来越多的高分辨率遥感卫星，例如：QuickBird、WorldView-2、GeoEye-1 等。2014年8月发射的WorldView-3，能提供0.3米分辨率图像，飞机、舰船、 车辆等目标的细节清晰可见。随着我国高分辨率对地观测系统国家科技重大专 项的实施，我国也将拥有更多高分辨率遥感卫星。因此，利用卫星遥感图像进 行目标分析与理解越来越引起关注。其中，飞机、舰船、车辆等感兴趣目标的 分割，是在目标检测的基础上，确定目标边界并提取出目标的技术，是判定目 标形状与识别目标类型的重要步骤，直接影响到图像内容分析的准确性。但是， 遥感图像中目标背景复杂、噪声较大，阴影、地面斑点等因素经常影响目标的 准确分割，当前方法经常难以准确分割目标。

研究人员已经提出了大量的感兴趣目标分割方法，其中常用的典型目标分 割方法从分割策略上讲，可以分为基于阈值、基于对比度、引入形状先验信息 等方法。(1)基于阈值分割的方法准确性与图像的光谱分布密切相关，当直方 图呈现双峰或近似双峰特性时，能够选取阈值，但当背景复杂或者目标光谱与 背景较为接近时，很难准确分割目标。因此，此类方法适用于背景相对较简单 的情况，鲁棒性和适应性较差。(2)基于对比度的方法假定目标与背景存在较 大的光谱差异，通过度量图像中各个区域和图像整体光谱的差异来确定目标区 域。但是该方法容易受图像中的阴影噪声干扰，因为当光照较强，目标亮度较 高时，阴影则相对较显著，利用该方法进行分割容易得到阴影区域，目标区域 缺失严重。(3)引入形状先验信息的方法主要是利用主成分分析、傅立叶描述 子等方法学习目标形状信息，但是当前的形状先验信息建模方法对于颜色先验 信息利用不充分，难以分割复杂背景中的目标。综合而言，对于遥感图像中复 杂背景下的感兴趣目标分割，当前方法容易受阴影、油污等背景噪声干扰，难 以取得准确的分割结果。

发明内容

有鉴于此，本发明实施例期望提供一种基于形状先验信息和视觉对比度的 遥感图像目标分割方法，至少能解决现有图像目标识别精度低等技术问题。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了基于形状先验信息和视觉对比度的遥感图像目标分 割方法，所述方法包括：

对样本图像进行训练得到分类器；

利用所述分类器对待处理图像进行处理，得到所述待处理图像的图像目标 的形状先验置信图；

对所述待处理图像进行分割，得到所述待处理图像的图像目标的对比度置 信图；

通过所述形状先验置信图和对比度置信图得到所述待处理图像的图像目 标。

上述方案中，所述对样本图像进行训练得到分类器包括：

从所述样本图像中提取第一图像特征；

对所述第一图像特征进行归一化处理，并通过线性支持向量机训练归一化 处理后的所述第一图像特征，得到包含所述样本图像的图像目标的形状先验信 息的分类器。

上述方案中，所述第一图像特征包括像素的RGB值、坐标值和直方图对比 度。

上述方案中，所述利用所述分类器对待处理图像进行处理，得到所述待处 理图像的图像目标的形状先验置信图包括：

从所述待处理图像中提取第二图像特征；

通过所述分类器得到所述第二图像特征属于所述待处理图像的图像目标的 概率；

对所述概率进行归一化处理得到包含所述待处理图像的图像目标的形状先 验置信图。

上述方案中，所述对所述待处理图像进行分割，得到所述待处理图像的图 像目标的对比度置信图包括：

将所述待处理图像按设定尺度分割成图像区域；

计算所述图像区域之间的局部对比度和全局对比度；

根据所述局部对比度和全局对比度得到每个所述图像区域的对比度；

将所述对比度进行求和，得到所述待处理图像的图像目标的对比度置信图。

上述方案中，所述全局对比度的计算过程为：

$\mathrm{gc}\left({r_i}^m\right)=\underset{j=1;j\ne i}{\overset{N^m}{\Sigma }}\left|{r_i}^m\right|·{\left|\right|{\mathrm{mc}}_i^m-{\mathrm{mc}}_j^m\left|\right|}_2$

其中：r_i^m为所述待处理图像按尺度m进行分割得到的第i个区域；gc(r_i^m)为 区域r_i^m上的全局对比度；为区域r_i^m上的平均颜色值；区域上的平均 颜色值；j为除第i个区域外的其他区域；N^m为所述待处理图像按尺度m进行 分割得到的区域的总数。

上述方案中，所述对比度的计算过程为：

f(r_i^m)＝lc(r_i^m)×gc(r_i^m)×g(x,y)

其中，f(r_i^m)为区域的对比度；lc(r_i^m)为区域的局部对比度；g(x,y)为 高斯衰减函数；x和y分别是区域的像素点的横坐标和纵坐标。

上述方案中，所述高斯衰减函数的计算过程为：

$g(x,y)=\exp (-{(x-x_0)}^2/\left({2\sigma }_x^2\right)-{(y-y_0)}^2/\left({2\sigma }_y^2\right))$

其中，x₀和y₀分别是区域中心的横坐标和纵坐标；σ_x为图像三分之一的 宽度；σ_y为图像三分之一的高度。

上述方案中，所述通过所述形状先验置信图和对比度置信图得到所述待处 理图像的图像目标包括：

通过所述形状先验置信图和对比度置信图得到目标融合置信图；

将所述目标融合置信图进行二值化处理得到连通区域和背景区域；

根据所述连通区域的第一阈值和背景区域的第二阈值对所述待处理图像的 像素点进行判断，得到所述待处理图像的图像目标。

上述方案中，所述目标融合置信图的计算过程为：

C＝C_C·exp(k·C_S)

其中，C为目标融合置信图的像素值；C_C为形状先验置信图的像素值；C_S为对比度置信图的像素值；k为比例系数。

本发明实施例所提供的基于形状先验信息和视觉对比度的遥感图像目标 分割方法，通过所述形状先验置信图和对比度置信图对待处理图像进行分析， 利用了分类器的分类正确性和待处理图像自身的特性，提高了待处理图像的图 像目标的识别精度。

附图说明

图1为实施例1的基于形状先验信息和视觉对比度的遥感图像目标分割 方法的流程图；

图2为实施例2的基于形状先验信息和视觉对比度的遥感图像目标分割 方法的示意图；

图3为实施例2的分类器的获取过程示意图；

图4为实施例2的形状先验置信图的获取过程示意图；

图5为实施例2的方法与现有方法的效果比较图。

为了能明确实现本发明的实施例的结构，在图中标注了特定的尺寸、结构 和器件，但这仅为示意需要，并非意图将本发明限定在该特定尺寸、结构、器 件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进 行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。

具体实施方式

在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内 的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实 施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很 明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了 不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。

实施例1

为了解决现有图像目标识别精度低等技术问题，本发明实施例提供了基于 形状先验信息和视觉对比度的遥感图像目标分割方法，如图1所示，本实施 例的方法包括以下步骤：

步骤S101：对样本图像进行训练得到分类器；

本实施例的样本图像是能够精确识别图像目标的遥感图像，通过对样本图 像训练，就可以得到对图像目标的分类器。

步骤S102：利用所述分类器对待处理图像进行处理，得到所述待处理图像 的图像目标的形状先验置信图；

通过所述分类器对待处理图像进行处理，能够得到待处理图像的图像目标 的基本形状，即形状先验置信图。此处的待处理图像也是遥感图像，后续不再 赘述。

步骤S103：对所述待处理图像进行分割，得到所述待处理图像的图像目标 的对比度置信图；

为了进一步将待处理图像的图像目标分离出来，可以按不同尺度对待处理 图像进行分割，得到对比度置信图。

步骤S104：通过所述形状先验置信图和对比度置信图得到所述待处理图像 的图像目标。

通过所述形状先验置信图和对比度置信图对待处理图像进行分析，利用了 分类器的分类正确性和待处理图像自身的特性，提高了待处理图像的图像目标 的识别精度。

具体的，所述步骤S101具体包括：

步骤S1011：从所述样本图像中提取第一图像特征；所述第一图像特征包 括像素的RGB(红RED、绿GREEN、蓝BLUE)值、坐标值和直方图对比度。

步骤S1012：对所述第一图像特征进行归一化处理，并通过线性支持向量 机训练归一化处理后的所述第一图像特征，得到包含所述样本图像的图像目标 的形状先验信息的分类器。

所述步骤S102具体包括：

步骤S1021：从所述待处理图像中提取第二图像特征；第二图像特征和第 一图像特征一样，也是像素的RGB值、坐标值和直方图对比度。

步骤S1022：通过所述分类器得到所述第二图像特征属于所述待处理图像 的图像目标的概率；

步骤S1023：对所述概率进行归一化处理得到包含所述待处理图像的图像 目标的形状先验置信图。

所述步骤S103具体包括：

步骤S1031：将所述待处理图像按设定尺度分割成图像区域；

此处的按设定尺度是指按设定的大小将待处理图像进行分割，尺度大小的 具体取值需要根据待处理图像的实际情况确定。

步骤S1032：计算所述图像区域之间的局部对比度和全局对比度；

局部对比度是指某区域与局部邻域间的颜色差异；全局对比度是指某区域 与图像全局其它区域间的颜色差异。

步骤S1033：根据所述局部对比度和全局对比度得到每个所述图像区域的 对比度；

步骤S1034：将所述对比度进行求和，得到所述待处理图像的图像目标的 对比度置信图。

具体的，所述全局对比度的计算过程为：

$\mathrm{gc}\left({r_i}^m\right)=\underset{j=1;j\ne i}{\overset{N^m}{\Sigma }}\left|{r_i}^m\right|·{\left|\right|{\mathrm{mc}}_i^m-{\mathrm{mc}}_j^m\left|\right|}_2$

其中：r_i^m为所述待处理图像按尺度m进行分割得到的第i个区域；gc(r_i^m)为 区域r_i^m上的全局对比度；为区域r_i^m上的平均颜色值；区域上的平均 颜色值；j为除第i个区域外的其他区域；N^m为所述待处理图像按尺度m进行 分割得到的区域的总数。

所述对比度的计算过程为：

f(r_i^m)＝lc(r_i^m)×gc(r_i^m)×g(x,y)

其中，f(r_i^m)f为区域的对比度；lc(r_i^m)为区域的局部对比度；g(x,y) 为高斯衰减函数；x和y分别是区域的像素点的横坐标和纵坐标。

所述高斯衰减函数的计算过程为：

$g(x,y)=\exp (-{(x-x_0)}^2/\left({2\sigma }_x^2\right)-{(y-y_0)}^2/\left({2\sigma }_y^2\right))$

其中，x₀和y₀分别是区域中心的横坐标和纵坐标；σ_x为待处理图像三分 之一的宽度；σ_y为待处理图像三分之一的高度。

所述步骤S104具体包括：

步骤S1041：通过所述形状先验置信图和对比度置信图得到目标融合置信 图；

步骤S1042：将所述目标融合置信图进行二值化处理得到连通区域和背景 区域；

步骤S1043：根据所述连通区域的第一阈值和背景区域的第二阈值对所述 待处理图像的像素点进行判断，得到所述待处理图像的图像目标。

所述目标融合置信图的计算过程为：

C＝C_C·exp(k·C_S)

其中，C为目标融合置信图的像素值；C_S为形状先验置信图的像素值；C_C为对比度置信图的像素值；k为比例系数，用于调节形状先验置信图与对比度 置信图权重。其中，所有的C组合起来构成目标融合置信图；类似的，C_S组合 起来构成形状先验置信图；C_C组合起来构成对比度置信图。为了方便起见，下 述直接用C代表目标融合置信图；C_S代表形状先验置信图；C_C代表对比度置信 图。

实施例2

本实施例对本发明进行详细说明。

本实施例的示意图如图2所示，包括以下步骤：

步骤1：对已标注的图像进行训练，逐像素提取r、g、b、x、y、hc特 征。其中，r、g和b特征分别为像素的RGB值；x和y特征为像素在图像中的 坐标位置；hc特征为基于直方图的对比度；对特征进行归一化，通过训练得到 包含目标形状先验信息的分类器。

将样本图像逐像素的进行二值标注：目标区域的像素标注为1，背景区域 的像素标注为-1。训练包含目标先验状信息的分类器时，使用线性支持向量机 进行训练。图3显示了使用WorldView-2图像作为样本，训练包含目标形状先 验信息分类器的过程。

步骤2：对待处理图像逐像素提取r、g、b、x、y、hc特征，利用步骤 1中获得的分类器逐像素预测图像中各像素点属于目标的概率，进而得到待处 理图像中目标的形状先验置信图C_S。

对输入图像中的每个像素利用分类器分类后，得到范围为-1至+1的值，表 示该像素属于目标区域的置信度。全图计算结束后，归一化到[0，1]，即得到 形状先验置信图C_S。图4显示了对输入图像利用分类器逐像素预测后得到的形 状先验置信图。

步骤3：对待处理图像进行多尺度的超像素分割，以r_i^m表示所述分割后尺 度m上的第i个区域，分别计算各个区域的局部对比度、全局对比度，并结合高 斯衰减函数得到各个区域的对比度计算结果f(r_i^m)；将多尺度下各个区域对比 度的计算结果进行融合，得到待处理图像中目标的对比度置信图C_C。

将待处理图像使用Felzenszwalb和Huttenlocher提出的超像素分割方法分 割，生成设定个尺度的分割结果。超像素分割方法可以将具有相似纹理、颜色 特征的相邻像素分成图像块；在尺度m上，图像被分割为区域序列{r_i^m}， i＝1,…,N^m，N^m表示该尺度m上分割得到区域的数量。区域r_i^m的局部对比度计 算方法为2011年Huaizu Jiang在论文“Automatic salient object segmentation based  on context and shape prior”中所提出的方法，局部对比度计算方法认为，图像 中的目标区域与其相邻区域的颜色差异较大，通过计算区域与其领域间的颜色 差异得到图像中的目标区域。

区域r_i^m的全局对比度的计算方法为：

$\mathrm{gc}\left({r_i}^m\right)=\underset{j=1;j\ne i}{\overset{N^m}{\Sigma }}\left|{r_i}^m\right|·{\left|\right|{\mathrm{mc}}_i^m-{\mathrm{mc}}_j^m\left|\right|}_2$

其中，|r_i^m|表示区域r_i^m中包含的像素数；和分别表示区域r_i^m和的 平均颜色值。

高斯衰减函数g(x,y)定义为：

$g(x,y)=\exp (-{(x-x_0)}^2/\left({2\sigma }_x^2\right)-{(y-y_0)}^2/\left({2\sigma }_y^2\right))$

其中，x₀和y₀分别是区域中心的横坐标和纵坐标；σ_x为待处理图像三分 之一的宽度，σ_y为待处理图像三分之一的高度。这样越靠近图像中心的地方权 重越大。

对单个尺度中各个区域按照下面公式进行计算，得到单尺度下的各区域对 比度计算结果f(r_i^m)：

f(r_i^m)＝lc(r_i^m)×gc(r_i^m)×g(x,y)

其中，lc(r_i^m)为区域的局部对比度；gc(r_i^m)为区域的全局对比度。

将多个尺度上的对比度计算结果f(r_i^m)相加求得，就可以得到输入图像中 的对比度置信图C_C。

步骤4：将形状先验置信图C_S和对比度置信图C_C进行融合，得到集成形状 先验信息和对比度信息的目标融合置信图C；将融合置信图C分割后的结果作 为三分图利用GrabCut算法进行M次迭代分割，得到目标分割结果。其中，三 分图就是将图像中的像素归为三类：目标区域、背景区域、可能为目标也可能 为背景的未知区域；利用GrabCut算法进行迭代分割时，若图像中的目标长度 大于128像素时，最优迭代次数M为3，若目标长度小于128像素时，最优迭 代次数M为2。

目标融合置信图C的计算方法为：

C＝C_C·exp(k·C_S)

通过大量实验观察，发现形状先验置信图C_S更具有区分性，因此，使用指 数函数来强调C_S的作用，k用来调节置信图融合时C_C和C_S的比例，优选为4。

利用目标融合置信图C生成三分图时，将C归一化到[0，1]区间，首先对C 利用5×5的模板进行中值滤波，利用粗分割阈值T(优选为0.3)进行二值化， 大于T的像素点标注为1，小于T的像素点标注为0；对二值化后的图像提取包 含像素数目最大的连通区域，区域外的像素点指定为背景区域；区域内的像素 点依据目标融合置信图C进行判断，若目标融合置信图C中像素值小于背景阈 值T₁(优选为0.15)，则认定该像素点为背景区域；若目标融合置信图C中像素 值大于目标阈值T₂(优选为0.85)，则认定该像素点为目标区域；若目标融合置 信图C中像素值大于背景阈值T₁而小于目标阈值T₂，则认定该像素点为可能的 目标区域。其中，背景阈值T₁和目标阈值T₂都是归一化到[0，1]区间后的取值。

本发明在微机平台上进行了算法实验，实验对象为遥感图像中的飞机目标， 实验过程中使用约0.5米分辨率、160×160像素的遥感图像(全色与多光谱融合 图像)。样本量共500张图片，其中200张图片用于训练，300张图片用于测试。 图4给出了本发明方法各步骤的处理结果，其中第一列为输入图像，第二列为 形状先验置信图C_S，第三列为对比度置信图C_C，第四列为利用C_S和C_C计算得 到的目标融合置信图C，第五列为目标分割结果。从图中可以看出，在先验知 识指导下得到的目标置信图能够很好的反映飞机的整体形状，但是周围噪声点 较多；通过对比度分析得到的目标置信图能够较好地提取与背景差异较大的区 域；将两者融合，能够有效地排除噪声干扰，准确分割目标。

本发明方法与现有比较先进的目标分割方法的对比结果参见图5。对比试 验中的Normalized Cuts(下述简写为NC)方法是文章“Normalized cuts and image  segmentation”中提出的；Local Binary Fitting(下述简写为LBF)方法是文章 “Implicit active contours driven by local binary fitting energy”中提出的； Contextual Hypergraph Modeling(下述简写为CHM)方法是文章“Contextual  hypergraph modeling for salient object detection”中提出的；Region-based Contrast (下述简写为RC)方法是文章“Global contrast based salient region detection” 中提出的；GrabCut(下述简写为GC)方法是文章“Grabcut-Interactive foreground  extraction using iterated graph cuts”中提出的。从图5中可以看出，当背景干扰 因素较多时，本发明方法仍能够较准确的提取感兴趣目标。如图5前四行所示， 其它方法容易受到飞机本身阴影的影响，难以准确分割目标；本发明方法在先 验形状信息的指导下，可以较好地排除阴影因素的干扰；同时，如图5后两行 所示，其它方法容易受到地面斑块、油污等因素的影响，本发明方法通过在对 比度分析中使用高斯衰减函数，并结合先验形状信息的指导，可以较好地排除 地面斑块、油污等因素的干扰。

本发明使用F测度(F-measure)方法在客观指标上与上述方法进行对比， 计算方法如下：

$F-\mathrm{measure}=\frac{2·\mathrm{Recall}·\mathrm{Precision}}{\mathrm{Recall}+\mathrm{Precision}}$

其中，Precision为查准率，Recall为查全率。较大的F测度值说明算法分 割结果较为准确。表1显示了本发明与上述方法的对比如果。从表1中可以看 到，在本发明的方法F测度值是最高的，这说明本发明方法能够较准确地分割 遥感图像中的飞机目标。

表1 本遥感图像目标分割方法实验结果

方法 F测度 NC 0.623±0.002 LBF 0.675±0.008 CHM 0.795±0.004 RC 0.809±0.008 GC 0.839±0.006 本发明方法 0.898±0.002

本发明所提供的基于形状先验信息和视觉对比度的方法主要为提高遥感图 像分析与理解专门提出的。但显然，本方法也适用于医学图像分析以及普通成 像设备如数码相机所拍摄图像的分析，所取得的有益效果也是相似的。

以上对本发明所提供的基于形状先验信息和视觉对比度的遥感图像目标分 割方法作了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本 技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它 进行的各种显而易见的改变都在本发明的保护范围之内。

本发明所提供的基于形状先验信息和视觉对比度的遥感图像目标分割方法 具有如下优点：

1.利用像素空间位置与颜色、全局对比度等底层视觉特征建立包含目标先 验形状信息的分类器，可以准确地预测输入图像中目标的大致形状，保证在复 杂环境中的鲁棒性；

2.多尺度的对比度信息分析可以保证区域提取的完整性，在此基础上与在 先验知识指导下得到的目标区域进行融合，可以有效削弱阴影、噪声等因素的 干扰，保证分割结果的准确性；

3.可以对具有规则形状的感兴趣目标进行分割，适应性较强。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法， 可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如， 所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分 方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特 征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、 或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通 信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作 为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方， 也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部 单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块 中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集 成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用 硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤 可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读 取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述 的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、 随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种 可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。