一种基于显著性先验的图像语义分割方法及系统

摘要

本发明公开了一种基于显著性先验的图像语义分割方法及系统，本发明计算基于深度紧密性的显著值、基于位置先验的显著值、基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度。

说明书

技术领域

本发明涉及一种基于显著性先验的图像语义分割方法及系统，属于图像处理以及计算机视觉技术领域。

背景技术

图像语义分割是根据像素的语义对图像像素进行标注形成不同分割区域。语义分割是计算机视觉研究中的一个重要领域，其主要任务是让计算机能够知道图像中每个像素“是什么”。语义分割是图像理解的基石性技术，在自动驾驶系统的街景识别与理解、无人机着陆点判断、医学图像的病灶识别与定位中具有举足轻重的作用。

图像语义分割作为计算机视觉中的基础性技术，是将图像中的对象按照轮廓分割并语义标注出来，使得图像更加容易理解与分析。随着深度学习方法被提出及推广，与图像语义分割相结合，形成当前主流的图像语义分割方法模型，通过卷积神经网络、深度学习等方法提取像素特征，并训练基于像素的模型，最后逐一标注像素语义结果。然而，该模型没有模拟生物视觉的识别过程，单纯计算机式的从像素的角度出发，忽略了对象的整体性特性，将对图像对象的语义识别转化为对单个像素的逐一识别，虽然在提取像素的特征过程中融入了全局或者局部特征，但依然无法很好的考虑同一对象的像素之间的联系，造成图像对象的丢失以及图像对象轮廓的缺失问题，以至于最终语义分割结果精确度不足，在实际应用中受到限制，并且无法达到理想的实用性。

发明内容

本发明提供了一种基于显著性先验的图像语义分割方法及系统，解决了现有分割结果精确度不足的问题。

为了解决上述技术问题，本发明所采用的技术方案是：

一种基于显著性先验的图像语义分割方法，包括，

对待分割图像进行超像素分割，获得超像素块；

根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；

基于条件随机场将所有显著值对应的显著图进行融合；

提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。

根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，具体过程为，

根据超像素块，构建融合颜色信息和深度线索的图模型；

根据图模型和目标深度紧密性，计算基于深度紧密性的显著值；

根据图模型和目标位置先验，计算基于位置先验的显著值；

根据图模型和目标颜色先验，计算基于颜色先验的显著值；

将超像素块映射至深度图，构建融合颜色信息和深度线索的图模型；其中，图模型为G＝(V,E)，V为超像素块集合，E为两超像素块相连构成的边的集合，每条边配置有相应的权重，

其中，c

基于深度紧密性的显著值计算公式为，

V

其中，V

其中，D为两对应超像素间度的矩阵，α为控制平衡系数，w

基于位置先验的显著值计算公式为，

其中，V

基于颜色先验的显著值计算公式为，

其中，V

提取融合后显著图的前景、背景多维特征，将多维特征输入预先训练的SVM分类器，获得图像语义分割结果。

一种基于显著性先验的图像语义分割系统，包括，

超像素分割模块：对待分割图像进行超像素分割，获得超像素块；

显著值计算模块：根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；

融合模块：基于条件随机场将所有显著值对应的显著图进行融合；

分类模块：提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行基于显著性先验的图像语义分割方法。

一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于显著性先验的图像语义分割方法的指令。

本发明所达到的有益效果：本发明计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度；同时本发明采用条件随机场，能够较好地解决了标记问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于显著性先验的图像语义分割方法，包括以下步骤：

步骤1，对待分割图像进行超像素分割，获得超像素块。

对待分割图像通过全局特征计算相应的显著图，在CIELAB颜色空间上采用简单线性迭代聚类(SLIC)算法对图像进行分割获得超级像素。具体方法如下：

设定聚类中心：首先设置欲分割出的超像素个数，在包含N1个像素的输入图像中，分割出K1个尺寸均匀的超像素，分割出的每个超级像素应包含N1/K1个像素。在图像中均匀分配聚类中心，即种子点，则两相邻聚类中心在图中的距离(步长)约为

为了产生大小相似的超像素，SLIC方法先采用网格法初始化聚类中心，并为每个聚类中心分配不同的标签。将聚类中心移动到其3*3领域的最小梯度处，以避免其位于图像边缘或噪声处。

SLIC方法的聚类方式与K均值聚类相似，但搜索范围远小于后者，为2S×2S。凭借计算每个像素与范围内的聚类中心之间的距离D′，便可确定每个像素点的标签。在处理过程中，该方法充分考虑到提取信息的全面性，计算距离：SLIC中的距离分为空间与颜色两方面。2S×2S领域内所有像素点，分别按下式计算像素点和该聚类中心的两种距离，公式如下：

其中，d

由于针对不同输入图片的类型与大小都不尽相同，在此用一个固定常数t来代入计算，综合两种距离得到D′如下：

因为每个像素点周围均有若干个聚类中心，在此方法中，分别度量该像素点与周围各个种子点间的距离，选取其中最小值对应的聚类中心作为该像素点的类标签。

迭代聚类：重复上面步骤直到图像中每个像素点所属种子点不再变动，即误差收敛，一般进行10次迭代。

增强连通性：经过上述迭代优化可能会有若干种误差，可以利用增强连通性来削弱误差带来的影响。具体方法为：首先建立标记表，将-1赋值给表内各个元素，依照由左至右，由上至下的顺序把过小尺寸的超像素、出现多连通的超像素重新分配给邻近的超像素，遍历过程中，用对应的标签标记每个像素点，待所有像素点均得到相应标签为止。

步骤2，根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值。

具体过程如下：

21)根据超像素块，构建融合颜色信息和深度线索的图模型。

SLIC算法将图像P

其中，c

μ

其中，m

22)根据图模型和目标深度紧密性，计算基于深度紧密性的显著值；根据图模型和目标位置先验，计算基于位置先验的显著值；根据图模型和颜色先验，计算基于颜色先验的显著值。

基于深度紧密性的显著值计算，具体如下：

假设原始深度图的显著前景目标位于l

其中，f

为提高效率，采用非归一化的拉普拉斯矩阵来进行最优解的计算，如下：

f

其中，D＝diag{d

超像素区域越松散，其属于背景区域的概率越大，判断某一区域松散程度的公式定义为：

其中，N为超像素块个数，De(j)表示第j个超像素块的松散程度，f

空间均值μ

其中，

若当前区域属于前景目标，则De(j)取值较小，定义Fr(j)＝1-De(j)表示当前区域为前景，取F

第i个超像素块基于背景目标种子点的显著值，其计算公式定义如下：

第i个超像素块基于前景目标种子点的显著值，其计算公式定义如下：

其中，V

V

其中，V

基于位置先验的显著值计算，具体如下：

假设图像的前景目标多数位于l

同理，计算剩余矩形区域的初始显著值

依次计算初始显著图中位于矩形区域A

其中，V

基于颜色先验的显著值计算，具体如下：

通常来讲，在整幅图像中显著前景目标由背景所包围，且背景的整体颜色较前景更为弥散，也就是在某一特定区域表现出较大空间颜色差异的一般多为背景，其显著值定义如下：

其中，V

步骤3，基于条件随机场将所有显著值对应的显著图进行融合。

把上述图像显著性检测看成从背景分离显著性区域的二值标记问题，在条件随机场(CRF)框架下，输入图像I(p)的图像标注A(p)的条件概率为：

其中，Z为配分函数，E(A|I)为能量函数，A(p)＝1，说明该像素p属于显著区域，A(p)＝0说明该像素属于背景区域。

为了更加精确的检测显著性区域，需要融合多种显著性特征，将能量函数定义为K个显著性特征函数和这些特征的成对特征函数的线性组合，可以表示为：

其中，λ

显著性特征函数F

F

其中，|| ||

成对特征函数作为颜色差异惩罚项，颜色越相似的邻近像素对，分配到不同的标注的可能性越小。

成对特征函数可以表示为：

其中，σ

为了获得最优的线性特征巧合，CRF学习的目标是在最大化似然值的标准下获得融合的线性权重参数λ＝{λ

式中，A,I分别表示为训练的图像样本和标注。

步骤4，提取优化后显著图的前景、背景多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。

利用上述显著性算法提取自然图像的前景区域A

支持向量机分类器：支持向量机是用来进行解决分类问题的常用分类器工具，通过组建最优分类面从而达到类别之间的分类间隔趋向最大化来进行实现，分类间隔最大化代表分类器拥有更好的泛化能力。针对有监督分类问题，假设训练集可表示为x

w·x+b＝0

其中，w为超平面的法向量，b为截距。

上式可转化为下式：

y

相关决策函数可表达为式：

f(x)＝sgn(w·x

在上式中的sgn()表示符号函数，具体规则如下：

求解最优超平面可转变为二次凸优化问题，具体表示方式如下式所示：

s.t y

ie＝1,...,l

为简化计算，将拉格朗日乘子α＝{α

s.t.∑y

0≤α

其中，α

那么其决策函数可表达如下形式：

对于非线性可分的样本集时，支持向量机可釆用核函数方法把原始输入数据空间向高维核函数空间进行映射，从而可将非线性可分样本集转变成特征空间线性问题。设Φ(·):R

K(x

那么，上述决策函数可转变成如下形式：

上述方法计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值，基于条件随机场生成融合多尺度特征的显著图，清晰度和辨识度高，提高了分割精确度；同时本发明采用条件随机场，能够较好地解决了标记问题。

一种基于显著性先验的图像语义分割系统，包括，

超像素分割模块：对待分割图像进行超像素分割，获得超像素块；

显著值计算模块：根据超像素块，分别计算基于深度紧密性的显著值、基于位置先验的显著值和基于颜色先验的显著值；

融合模块：基于条件随机场将所有显著值对应的显著图进行融合；

分类模块：提取融合后显著图的多维特征，将多维特征输入预先训练的分类器，获得图像语义分割结果。

一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行基于显著性先验的图像语义分割方法。

一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于显著性先验的图像语义分割方法的指令。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。