法律状态公告日
法律状态信息
法律状态
2020-06-19
授权
授权
2018-06-22
实质审查的生效 IPC(主分类):G06T7/143 申请日:20171212
实质审查的生效
2018-05-29
公开
公开
技术领域
本发明涉及图像语义分割的技术领域,尤其涉及一种基于对象级Gauss-Markov随机场的图像语义分割方法。
背景技术
图像语义分割是指将图像中的像素按照图像中所表达的语义不同进行分组,该过程由机器自主进行。
随着现代传感器制造工艺和成像技术的不断发展,所处理的图像空间分辨率越来越高,而且获得的图像数量以指数形式增长,如果使用手工分割,效率低下。以前的像素级分割方法无法考虑更大范围的空间信息,造成大量信息的浪费。而近几年基于对象级的地理分析技术成为了一种提取图像信息的热点技术,将之运用到图像语义分割中,能够考虑更大范围的空间信息。但是区域特征之间的相互作用关系被忽略,分割精度有待提高。因此,需要一种图像语义分割方法,既保证空间信息的充分利用,又能够考虑区域特征之间的互相作用。
发明内容
针对现有图像语义分割方法不能兼顾充分利用保证空间信息和考虑区域特征之间相互作用的技术问题,本发明提出一种基于对象级Gauss-Markov随机场的图像语义分割方法,既保证空间信息的充分利用,又能够考虑区域特征之间的互相作用。
为了达到上述目的,本发明的技术方案是这样实现的:一种基于对象级Gauss-Markov随机场的图像语义分割方法,其特征在于,其步骤如下:
步骤一:对读取的像素级图像进行初始化过分割,得到由过分割区域组成的对象级图像和对应的对象级区域邻接图RAG,根据区域邻接图RAG定义该图像的邻域系统NO、对象级观测特征场YO和对象级分割标记场XO;
步骤二:根据对象级分割标记场XO和邻域系统NO对观测特征场YO的每个区域ri的特征及其邻域的特征进行Gauss-Markov建模,构造针对每一个区域ri的对象级线性回归方程,i=1,…,l;
步骤三:分别对观测特征场YO和分割标记场XO进行概率建模,并根据Bayes准则得到分割标记场XO的后验分布,运用最大后验概率准则更新迭代分割并由此解得最终分割。
所述步骤一的具体实施步骤如下:
1)对输入的高空间分辨率三通道图像I(R,G,B)进行位置索引集合定义和像素级观测特征集合定义,假设图像I(R,G,B)分辨率为m×n,得到:位置索引集合S={sxy=(x,y)|1≤x≤m;1≤y≤n},像素级观测特征集
2)根据设置的最小面积运用mean-shift方法对像素级图像进行过分割处理:将图像I(R,G,B)过分割为l个最小面积为smin的区域,每个区域赋予标号,得到标号矩阵Ls={ls|s∈S},其中,元素ls∈{1,…,l},s∈S;由此得到对象级图像的位置索引集合R={r1,r2,…,rl},其中,区域ri={s|ls=i};
3)根据过分割处理得到对象级区域邻接图G=(R,E),其中,位置索引集合R是对象级元素,每个元素代表一个过分割区域,E={eij|1≤i,j≤l}表示邻接关系,元素eij表示区域ri中与区域rj相邻的像素个数,eij≠0当且仅当元素Ri和Rj是相邻的;
4)在区域邻接图G上定义对象级观测特征场
5)依据对象级区域邻接图G=(R,E)给出对象级邻域系统:
所述步骤二的具体步骤如下:
1)在区域邻接图G=(R,E)中由位置索引集合R可以得到各个过分割区域所包含的像素个数为对象级元素的面积参数,得到面积矩阵RS={RSi|1≤i≤l},其中RSi=|ri|;
2)设xO是对象级分割标记场XO的一个实现,根据xO得到各类别的特征均值和特征协方差矩阵,实现流程为:
(a)已知对象级分割标记场的实现为xO,计算原始图像中每个像素点对应的分割所属类别,即像素级分割标记矩阵
(b)分别计算特征均值m={mi|1≤i≤k}和特征协方差矩阵∑={∑i|1≤i≤k}:
3)对于每一个对象级元素ri,给定它的分割标记实现为
其中,ei~N(0,∑h)是一个高斯白噪声。
所述步骤三的具体方法如下:
2)对于对象级观测特征场YO,不是对观测特征直接进行联合概率建模,而是对每一个对象级元素ri所构造的对象级线性回归方程中的残差项进行联合建模,得到特征场的似然函数,即:
2)对象级分割标记场XO进行概率建模,由Markov-Gibbs等价性可知,对象级分割标记场符合Gibbs分布,得到标记场的先验分布如下:
其中,Z为归一化常量、U(xO)表示分割场实现为xO时的能量,K为分割类别集合,V2(·)为基团势能函数,由Potts模型给出,即:
3)由Bayes公式可以得到标记场的后验分布为:
所以,求分割标记的最佳结果就转化为求分割标记场XO后验分布最大化的问题,即:
通过循环迭代,更新分割标记,最终得到分割结果。
所述循环迭代的具体实现过程为:
5)首先由经典的ICM算法实现像素级MRF方法,得到每个像素点的分割所属类别,即像素级分割场结果:xP={xs|s∈S},进而得到初始迭代的对象分割标记场实现
6)由对象级分割标记场在第t步的实现
7)分别计算每个对象级元素ri的对象级线性回归方程:
8)分别计算对象及特征场概率和标记场概率,并逐对象的更新分割标记,具体为:
本发明的有益效果:提供了成型的对高空间分辨率RGB图像的语义分割方法;可用于批量处理高空间分辨率RGB图像的语义分割,分割效率远远高于传统手工分割水平,也比现有大部分面向对象级分割方式效率高;对于线性回归方程中的待估参数直接赋予固定值简算简便快捷,精度高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为本发明初始化的流程图。
图3为本发明初始化处理的示例图。
图4为本发明线性回归方程构造的流程图。
图5为本发明联合建模的流程图。
图6为本发明实验仿真图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种基于对象级Gauss-Markov随机场的图像语义分割方法,其步骤如下:
步骤一:对读取的像素级图像进行初始化过分割,得到由过分割区域组成的对象级图像和对应的对象级区域邻接图RAG,根据区域邻接图RAG定义该图像的邻域系统NO、对象级观测特征场YO和对象级分割标记场XO。
为了进行对象级图像分析,提高算法效率,需要进行初始化过分割,以便得到区域邻接图RAG。区域邻接图RAG是根据对象级图像的各个过分割区域之间的空间关系得到的。图像进行初始化过分割的方法是最小面积因素的mean-shift方法。根据像素级图像特征,使用涉及最小面积参数(即过分割区域内所含像素点个数)的mean-shift方法得到对象级图像表示,最终求得对象级图像特征。如图2所示,其具体实施步骤如下:
1)对输入的高空间分辨率三通道图像I(R,G,B)进行位置索引集合定义和像素级观测特征集合定义,假设图像I(R,G,B)分辨率为m×n,那么可以分别得到:位置索引集合S={sxy=(x,y)|1≤x≤m;1≤y≤n},像素级观测特征集
2)根据设置的最小面积运用mean-shift方法对像素级图像进行过分割处理:将图像I(R,G,B)过分割为l个最小面积为smin的区域,每个区域赋予标号,得到标号矩阵Ls={ls|s∈S},其中,元素ls∈{1,…,l},s∈S。由此得到对象级图像的位置索引集合R={r1,r2,…,rl},其中,区域ri={s|ls=i}。处理结果灰度化后如图3(a)所示,图中的线条是其分割的结果。
3)根据过分割处理得到对象级区域邻接图G=(R,E)。其中,位置索引集合R是对象级元素,每个元素代表一个过分割区域。E={eij|1≤i,j≤l}表示邻接关系,元素eij表示区域ri中与区域rj相邻的像素个数,eij≠0当且仅当元素Ri和Rj是相邻的。
4)在区域邻接图G上定义对象级观测特征场
5)依据对象级区域邻接图G=(R,E)给出对象级邻域系统:
步骤二:根据对象级分割标标记场XO和邻域系统NO对观测特征场YO的每个区域ri的特征及其邻域的特征进行Gauss-Markov建模,构造针对每一个区域ri的对象级线性回归方程,i=1,…,l。
对象级线性回归方程使用对象级元素的面积大小和边界长度作为线性回归方程的参数,对每一个对象级元素构建线性回归方程,如图4所示,具体步骤如下:
1)在区域邻接图G=(R,E)中由位置索引集合R可以得到各个过分割区域所包含的像素个数,将之视为对象级元素的面积参数,得到面积矩阵RS={RSi|1≤i≤l},其中RSi=|ri|。
2)假设xO是对象级分割标记场XO的一个实现,根据xO得到各类别的特征均值和特征协方差矩阵,实现流程为:
(a)已知对象级分割标记场的实现为xO,计算原始图像中每个像素点对应的分割所属类别,即像素级分割标记矩阵
(b)分别计算特征均值m={mi|1≤i≤k}和特征协方差矩阵∑={∑i|1≤i≤k}:
3)对于每一个对象级元素ri,给定它的分割标记实现为xiO后,构造线性回归方程如下:
其中,为了便于计算,假设ei~N(0,∑h)是一个高斯白噪声。
步骤三:分别对观测特征场YO和分割标记场XO进行概率建模,并根据Bayes准则得到分割标记场XO的后验分布,运用最大后验概率准则更新迭代分割并由此解得最终分割。
概率建模包括由对象级线性回归方程中的误差项构造观测特征场YO的多元正态分布和采用Potts模型构造分割标标记场XO的Gibbs分布。最终分割结果为:使用Gibbs分布抽样更新迭代分割,最终输出收敛解。如图5所示,具体操作如下:
1)对于对象级观测特征场YO,不是对观测特征直接进行联合概率建模,而是对每一个对象级元素ri所构造的对象级线性回归方程中的残差项进行联合建模,得到特征场的似然函数,即:
2)对象级分割标记场XO进行概率建模,由于标记场具有马氏性,由Markov-Gibbs等价性可知,标记场符合Gibbs分布,得到标记场的先验分布如下:
其中,Z为归一化常量、U(xO)表示分割场实现为xO时的能量,V2(·)为基团势能函数,由Potts模型给出,即:
3)由Bayes公式可以得到标记场的后验分布为:
所以,求分割标记的最佳结果就转化为求分割标记场XO后验分布最大化的问题,即:
通过循环迭代,更新分割标记,最终得到结果。具体循环迭代过程如下所示:
1)首先由经典的ICM(iteration condition model)算法实现像素级MRF(Markovrandom field)方法,得到每个像素点的分割所属类别,即像素级分割场结果:xP={xs|s∈S},进而得到初始迭代的对象分割标记场实现
2)由对象级分割标记场在第t步的实现
3)分别计算每个对象级元素ri的对象级线性回归方程:
4)分别计算对象及特征场概率和标记场概率,并逐对象的更新分割标记,具体为:
本发明的运行平台是:core i3-4160@3.6GHz,RAM:4G,64位win10系统,2015a版matlab。航拍图像1024_1的彩色图像如图6(a1)所示(彩色图像已经灰度化),真实手工分割如图6(a2)所示。对图像1024_1用ICM方法,使β=0.5,得到的分割结果的彩色图像如图6(a3)所示。对图像1024_1用GMRF方法,使β=0.5,得到的分割结果的彩色图像如图6(a4)所示。对图像1024_1用MRMRF方法,用“Haar”小波分解为三层、β=0.5,得到的分割结果的彩色图像如图6(a5)所示。对图像1024_1用OMRF方法,并且使s=256,β=0.5,得到的分割结果的彩色图像如图6(a6)所示。对图像1024_1用本发明(OGMRF-RC)方法,并且使s=256,β=0.5,得到的分割结果的彩色图像如图6(a7)所示。航拍图像1024_2的彩色图像如图6(b1)所示,真实手工分割如图6(b2)所示。对图像1024_2用ICM方法,使β=0.3,得到的分割结果的彩色图像如图6(b3)所示。对图像1024_2用GMRF方法,使β=0.3,得到的分割结果的彩色图像如图6(b4)所示。对图像1024_2用MRMRF方法,用“Haar”小波分解为三层、β=0.3,得到的分割结果的彩色图像如图6(b5)所示。对图像1024_2用OMRF方法,并且使s=144,β=0.3,得到的分割结果的彩色图像如图6(b6)所示。对图像1024_2用本发明(OGMRF-RC)方法,并且使s=144,β=0.3,得到的分割结果的彩色图像如图6(b7)所示。航拍图像1024_1和图像1024_2的分割结果的Kappa系数如表1所示,分割结果的总精确度OA如表2所示。
表1分割结果的Kappa系数
表2分割结果的总精确度(Overall Accuracy,OA)
由图6和表1-2中数据可以看出,本发明的分割精度是最好的。航拍图像包含更多的纹理信息,同一类中的子对象的频谱值差异较大,而不同类别的子对象可能具有相似的频谱值。例如,在城市部分,屋顶和庭院有不同的光谱值,但是城市部分和森林部分的树木的光谱值是相似的。由于这些原因,三种基于像素的方法有很多细碎的错误分类。与基于像素的方法相比,基于对象的方法将过分割区域视为基本单元,因此显著地优化了分割精度。OMRF方法利用对象的特征的概率分布对特征域进行建模,而OGMRF-RC方法则是利用对象级线性回归方程中残差项的概率分布对特征域进行建模。OGMRF-RC方法这样做的好处是,可以减少迭代过程中同类别之间的光谱变化对于分割的影响。例如,在图6(a7)的上半部分,大型裸地和森林被精确地划分为闲置部分,而不像图6(a6)中的分割成房屋部分的OMRF那样。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
机译: 三维特征嵌入图像对象组件级语义分割的方法和装置
机译: 基于手支撑的基于数字成像的条形码符号读取系统,该系统采用一种智能照明对象的方法,以生成其数字图像,该数字图像基本没有在照明和成像操作过程中由于照明从所述对象的镜面反射而引起的噪声
机译: 通过基于相邻像素的灰度级来量化对象像素的灰度级来对彩色图像进行半色调的设备和方法