法律状态公告日
法律状态信息
法律状态
2020-06-30
专利权的转移 IPC(主分类):G06T7/11 登记生效日:20200611 变更前: 变更后: 申请日:20150210
专利申请权、专利权的转移
2017-10-13
授权
授权
2015-10-14
实质审查的生效 IPC(主分类):G06T7/00 申请日:20150210
实质审查的生效
2015-09-16
公开
公开
技术领域
本发明涉及计算机视觉、图像处理等技术领域，尤其是基于显著性的对象分割方法。
背景技术
基于显著性的对象分割是一项比较热门的研究，它的目标是将图像中的感兴趣对象分割出来。在自然图像中检测显著性区域是对于人类视觉系统的模仿，也就是自动的找出人类会将目光聚集到的感兴趣区域。当人们观察一张自然图像或者真实场景时，他们会花更多的注意力在整个显著对象上，而不仅仅是一块显著区域上。因此，基于显著性的对象分割是一项有必要的研究，它被广泛地应用于许多高层应用，例如对象识别、行为分析、图像感兴趣对象分割等。尽管如此，当图像被严重退化的情况下，尤其是前景具有局部的运动模糊而背景具有均一运动模糊的情况下，基于显著性信息的显著对象分割方法会经常失效。图像的退化现象会对大多数计算机视觉应用产生严重影响。它通常会导致算法结果的精度降低，甚至导致一些算法的失效。这个问题在对于自然图像的基于显著性的对象分割中十分常见。在大多数退化图像中的显著对象可能包含了许多不够显著的部分，这些部分就会在进行对象分割时引起歧义。因此，基于显著性的对象分割在退化图像上的结果通常是不完整的。
发明内容
为了克服由于严重图像退化所造成的对象分割结果丢失部分区域的问题，本发明提出一种适用于严重退化图像的基于显著性的对象分割方法，它能够有效地提高分割结果的准确性和完整性，避免了由严重图像退化所带来的分割结果丢失部分区域的问题，提高了显著对象分割对于图像退化的鲁棒性。
本发明解决其技术问题所采用的技术方案是：
一种适用于严重退化图像的基于显著性的对象分割方法，包括以下步骤：
(1)通过显著图生成初始化的显著对象种子
在基于软图像抽象化方法得到的显著图的直方图中显著度更高的范围内寻找一个直方图的峰值，该显著度更高的范围选取为(127,255]，通过阈值T对显著图进行阈值分割得到一张二值化的分割结果；一个接一个地标记连通域，并且在标记前采用形态学膨胀操作来保护目标对象更多的显著细节，在已经标记好的不连通区域中提取最主要的区域作为初始显著对象种子；
(2)生成基于局部自相关性的骨架
点(x,y)在以该点为中心的局部窗口w内的局部自相关方程：
>
其中，I(xk,yk)代表点(xk,yk)在窗口w(3×3)内的梯度，Δx和Δy分别代表在x和y两个方向上的位移量；
该公式(2.1)被近似为：
>
其中
>
计算从每个点获得的矩阵M的两个特征值，其中较小特征值的特征向量对应椭圆的长轴方向，这个方向可以表示为点的延伸方向，将每个点计算得到的值转换到方向空间[0,180]中，每个值都表示在一条直线上的正反两个方向，所生成的运动方向图每个像素上的值都对应某个的方向；
通过平均分配的方式将运动方向图归一化到4个方向{0,45,90,135}，在运动方 向图归一化后的图像中数量最大的方向将被当做背景的方向；之后将背景的方向都去除，剩下的最大连通区域就被当做补充的对象种子；沿着背景方向搜索背景中两个邻近方向来修补丢失的部分。当两个邻近相关区域在空间上靠近彼此时就将它们连在一起；
如果从步骤(1)中得到初始显著对象种子由若干个不连通的区域组成，这就表示从步骤(1)中得到的结果不能用来代表目标对象的整个骨架，在这种情况下，基于局部自相关性的骨架被用来让初始显著对象种子优化成更好的显著对象种子，考虑到由局部自相关性得到的骨架和目标对象相比有些膨胀，所以应用了形态学的腐蚀操作来修正这一问题；当初始对象种子由若干不连通的区域组成时，将基于局部自相关性的骨架和初始对象种子融合在一起作为最终的显著对象种子；否则，仅仅将步骤(1)中得到结果作为最终的显著对象种子；
在显著对象种子里的空洞需要被填充，除了那些占了整个目标对象的百分比阈值以上的空洞；
(3)在显著对象种子的边缘上生成用于扩展的起始点
在显著对象种子的边界上的每个点都被当作我们扩展方法的起始点，构建了一个3×3大小的卷积核Ns，并且让显著对象种子二值图Mb和卷积核Ns作卷积操作，当操作窗口中中心点p的值是1时，Ns就会被使用计算出一个决定因子d：
>
>其中，pij显著对象种子在w窗口中第i行第j列的像素点的二进制值，而Nsij表示在Ns中第i行第j列的值，如果n不等于0或8，决定因子d为1，表示所有点的值不都是一样的，就把这个中心点作为显著对象种子边缘上的一个起始点；
(4)为每个起始点初始化扩展的方向
基于起始点集{Ps}，每个起始点的方向都会被计算，设想每个起始点都沿着法线方向扩展，所以需要计算这个法线方向，将扩展方向分成8种类型，并且用0至7八个数字来标记它们，一个卷积核Nd被构造出来用来确定每个起始点的法线方向，于计算方向ld的标记值的公式如下所示:
>
其中，pij是二值图Mb在卷积窗口w中对应第i行第j列像素的值，
(5)设置扩展的终止条件并完成扩展操作
采用自适应阈值canny算子的算法来检测原始图像的边界，并规定了一个可扩展限制区域，该限制区域是由显著对象种子进行三次膨胀得到的；
在限制区域中，每个边界上的点都有机会成为扩展的终止点，根据扩展方向将终止条件分成两类：{0,2,4,6}和{1,3,5,7}，每种类型都包含了若干种情况；
当一个起始点沿着它的法线方向找到了它的终止点，就会进行起始点向所对应的终止点延伸的一个操作，把在起始点(x,y)和终止点(xe,ye)之间的延伸线上的点重新赋值，延伸线上的点集合表示为如下公式：
{p(x+dixΔx,y+diyΔy)＝1|0≤Δx≤|x-xe|,0≤Δy≤|y-ye|}， (5.1)其中，p(x+dixΔx,y+diyΔy)是延伸线上的点的二进制值，它表示在限制区域中延伸线上重新赋值的点会成为我们最终目标对象中的点；di的取值从集合{(-1,-1),(0,-1),(1,-1),(1,0),(1,1),(0,1),(-1,1),(-1,0)}中寻找，它对应图3中的8个方向 标记值{0,1,2,3,4,5,6,7}；
(6)标记没能找到终止点的起始点作为退化区域标记点
如果一个起始点在扩展限制区域中不存在终止点，将该起始点标记为一个在退化区域中的点，获得一个代表退化区域的标记点集合P1；
(7)对扩展后的结果进行修补和平滑
按照面积对这些不连通的孔洞进行排序，并且将孔洞中的点重新赋值成为目标对象中的点，除了那些面积占整个对象的百分比以上的孔洞，最后，使用高斯滤波器来平滑结果中由误差引起的粗糙的边界。
(8)根据退化区域标记点用超像素修补对象分割结果
采用由简单线性迭代聚类超像素分割方法得到的超像素来修补那些被丢失的退化区域，当基于局部自相关性的骨架结合到显著对象种子时，不执行基于超像素的对象融合的过程；
>
其中，Objf表示最终的目标对象，而Obje表示扩展之后所得到的结果；参数a＝0表示基于局部自相关性的骨架没有应用到显著对象种子中，nli表示在超像素Si中标记点的数量，这些标记点是从步骤(6)中获得的，并且属于集合Pl。
本发明的技术构思为：构建了一种采用自动扩张机制的基于显著性的对象分割方法，它可以被粗略地分为两个步骤：显著对象种子的生成和基于显著对象种子的分割。在显著对象种子的生成过程中，我们基于软图像抽象化方法的结果生成了初始显著对象种子，并且结合局部自相关一致性来优化显著对象种子，将它作为目标对象的整个骨架。在基于显著对象种子的分割过程中，基于在退化区域中的边界不显著的观察现象，我们提出了一个新颖的叫做“法线扩展”的方法。基于在显著对象边缘的起始点，我们计算到每个起始点对应的传播方向，并且列出 了终止条件。通过这种方法，显著对象种子就可以扩展到目标对象的真实边界，那些在显著对象种子中不能找到对应边界的点会被标记。为了修补被丢失的退化区域，根据被标记的点的密度，超像素被融合到我们的最终对象分割结果中。
本发明的有益效果主要表现在：运用法线扩展的方法使显著对象种子扩展到目标对象的真实边界，结合局部自相关性以及超像素能有效地提高分割结果的准确性和完整性，避免了由严重图像退化所带来的分割结果丢失部分区域的问题，提高了显著对象分割对于图像退化的鲁棒性。
附图说明
图1根据局部自相关方程得到的M矩阵的两个特征向量作为一个椭圆的长短轴，由椭圆的长轴(即较小的特征值对象的特征向量)与水平线所成的夹角作为该像素点的延伸方向(引申为运动方向)。
图2在显著对象种子上生成扩展起始点。左边是所用的卷积核，右边是卷积核作用于显著对象种子中一个像素的过程以及其结果。
图3左边为扩展方向的8种类型，右边是用0至7八个数字来标记这些方向。
具体实施方法
下面结合附图对本发明做进一步说明。
参照图1～图3，一种适用于严重退化图像的基于显著性的对象分割方法具体步骤如下：
(1)通过显著图生成初始化的显著对象种子。为了通过扩展能够获得整个对象，我们需要一个良好的目标对象的骨架。通常情况下，显著区域是前景区域的可能性更大。因此，我们在基于软图像抽象化方法得到的显著图的直方图中显著度更高的范围内寻找一个直方图的峰值。在我们的方法中，这个范围选取为(127,255]，这个范围对应了显著度高的区域。然后，通过阈值T对显著图进行阈值分割得到一张二值化的分割结果。我们一个接一个地标记连通域，并且在标记前采用形态 学膨胀操作来保护目标对象更多的显著细节。我们在已经标记好的不连通区域中提取最主要的区域作为我们粗略的初始显著对象种子。
(2)生成基于局部自相关性的骨架。下面这个公式是点(x,y)在以该点为中心的局部窗口w内的局部自相关方程：
>
其中I(xk,yk)代表点(xk,yk)在窗口w(3×3)内的梯度，Δx和Δy分别代表在x和y两个方向上的位移量。
这个公式可以被近似为：
>
其中
>
我们计算从每个点获得的矩阵M(2×2)的两个特征值。其中较小特征值的特征向量对应椭圆的长轴方向(如图2所示)，这个方向可以表示为点的延伸方向(运动的方向)。我们将每个点计算得到的值转换到方向空间[0,180]中，这样每个值都表示在一条直线上的正反两个方向。所生成的运动方向图每个像素上的值都对应某个的方向。
我们通过平均分配的方式将运动方向图归一化到4个方向{0,45,90,135}。在运动方向图归一化后的图像中数量最大的方向将被当做背景的方向。之后将背景的方向都去除，剩下的最大连通区域就被当做补充的对象种子。当然，对象种子上与背景方向相同的部分也会被丢失。我们沿着背景方向搜索背景中两个邻近方向来修补丢失的部分。当两个邻近相关区域在空间上靠近彼此时就将它们连在一起。
我们在这里假设：如果从步骤(1)中得到初始显著对象种子由若干个不连通的区域组成，这就表示从步骤(1)中得到的结果不能用来代表目标对象的整个骨 架。在这种情况下，基于局部自相关性的骨架被用来让初始显著对象种子优化成更好的显著对象种子。考虑到由局部自相关性得到的骨架和目标对象相比有些膨胀，所以应用了形态学的腐蚀操作来修正这一问题。当初始对象种子由若干不连通的区域组成时，我们将基于局部自相关性的骨架和初始对象种子融合在一起作为我们最终的显著对象种子。否则，仅仅将步骤(1)中得到结果作为我们最终的显著对象种子。在下一步之前，在显著对象种子里的空洞需要被填充，除了那些占了整个目标对象的20％以上的空洞(20％是我们通过大量实验得到阈值)。
(3)在显著对象的边缘上生成用于扩展的起始点。通过我们的初始化方法，生成了显著对象种子的二值图Mb(只有值0和1)。我们提出了一种新颖的方法来将显著对象种子扩展到目标对象的真实边界。在显著对象种子的边界上的每个点都被当作我们扩展方法的起始点。下面将会介绍如何建立起始点集{Ps}的方法。
我们构建了一个3×3大小的卷积核Ns(如图2所示)，并且让显著对象种子图Mb和卷积核Ns作卷积操作。当操作窗口中中心点p的值是1时，Ns就会被使用计算出一个决定因子d。
>
>其中pij显著对象种子在w窗口中第i行第j列的像素点的二进制值，而Nsij表示在Ns中第i行第j列的值。如果n不等于0或8(决定因子d为1)，就表示所有点的值不都是一样的，于是我们就把这个中心点作为显著对象种子边缘上的一个起始点。
(4)为每个起始点初始化扩展的方向。基于起始点集{Ps}，每个起始点的方向都会被计算。我们设想每个起始点都沿着法线方向扩展，所以我们需要计算这个法线方向。我们粗略地将我们的扩展方向分成8种类型，并且用0至7八个数字来标记它们，如图3所示。一个卷积核Nd被构造出来用来确定每个起始点的法线方 向。用于计算方向ld的标记值的公式如下所示:
>
其中pij是二值图Mb在卷积窗口w(3×3)中对应第i行第j列像素的值，
(5)设置扩展的终止条件并完成扩展操作。我们的方法要将显著对象种子扩展到目标对象的真实边界，所以需要创建一个边界来终止扩展。我们才有了一个叫做自适应阈值canny算子的算法来检测原始图像的边界，并规定了一个可扩展限制区域。这个限制区域是由显著对象种子进行三次膨胀得到的。
在限制区域中，每个边界上的点都有机会成为扩展的终止点。我们根据如图3所示的扩展方向可以将终止条件分成两类：{0,2,4,6}和{1,3,5,7}。每种类型都包含了若干种情况。
当一个起始点沿着它的法线方向找到了它的终止点，就会进行起始点向所对应的终止点延伸的一个操作。我们把在起始点(x,y)和终止点(xe,ye)之间的延伸线上的点重新赋值。延伸线上的点集合可以表示为如下公式：
{p(x+dixΔx,y+diyΔy)＝1|0≤Δx≤|x-xe|,0≤Δy≤|y-ye|}， (5.1)其中p(x+dixΔx,y+diyΔy)是延伸线上的点的二进制值，它表示在限制区域中延伸线上重新赋值的点会成为我们最终目标对象中的点。di的取值可以从集合{(-1,-1),(0,-1),(1,-1),(1,0),(1,1),(0,1),(-1,1),(-1,0)}中寻找，它对应图3中的8个方向标记值{0,1,2,3,4,5,6,7}。
(6)标记没能找到终止点的起始点作为退化区域标记点。根据在退化区域的边界一定是不显著的这个假设，如果一个起始点在扩展限制区域中不存在终止点的话，我们就将该起始点标记为一个在退化区域中的点。最后可以获得一个代表退化区域的标记点集合P1。
(7)对扩展后的结果进行修补和平滑。和步骤(2)中所描述的生成显著对象种子过程的最后一步类似，这里需要一个操作来修补扩展后的结果中的孔洞。我们按照面积对这些不连通的孔洞进行排序，并且将孔洞中的点重新赋值成为目标对象中的点，除了那些面积占整个对象的20％以上的孔洞(这里的阈值20％是通过大量实验得到的)。最后，我们使用高斯滤波器来平滑结果中由误差引起的粗糙的边界。
这里必须要说明，我们所提出的“法线扩展”中初始化方向的方法不适用于获取直线的法线方向的情况。它只适用于计算一些大区域边界上的法线方向。并且一些由于生成起始点、初始化方向或者计算终止条件的过程所引起的误算将不会对我们的系统造成较大的影响，我们的系统具有很高的鲁棒性。
(8)根据退化区域标记点用超像素修补对象分割结果。基于在图像的退化区域中的边界肯定是不显著的这一个假设，我们采用由简单线性迭代聚类超像素分割方法得到的超像素来修补那些被丢失的退化区域。考虑到结合局部自相关性的一部分显著对象种子比真实目标对象要大，所以当基于局部自相关性的骨架结合到显著对象种子时，我们不执行这个基于超像素的对象融合的程序。
>
其中Objf表示最终的目标对象，而Obje表示扩展之后所得到的结果。参数a＝0表示基于局部自相关性的骨架没有应用到显著对象种子中，nli表示在超像素Si中标记点的数量，这些标记点是从步骤(6)中获得的，并且属于集合Pl。
本实施例的适用于严重退化图像的基于显著性的对象分割方法，对输入图像 使用基于软图像抽象化方法得到显著图，再经过通过阈值分割，抽取主要连通域作为粗略的显著对象种子；使用局部自相关性计算每个像素点的运动方向，如图1所示，滤除背景后得到基于的局部自相关性的骨架；根据粗略显著对象种子的优劣情况决定是否结合基于的局部自相关性的骨架形成最终的显著对象种子点；根据显著对象种子寻找用于扩展的起始点，如图2所示；对每个起始点计算其法线方向作为扩展方向，8种可能的扩展方向如图3所示；为每个起始点设置终点，找到终点的起始点用线和终点连接起来；没有找到终止点的起始点作为退化区域中的点进行标记；对扩展后的结果进行修补和平滑；最后，根据退化区域标记点用超像素修补对象分割结果。
机译： 摄影传感器板，一种制造没有胶片的双能射线照相传感器板的方法，用于在下一次曝光之前擦除先前的图像，以及对没有胶片的照相图像传感器进行曝光，以擦除，曝光和读取没有胶片的传感器图像摄影图像，以进行扫描多个像素，用于获取存储在图像存储传感器中的图像，并用于获取来自分割板的信号，以及用于并行操作的扫描系统，用于读取临时存储图像的传感器，用于X射线X线摄影而没有胶片，用于不带胶片的X射线放射学，以及用于分段板信号处理的电气装置，分段界面没有明显的退化
机译： 基于粗线明确指定区域的对象图像分割方法，其中包含要分割的数字彩色静态图像中对象的轮廓
机译： 通过重叠基于图像的对象检测和语义图像分割主动检测对象变化的周围状况识别方法
