基于均值漂移和模糊聚类的自然图像无监督分割方法

摘要

本发明是一种基于均值漂移和模糊聚类的自然图像无监督分割方法，主要解决现有技术对海量自然图像的无监督分割准确率低的问题。其方案是：1)输入图像，对其进行平滑；2)在平滑后图像像素的归一化RGB彩色空间中均匀初始化64个迭代初始点；3)对初始点进行迭代搜索，得到64个收敛点；4)删除以收敛点为中心的高维球内像素数目小于删除阈值的收敛点；5)合并欧式距离小于合并阈值的收敛点，确定密度峰值及密度峰值数目，依次计算像素的隶属度和像素的平滑隶属度；6)对像素的平滑隶属度去模糊化，为每个像素加上类标签，输出分割图像。本发明不需要设置控制参数，能自动确定图像的分割类别数，可用于对海量自然图像的无监督分割。

说明书

技术领域

本发明图像处理技术领域，具体是一种对自然图像无监督分割法，可用于视频目标跟踪识别和基于内容的图像检索中。

背景技术

近年来，随着科学技术与计算机互联网技术的快速发展，数字图像在各行各业中使用的越来越广泛。在海量图像中，如何能够快速识别出一幅图像，一直成为计算机视觉与模式识别热门讨论的话题。自从20世纪90年代初，基于内容的图像检索技术被提出以来，它一直是研究者的研究热点，其主要通过提取图像的纹理、颜色、目标的形状以及它们的空间位置信息等特征，计算被检索图像与数据集中的图像的相似度距离，来实现图像的识别与检索。经过近20年的研究与发展，在应用方面也已经比较成熟，像google、百度、Bing等收索引擎公司都开发了属于自己的基于内容的图像搜索产品。比如：Google Similar Images，百度识图等。

在大数据时代，网络媒介上存在三种大数据，即静态网页的文本、语音、图像和视频，其中视频和图像的比重最大。对这些图像或视频帧进行快速准确、无监督地分割，能产生巨大的经济效益。比如，图像分割用于图像检索、图像和视频编辑、基于图像和视频内容的广告投放。在人工智能时代，计算机视觉是人工智能的重要组成部分，图像分割尤其是自动分割技术是机器视觉的关键技术，在图像识别、目标跟踪、场景分析识别等方面，图像分割都起着关键的作用。

自动确定图像的分割类别数一直是学术界和工业界研究的热点和难点，目前还没有十分有效的算法来精确地确定每一幅图像的类别数。对于结构简单的自然图像，比较好的方法能准确确定类别数，但对于结构比较复杂的图像，一般会存在误差。现有的自然图像无监督分割方法不稳定，容易造成图像的过分割或欠分割。由于自然图像场景比较复杂，目前还没有比较好的方法准确确定自然图像的类别数。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于均值漂移和模糊聚类的自然图像无监督分割方法，以准确地确定图像的类别数，提高分割精度。

本发明的技术方案是这样实现的：

一.技术原理：

自然图像中的每个目标区域的像素点在RGB特征空间上会有一定的密度分布形式，且每个类别的像素点在RGB特征空间分布中有一个密度最大点，在图像上就是类别的主色彩。图像像素分布的密度最大点简称为密度峰值，它实际上就是分割区域中像素的聚类中心，找到了密度峰值，就确定了分割区域的聚类中心，同时根据密度峰值的数目就可以确定图像的分割区域数。根据这一思路，本发明采用均值漂移算法来搜索自然图像在RGB彩色空间的密度峰值，可以同时确定图像的分割类别数和聚类中心，然后用改进的模糊聚类算法实现自然图像的分割，该发明方法能实现自然图像的自动分割。

二.技术方案

根据上述原理，本发明的实现技术方案包括如下：

(1)读取待分割自然图像I_t，并对自然图像I_t所有像素的RGB值除以255进行归一化处理，使得每个像素RGB值的范围在[0,1]之间，其中t＝1,2,…,n，n表示待分割图像数量；

(2)对归一化后的自然图像进行平滑，得到平滑图像I′_t；

(3)在平滑后自然图像的RGB彩色空间中均匀初始化64个搜索初始点即初始聚类中心，对应的初始聚类中心数目c＝64，这些起始点构成的初始点集合表示为V＝{v₁,v₂,…,v_p,…,v₆₄}，其中，v_p表示第p个起始点，p＝1,2,…,64；

(4)使用均值漂移迭代公式，以64个初始点为起点进行迭代搜索，得到收敛点集合V′＝{v′₁,v′₂,…,v′_k,…,v′₆₄}，其中，v′_k表示第k个收敛点；

(5)在RGB彩色空间中，设置收敛点v′_k的下标初始值k＝1，设置阈值M＝100，删除周围像素点分布密度比较小的收敛点：

(5a)计算以收敛点v′_k为球心，以h为半径的高维球包含的像素点数目n_k，比较n_k和M的大小：若n_k＜M，则从收敛点集合V′中删除收敛点v′_k，并令c＝c-1，否则，不删除v′_k；

(5b)令k＝k+1，判断k≤64是否成立：若成立，返回(5a)，否则进入步骤(6)；

(6)合并收敛点集合V′＝{v′₁,v′₂,…,v′_p,…,v′_q,…,v′_c}中任意两个收敛点间的欧氏距离小于阈值h的收敛点，得到聚类中心集合V″，其中，v′_p表示第p个收敛点，v′_q表示第q个收敛点，p≠q；

(7)根据步骤(6)计算得出的聚类中心集合V″，计算平滑后的自然图像I′_t的像素点隶属度矩阵U，矩阵U的第k行，第i列元素u_ki的计算公式如下：；

(8)对隶属度矩阵U进行平滑，得到像素的平滑隶属度矩阵U′，矩阵U′的第k行，第i列元素u′_ki的计算公式如下：

其中，u′_ki∈[0,1]，i＝1,2,…,N，N表示平滑图像I′_t中像素的总数，k＝1,2,…,c，c表示聚类中心的总数，N_i表示以第i个像素为中心的平滑窗口内的邻域像素集合，s_j和s_i表示平滑窗口内像素的空间坐标，x_i表示平滑窗口中心像素的值，x_j表示邻域像素的值，设置平滑窗口的大小为5×5，σ_s表示平滑窗口的空间核带宽，在整个平滑过程中，σ_s的大小是固定不变的，设置σ_s＝1，σ_ir表示第i个像素对应的自适应值域核带宽，N_R表示邻域窗口内邻域像素的数目；

(9)采用最大隶属度规则对每个像素点的平滑隶属度u′_ki进行去模糊化，得到图像I_t中第i个像素的类标签L_i：

(10)重复步骤(9)，对图像I_t中的所有像素点进行去模糊化，得到分割图像，分割图像中每个分割区域的像素具有相同的类标签。

本发明与现有技术相比具有以下优点：

1.本发明对图像进行平滑处理，能有效抑制噪声和离群值对分割结果的影响。

2.本发明采用局部密度梯度上升的方法搜索像素的密度峰值，不仅能发现像素的分布模式，而且能确定出全局最优的聚类中心和分割类别数。

3.本发明通过对像素隶属度矩阵进行平滑，既提高了对噪声和离群值的抑制能力，又提高分割区域内部的一致性。

附图说明

图1是本发明的实现总流程图；

图2是本发明在实现过程中像素点及均值漂移迭代点在RGB空间的分布形式图；

图3是用本发明方法对编号为A的自然图像的分割结果与人工分割结果的对比图。

图4是用本发明方法对编号为B的自然图像的分割结果与人工分割结果的对比图。

图5是用本发明方法对编号为C的自然图像的分割结果与人工分割结果的对比图。

图6是用本发明方法对编号为D的自然图像的分割结果与人工分割结果的对比图。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤一：对待分割图像进行归一化处理。

输入如图2(a)所示的自然图像I_t，i＝1,2,…,n，n表示图像数据集中待分割图像的数量；对图像I_i像素的RGB值进行归一化处理，使每个彩色通道的值在[0,1]范围之间，图2(a)图像像素点在归一化RGB彩色空间中分布如图2(b)所示；

步骤二：利用如下平滑公式对图像I_t进行平滑：

其中，表示第i个滑动窗口的中心像素的第k+1次迭代值，滑动窗口迭代结束条件为N_i表示滑动窗口内所有像素的集合，s_i表示滑动窗口中心点像素的空间坐标，s_j表示滑动窗口内的邻域像素空间坐标，σ_s表示空间约束核带宽，σ_s在整个平滑滤波过程中是固定不变的，设置σ_s＝1，σ_k表示滑动窗口在第k次迭代时的值域核带宽，σ_k随着迭代过程在不断调整的，它的计算公式如下：

其中,N_R表示滑动窗口内像素的总数，N_i表示第i个滑动窗口内所有像素点的集合，x_j表示滑动窗口内的像素点的值，表示第i个滑动窗口中心像素的第k次迭代值，设置滤波滑动窗口大小为5×5，设置滑动窗口迭代终止阈值ε₁＝0.001。平滑后图像像素点分布如图2(c)；

步骤三：在RGB彩色空间中均匀初始化均值漂移迭代起始点。

在单位彩色立方体空间均匀初始化64个密度峰值搜索初始点，每个初始点是一个小立方体的中心，单位立方体被64个小立方体均匀分割，每个小立方体的体积是1/64，小立方体外接球的半径为h即是在整个彩色空间中迭代搜索过程中使用的均匀核带宽，初始点集合表示为：V＝{v₁,v₂,…,v_p,…,v₆₄}；

由于64个小立方体的外接球能完全覆盖单位彩色立方体的空间，利用这种初始化方式保证了彩色立方体内的所有像素在第一次迭代时都被搜索到，64个均值漂移迭代初始点在归一化RGB彩色空间中的分布如图2(d)所示；

步骤四：在平滑图像的归一化RGB彩色空间中，使用均值漂移迭代公式迭代搜索像素点密度峰值。

均值漂移在彩色空间中的迭代公式如下所示：

其中，表示第m个迭代搜索点在第k次迭代值，m＝1,2,…,64，S_h(y_k)表示在RGB彩色空间中以为中心，h为半径的高维球所包围的像素点集合，n_k表示集合S_h(y_k)内像素点的数目，S_h(y_k)的表示公式如下：

其中，x表示集合S_h(y_k)内的像素点，设置均值漂移迭代终止阈值ε₂＝0.001，第m个迭代点收敛的条件为：收敛点集合表示为：V′＝{v′₁,v′₂,…,v′₆₄}；

以64个初始点为迭代搜索起始点，使用均值漂移迭代公式在整个彩色空间内搜索密度峰值，均值漂移向量会逐渐向像素分布密度大的方向移动，直至收敛到局部密度峰值点，由于在均值漂移迭代搜索过程中，64个均值漂移迭代中心点之间互不影响，且不同时收敛，且在RGB彩色空间中，部分均值漂移迭代搜索起始点周围无像素点分布，故这些迭代搜索起始点在第一次迭代后即收敛，64个收敛点在归一化RGB彩色空间中分布如图2(e)所示。

步骤五：在64个收敛点中，删除满足阈值条件的收敛点。

设置收敛点总数c＝64，设置删除阈值M＝100，并将其与集合S_h(y_k)内像素点的数目n_k进行比较：若n_k＜M，则从收敛点集合中删除收敛点并令c＝c-1，否则，不删除收敛点m＝1,2,…,64；

所述收敛点y_k+1，是沿着密度梯度增大的方向迭代搜索得到的，它是局部密度极大值点，对应的像素集合S_h(y_k)内像素数量n_k应该是局部最大的，如果n_k小于一定的阈值，说明此收敛点并不是真正的局部像素密度峰值，并不能代表一个类别的像素特征，应该删除这些密度比较小的收敛点，该删除方法能有效避免图像的过度分割，删除满足条件的收敛点后得到的的集合表示为：V′＝{v′₁,v′₂,…,v′_p,…,v′_q,…,v′_c}。

步骤六：合并欧式距离小于合并阈值的收敛点。

设置合并阈值合并集合V′＝{v′₁,v′₂,…,v′_p,…,v′_q,…,v′_c}中欧氏距离小于阈值h的任意两个收敛点，实现过程如下：

(6a)设置左收敛点v′_p下标初始值p＝1；

(6b)设置右收敛点v′_q下标初始值q＝p+1；

(6c)判断q≤c是否成立：若成立，则执行(6d)，否则，执行(6f)；

(6d)计算d＝||v′_p-v′_q||，判断d＜h是否成立：若成立，则令v_q′＝(v′_p+v′_q)/2，c＝c-1，p＝p+1，返回(6b)，否则，执行(6e)；

(6e)令q＝q+1，判断q≤c是否成立：若成立，则返回(6d)，否则，执行(6f)；

(6f)令p＝p+1，判断p≤c-1是否成立：若成立，则返回(6b)，否则，结束计算。

上述过程最终计算得出聚类中心集合，表示为：V″＝{v₁,v₂,…,v_c}，删除合并收敛点后得到的聚类中心在归一化RGB彩色空间中分布如图2(f)所示；

步骤七：根据步骤六获得的聚类中心集合V″，计算平滑图像的像素核模糊隶属度。

(7a)计算每个聚类中心对应的核带宽σ_k：

其中，N表示图像像素的总数，x_j表示图像第j个像素，v_k表示第k个聚类中心；

(7b)根据式<9>计算得出的σ_k，利用式<10>计算高斯核距离k(x_i,v_k)：

其中，x_i表示图像中第i个像素；

(7c)利用式<11>计算图像像素的隶属度矩阵U，u_ki为U中第k行，第i列的隶属度：

步骤八：利用式<11>计算得出的隶属度矩阵U，根据式<12>计算图像像素的平滑隶属度矩阵U′中第k行，第i列的平滑隶属度u′_ki：

其中，N_i表示以像素i为中心的平滑窗口内像素的集合，N_R表示平滑窗口内像素的总数，s_j和s_i表示窗口内像素的平面空间坐标，x_i表示平滑窗口中心像素，x_j表示邻域像素，u_kj表示平滑窗口内第j个像素的隶属度，σ_s′表示平滑窗口的空间核带宽，σ_s′在整个平滑过程中是固定的，取σ_s′＝1，σ_ir表示第i个平滑窗口对应的值域核带宽，对像素隶属平滑的好处是增强对噪声和离群值的鲁棒性，并更好地保护图像细节和分割区域内部的连续性。

步骤九：采用最大隶属度规则对每个像素点的平滑隶属度u′_ki进行去模糊化，得到图像中第i个像素的类标签L_i：

步骤十：输出分割图像，输入下一幅待分割图像，重复上述步骤，直到所有图像分割完毕。

本发明的效果可以通过以下实验进一步说明：

1.仿真实验采用的图像：

实验采用伯克利大学自然图像分割数据集BSD300,该数据集有300幅自然图像，本发明对这300幅自然图像进行无监督分割，在300幅分割图像中选取4幅分割图像在说明书附图中进行展示，这四幅图像编号分别为A、B、C和D。

2.仿真实验的参数设定：

设用于图像平滑的滑动窗口迭代收敛阈值ε₁＝0.001，滑动窗口空间核带宽σ_s＝1，滑动窗口大小为5×5，均值漂移值域带宽收敛点删除阈值M＝100，收敛点合并阈值均值漂移迭代收敛阈值ε₂＝0.001，用于隶属度矩阵平滑的平滑窗口空间核带宽σ_s′＝1。

3.仿真实验环境：

CPU为core3 3.2GHz、程序运行内存为4Gb、操作系统为Windows7系统，程序运行环境为OpenCV+VisualStudio2010。

4.仿真内容：

仿真1，用本发明方法对编号为A自然图像进行分割，并与人工分割的标准结果进行对比，分割结果如图3，其中：

图3(a)是在图像A上进行人工分割的标准参照结果，

图3(b)是人工对图像A的二值边界分割结果，

图3(c)是本发明对图像A的直接分割结果，

图3(d)是本发明对图像A的二值边界分割结果；

仿真2，用本发明方法对编号为B自然图像进行分割，并与人工分割的标准结果进行对比，分割结果如图4，其中：

图4(a)是在图像B上进行人工分割的标准参照结果，

图4(b)是人工对图像B的二值边界分割结果，

图4(c)是本发明对图像B的直接分割结果，

图4(d)是本发明对图像B的二值边界分割结果；

仿真3，用本发明方法对编号为C自然图像进行分割，并与人工分割的标准结果进行对比，分割结果如图5，其中：

图5(a)是在图像C上进行人工分割的标准参照结果，

图5(b)是人工对图像C的二值边界分割结果，

图5(c)是本发明对图像C的直接分割结果，

图5(d)是本发明对图像C的二值边界分割结果；

仿真4，用本发明方法对编号为D自然图像进行分割，并与人工分割的标准结果进行对比，分割结果如图6，其中：

图6(a)是在图像D上进行人工分割的标准参照结果，

图6(b)是人工对图像D的二值边界分割结果，

图6(c)是本发明对图像D的直接分割结果，

图6(d)是本发明对图像D的二值边界分割结果；

本发明方法能准确地确定自然图像的分割类别数，本发明分的自然图像的分割结果与人工分割结果很相似，说明本发明方法具有较高的分割准确率，本发明分割结果与人工分割结果相比，能分割出图像的细节区域，具有较好的细节保护能力。