基于双目视差和活动轮廓的自适应彩色图像分割方法

摘要

本发明涉及基于双目视差和活动轮廓的自适应彩色图像分割方法，属于计算机视觉处理技术领域。解决了现有的活动轮廓模型都仅局限于分割单目灰度图像，不能很好的应用于双目彩色图像；确定初始轮廓时主要依靠先验经验，不能准确的实现自适应设置初始轮廓，因而影响分割结果的问题。基于双目视差和活动轮廓的自适应彩色图像分割方法，是按照以下步骤实现的：基于双目视差的自适应初始轮廓设置；色彩空间的转换；建立基于改进的LCV模型的能量泛函；轮廓曲线的演化；分割结果的输出。本发明适用于立体图像分割或立体视频压缩预处理及目标识别等。

说明书

技术领域

本发明涉及立体图像处理，是一种基于双目视差和活动轮廓的自适应彩色图像分割方法，属于计算机视觉处理技术领域。 

背景技术

人们所获得的信息大部分来自视觉系统，但是，人眼看见的事物具有立体感，而普通的图像是二维的。随着科技的进步，双目立体图像在人们的生活中逐渐占有一席之地，在各个领域的应用，也变得越来越重要。如对象追踪，自动导航，医学辅助诊断，虚拟现实，地图绘制等。图像工程通常可以分为三个层次，图像处理、图像分析和图像理解。而图像分割作为从图像处理到图像分析过程的关键步骤，长期以来也一直是研究的焦点及难点。近年来，活动轮廓模型因其具备易于建模且数学求解高效等优点，成为分割领域的一大热点。该类方法使用从图像数据获得的约束信息和目标的位置、大小及形状等先验知识，并将其统一于一个特征提取过程中，可有效地对目标进行分割。 

按照轮廓曲线类型的不同，活动轮廓模型可分为两类：参数活动轮廓模型和几何活动轮廓模型。参数活动轮廓模型又称Snake模型，这类模型对初始位置敏感，需将其设置在感兴趣目标附近，而在曲线演化过程中应对拓扑变化的能力也较差。几何活动轮廓模型将高维曲面函数(水平集函数)的零水平集表示为平面的闭合曲线，采用水平集的形式来描述曲线的演化，因而隐含有拓扑变化的能力。但是仅采用边缘信息的水平集算法，对弱边缘和不连续边缘较敏感。Chan和Vese在《IEEE Transactions on Image Processing》2001,10(2)，pp.266-277上发表的文章《Active contours without edges》提出了一种Chan-Vese模型，简称CV模型，利用匀质区域相似性的信息，采取匀质的全局统计假设，可以较好的分割出弱边缘或不连续边缘的目标。但对于非匀质的图像，则不能得到正确的分割结果，并且只能进行灰度分割。在CV模型的基础上，Lankton和Tannenbaum在《IEEE Transactions on Image Processing》2008，17(11)，pp.2029-2039上发表的文章”Localizing region-based active contours”提出了一种基于局部信息的几何活动轮廓模型，简称LCV模型，该模型直接统计局部像素灰度均值，很好的解决了分割非匀质图像的问题。但已提出的几种活动轮廓模型都仅局限于分割单目灰度图像，不能很好的应用于双目彩色图像。 

活动轮廓模型是通过轮廓曲线演化来分割目标，当设置的初始轮廓越接近感兴趣目标的位置、大小和形状，其分割结果精度越高。而目前确定初始轮廓时主要依靠先验经验， 不能准确的实现自适应设置初始轮廓位置，因而影响分割结果。 

发明内容

本发明的目的是提出一种基于双目视差和活动轮廓的自适应彩色图像分割方法，以针对现有的活动轮廓模型都仅局限于分割单目灰度图像，不能很好的应用于双目彩色图像；确定初始轮廓时主要依靠先验经验，不能准确的实现自适应设置初始轮廓位置，因而影响分割结果的问题。 

为解决上述技术问题所采用的技术方案是： 

本发明所述的基于双目视差和活动轮廓的自适应彩色图像分割方法，是按照以下步骤实现的： 

步骤一、基于双目视差的自适应初始轮廓设置； 

步骤二、色彩空间的转换； 

步骤三、建立基于改进的LCV模型的能量泛函； 

步骤四、轮廓曲线的演化； 

步骤五、分割结果的输出。 

本发明的有益效果是： 

一、本发明对基于局部信息的几何活动轮廓模型，即简称LCV模型进行了改进，将其扩展到双目彩色图像。 

二、改进后的LCV模型在设置初始轮廓的过程中引入双目视差，能正确的自适应设置初始轮廓，和依靠先验信息得到的初始轮廓相比，这种方法能够得到更加接近感兴趣目标位置、大小和形状的初始轮廓，提高分割双目图像的精度。 

三、本发明将初始轮廓信息添加到LCV模型的能量泛中作为轮廓形状约束项，是指LCV模型的水平集函数是由初始轮廓曲线决定的，用此就能有效的将目标的形状信息加入分割模型中，提高分割的效率。 

四、本发明对效率进行了量化评价。在相同步长的情况下，不同的模型分割同一幅图像所需要的迭代次数如表1所示。从表1可见，本发明比LCV和CV两种模型迭代次数大大减少，演化速率较快。 

五、所述的通过色彩空间转换，使得本发明利用的颜色信息更均匀，是指将双目立体图像由RGB色彩空间转换到YCbCr色彩空间中，将图像中的亮度与色度分开，颜色信息分布更加均匀，以色度均值代替灰度均值，既充分利用图像颜色信息，将LCV模型由灰度分割推广到彩色分割，又保留了原LCV模型能分割非匀质图像的优点，取得令人满意的分 割效果。 

附图说明

图1是本发明的流程图；图2是设置不同初始轮廓的LCV模型的分割结果比较，其中，(a)-(f)中的左图像为设置的初始轮廓，右图像为LCV模型的分割结果；图3是基于双目视差的自适应初始轮廓设置方法效果图，其中，(a)列的5张图片为输入图像，(b)列为对应于输入图像的感兴趣目标对象区域，(c)列为本发明对输入图像设置的初始轮廓；图4是在YCbCr色彩空间和RGB色彩空间中本发明的分割结果比较，其中，(a)列的5张图片为输入图像，(b)列为本发明在YCbCr色彩空间中的分割结果，(c)列为本发明在RGB色彩空间中的分割结果；图5是本发明与LCV模型和CV模型分割Venus图像，其中，(a)行四幅图像由左至右分别为输入图像，本发明设置的初始轮廓，LCV模型设置的初始轮廓和CV模型设置的初始轮廓，(b)行四幅图像由左至右分别为真实图像，本发明得到的分割结果，LCV模型得到的分割结果和CV模型得到的分割结果；图6是本发明与LCV模型和CV模型分割Tsukuba-lamp图像，其中，(a)行四幅图像由左至右分别为输入图像，本发明设置的初始轮廓，LCV模型设置的初始轮廓和CV模型设置的初始轮廓，(b)行四幅图像由左至右分别为真实图像，本发明得到的分割结果，LCV模型得到的分割结果和CV模型得到的分割结果；图7是本发明与LCV模型和CV模型分割Tsukuba-statue图像，其中，(a)行四幅图像由左至右分别为输入图像，本发明设置的初始轮廓，LCV模型设置的初始轮廓和CV模型设置的初始轮廓，(b)行四幅图像由左至右分别为真实图像，本发明得到的分割结果，LCV模型得到的分割结果和CV模型得到的分割结果；图8是本发明与LCV模型和CV模型分割Sawtooth图像；图9是本发明与LCV模型和CV模型分割Poster图像，其中，(a)行四幅图像由左至右分别为输入图像，本发明设置的初始轮廓，LCV模型设置的初始轮廓和CV模型设置的初始轮廓，(b)行四幅图像由左至右分别为真实图像，本发明得到的分割结果，LCV模型得到的分割结果和CV模型得到的分割结果；图10是本发明与LCV模型和CV模型针对不同图像得到的CAR和BAR值对比图，其中，横坐标为不同的输入图像对应的CAR和BAR，图像名称由左至右分别为：Venus，Tsukuba-lamp，Tsukuba-statue，Sawtooth，Poster，纵坐标为CAR和BAR值。 

具体实施方式

具体实施方式一：本实施方式所述的基于双目视差和活动轮廓的自适应彩色图像分割方法，是按照以下步骤实现的： 

步骤一、基于双目视差的自适应初始轮廓设置； 

步骤二、色彩空间的转换； 

步骤三、建立基于改进的LCV模型的能量泛函； 

步骤四、轮廓曲线的演化； 

步骤五、分割结果的输出。结合图1理解本实施方式。 

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一所述的初始轮廓设置，是按照以下步骤实现的： 

步骤一(一)、以双目立体图像中左视图像为目标图像，右视图像为参考图像，采用自适应加权立体匹配算法得到双目立体图像中左视图像的视差图； 

步骤一(二)、对视差图进行阈值分割，提取出感兴趣的目标对象区域，然后利用中值滤波抑制视差图中的噪声； 

步骤一(三)、将得到的感兴趣目标区域边界设置为活动轮廓模型的初始轮廓，具体过程为：选择目标对象区域，物体表面一般都是光滑的,因此物体表面上各点在图像上的投影是连续的,其视差也是连续的；依据这一视差连续性约束条件，可以对视差图中处于不同视差平面的目标对象进行分别提取；在视差图中选取一个区域n₁×n₂，计算出该区域内视差值的均值z_i为在视差图中选取区域n₁×n₂内的任意像素点，其中i代表像素点的位置，如z₁代表第一个像素点，z₅代表第五个像素点；用式(1)对目标对象区域进行判决： 

$\mathrm{object}\left(z_i\right)=\left(\begin{array}{cc}1,& |d\left(z_i\right)-\bar{d}|\le \delta \\ 0,& |d\left(z_i\right)-\bar{d}|>\delta \end{array}\right)---\left(1\right)$

其中，d(z_i)为像素点z_i的视差值，δ为设定的阈值，object(z_i)值为1的区域是目标对象区域，object(z_i)值为0的区域为背景区域；采用形态学方法对目标对象区域进行进一步处理，得到一个包含目标对象全部信息且边缘较为光滑的不规则区域，，最后以腐蚀运算获取目标对象的边界轮廓即设置为活动轮廓模型的初始轮廓C、即闭合轮廓曲线C。结合图2、图3理解本实施方式，其它步骤及参数与具体实施方式一相同。 

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤二所述的色彩空间的转换，是由如下RGB色彩空间与YCbCr色彩空间转换公式实现的： 

Y＝0.299R+0.587G+0.114B 

Cb＝0.564(B-Y) 

Cr＝0.713(R-Y)，其中，Y，Cb，Cr分别代表YCbCr色彩空间的亮度，蓝色色度和红色色度三个分量；R，G，B分别代表RGB色彩空间的红色，绿色，蓝色三个分量。结合图4理解本实施方式，其它步骤及参数与具体实施方式一或二相同。 

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤三所述的建立基于改进LCV模型的能量泛函，是按照以下步骤实现的： 

步骤三(一)、LCV模型为基于局部的活动轮廓模型，获取图像I的局部区域的具 

体过程为： 

利用特征函数B(x,y)获得图像I的局部区域， 

在式(2)中，定义B(x,y)为一个球，对图像I掩膜，得到一个图像I的局部区域；x表示该球状区域的中心点，y表示另一个空间点，r表示球的半径； 

当x与y的距离小于半径r时，则特征函数B(x,y)的值为1，表示空间点y在球状区域的内部；否则为0，表示空间点不属于球状区域； 

步骤三(二)、定义LCV模型的能量泛函数学表达式如下： 

$E_{\mathrm{LCV}}\left(\phi \right)={\int }_{{\Omega }_x}\mathrm{\delta \phi }\left(x\right){\int }_{{\Omega }_y}B(x,y)·F(I\left(y\right),\phi \left(y\right))\mathrm{dydx}+\lambda {\int }_{{\Omega }_x}\mathrm{\delta \phi }\left(x\right)\left|\right|▿\phi \left(x\right)\left|\right|\mathrm{dx}---\left(3\right)$

其中，Ω代表图像域，φ(x)为水平集函数表示闭合演化曲线，δφ(x)是一个平滑过后的Dirac函数，可以保证图像域内所有非零水平集上点的δφ(x)数值都近似为零，确保曲线演化时轮廓曲线的唯一性，B(x,y)表示对图像I掩膜得到的局部区域，F表示一个通用的内部能量函数，λ为规则化项的权重系数，为水平集函数的梯度； 

式(3)中，第一项为局部能量项，内部能量函数F只计算B(x,y)掩膜的局部区域，引导闭合轮廓曲线向能量降低方向移动，第二项 为规则化项，用以调整演化曲线的形状； 

步骤三(三)、设定图像I属于图像域Ω是双目立体图像中的左视图像，定义为输入 图像，O为基于双目视差的自适应初始轮廓设置方法得到初始位置的二值图，闭合轮廓曲线C表示为水平集函数的零水平集C＝{x|φ(x)＝0}，将输入图像I划分为目标区域和背景区域； 

定义目标区域和背景区域的像素色度均值分别为c₁和c₂： 

$c_1=\frac{{\int }_{{\Omega }_O}{I}_O(x,y)·\mathrm{H\phi }\left(x\right)·\mathrm{dxdy}}{{\int }_{{\Omega }_O}\mathrm{H\phi }\left(x\right)\mathrm{dxdy}}---\left(4\right)$

$C_2=\frac{{\int }_{{\Omega }_O}{I}_O(x,y)·(1-\mathrm{H\phi }\left(x\right))·\mathrm{dxdy}}{{\int }_{{\Omega }_O}(1-\mathrm{H\phi }\left(x\right))\mathrm{dxdy}}---\left(5\right)$

其中，IO为O对图像I掩膜得到的局部区域，$H\left(\phi \right)=\left(\begin{array}{c}1,\phi \ge 0\\ 0,\phi <0\end{array}\right)$是Heaviside函数，划分演化区域，当φ>0时，表明闭合曲线在实际轮廓边界的外部，则闭合曲线需要向内收敛到达实际轮廓边界，当φ＝0时，表明闭合曲线与实际轮廓边界重合，这两种情况时H(φ)＝1，计算闭合曲线内部即目标区域的像素色度均值c₁；当φ<0时，表明闭合曲线在实际轮廓边界的内部，闭合曲线需要向外扩张到达实际轮廓边界，此时H(φ)＝0，计算闭合曲线外部即背景区域的像素色度均值c₂； 

步骤三(四)、基于改进的LCV模型，建立能量泛函数学表达式为 

$\left(\begin{array}{c}E\left(\phi \right)={\int }_{{\Omega }_x}\mathrm{\delta \phi }\left(x\right){\int }_{{\Omega }_O}{I}_O(x,y)[\mathrm{H\phi }\left(y\right){(I_O\left(y\right)-c_1)}^2+(1-\mathrm{H\phi }\left(y\right)){(I_O\left(y\right)-c_2)}^2]+\lambda {\int }_{{\Omega }_x}\mathrm{\delta \phi }\left(x\right)\left|\right|▿\phi \left(x\right)\left|\right|\mathrm{dx}\\ +\mu {\int }_{\Omega }\frac{1}{2}{\left(\right|▿\phi \left(x\right)|-1)}^2\mathrm{dxdy}\end{array},---\left(6\right)\right)$

其中，Ω代表图像域，φ(x)为水平集函数表示闭合演化曲线，δφ(x)是一个平滑过后的Dirac函数，可以保证图像域内所有非零水平集上点的δφ(x)数值都近似为零，确保曲线演化时轮廓曲线的唯一性，IO为O对图像I掩膜得到的区域，$H\left(\phi \right)=\left(\begin{array}{c}1,\phi \ge 0\\ 0,\phi <0\end{array}\right)$是Heaviside函数，划分演化区域，c₁和c₂分别为定义目标区域和背景区域的像素色度均值，λ为规则化项权重系数，μ为能量惩罚项系数，为水平集函数的梯度；在式(6)中，第一项 ${\int }_{{\Omega }_x}\mathrm{\delta \phi }\left(x\right){\int }_{{\Omega }_O}{I}_O(x,y)[\mathrm{H\phi }\left(y\right){(I_O\left(y\right)-c_1)}^2+(1-\mathrm{H\phi }\left(y\right)){(I_O\left(y\right)-c_2)}^2]$为基于局部的能量项， 引导闭合轮廓曲线沿能量降低方向移动，第二项为规则化项，用以调整演化曲线的形状，保持水平集的光滑；第三项为引入的能量惩罚项，使得水平集函数在演化过程中近似保持为距离符号函数，避免重新初始化。其它步骤及参数与具体实施方式一至三之一相同。 

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤四所述的轮廓曲线演化是按照以下步骤实现的：轮廓曲线在该模型中以水平集函数表示，所以轮廓曲线演化过程即为水平集演化方程的求解过程。具体为：在YCbCr空间色度分量中对被O掩膜的局部区域进行曲线演化，根据能量泛函一阶变分，推导出轮廓曲线演化的水平集演化方程为 

$\left(\begin{array}{c}\frac{\partial \phi }{\partial t}\left(x\right)=\mathrm{\delta \phi }\left(x\right){\int }_{{\Omega }_O}{I}_O(x,y)·\mathrm{\delta \phi }\left(y\right)·[{(I_O\left(y\right)-c_1)}^2-{(I_O\left(y\right)-c_2)}^2]\mathrm{dy}\\ +\mu |\left(\mathrm{\delta \phi }\left(x\right)\frac{▿\phi \left(x\right)}{|▿\phi \left(x\right)|}\right)+\left({▿}^2\right)\phi \left(x\right)-\mathrm{div}\frac{▿\phi \left(x\right)}{|▿\phi \left(x\right)|}|\end{array}\right)---\left(7\right)$

其中，Ω代表图像域，φ(x)为水平集函数表示闭合演化曲线，δφ(x)是一个平滑过后的Dirac函数，可以保证图像域内所有非零水平集上点的δφ(x)数值都近似为零，确保曲线演化时轮廓曲线的唯一性，I_O为O对图像I掩膜得到的局部区域，c₁和c₂分别为定义目标区域和背景区域的像素色度均值，μ为惩罚项系数，为拉普拉斯算子，为演化曲线的曲率。其它步骤及参数与具体实施方式一至四之一相同。 

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤五所述的分割结果输出是按照以下步骤实现的：计算式(7)，以水平集函数φ(x)来表达偏微分方程的解，方程唯一解显示在图像中是一条由水平集函数φ(x)表示的闭合曲线，该闭合曲线将图像分为目标对象区域和背景区域，其中目标对象区域就是最终获取的分割图像。其它步骤及参数与具体实施方式一至五之一相同。 

图5-图9是本发明的模型与LCV模型和CV模型分割结果的比较，为了验证本发明的有效性，采用CAR，即公共区域率(Common Area Rate)和BAR，即背景率(Background Area Rate)来评估三种模型得到的分割结果的精度。公共区域率公式和背景率公式分别为 

CAR＝(S_con∩S_truth)/S_truth   (1) 

BAR＝[S_con-(S_con∩S_truth)]/S_con   (2) 

其中，S_con为不同模型轮廓曲线演化得到的目标轮廓内部区域的面积，S_truth为真实目标轮廓内部区域的面积。式(1)和式(2)中,公共区域率CAR与背景率BAR皆为一个0-1的数值，CAR越大，代表模型分割结果包含的目标对象越多，BAR越小，代表模型分割结果包含的背景越少。即CAR越大BAR越小，模型的分割精度越高。 

图10为是本发明的模型与LCV模型和CV模型针对不同图像得到的CAR和BAR的比较。本发明得到的分割结果所包含的目标对象与其它两种算法相比基本相同，但是包含的背景大大减少。因此，针对双目立体图像，本发明提出的模型与传统模型在分割精度上相比有显著提高。 

表1本发明与其他模型分割速率比较 

。