一种前景分割问题的优化方法

摘要

一种前景分割问题的优化方法，具体是一种基于置信思想思想的对前景分割结果进行优化的方法，属于图像处理领域。本发明要解决的技术问题是优化前景分割结果，解决前景分割结果中出现的空洞现象。首先利用前景分割方法进行前景分割；然后，基于置信思想，图像中并行进行四个方向的一维消息传递，加强像素之间的关联，对前景分割结果进行优化。本发明可以很好的消除前景分割结果中出现的空洞现象。

说明书

技术领域

本发明涉及视频处理领域，具体涉及前景分割结果的优化方法。

背景技术

视频中的运动目标分割广泛应用在与视频监控有关的多种智能系统中， 分割的质量直接影响对关注目标的检测、跟踪、识别、理解等一系列运动分 析的准确性。

目前前景分割常用的一些方法有帧差法、背景减、光流法、背景建模法， 这些方法各有利弊，背景减和帧差法方法相对简单，实时性好，但对背景环 境要求较高，在杂乱背景或光照变化较大的场景中，效果较差；光流法计算 量较大，实时性差，而且对背景光照敏感，会产生较大误差；背景建模方法， 对背景场景的每一个像素建立一个模型，并可以对像素模型进行更新，此方 法在复杂变化环境下效果较好；上述方法广泛应用于视频处理领域，但是这 些前景分割方法在进行分割计算时都没有考虑到像素之间的相关性，所以在 进行前景分割时会出现目标物体的空洞现象。

发明内容

本文发明提出了一种对视频图像的前景分割结果进行优化的方法，要解 决的技术问题是前景分割后的空洞现象的优化问题。为了解决上述问题，本 发明提出基于置信传播思想的前景分割结果优化方法，通过在像素之间传播 消息，加强像素之间的关联，很好的解决了空洞现象。

方法大体上包括以下几步：

A、首先获取原始视频帧图像，通过前景分割方法，得到初始的前景分割 图像；

B、在此分割图像的原始图像中，计算每一个像素在图像空间中的连续性 值；

C、在图像四个方向并行进行一维消息的传递；

D、计算每一个像素的状态相似度；

E、确定当前图像的前景分割优化结果；

在步骤A中，进一步细化为：

A1、获取视频帧图像I，图像的大小为M×N，在图像中建立x-y坐标系， x轴方向上的像素点数为M，y轴方向上的像素点数为N，规定图像中任意 点像素i的坐标为(x_i,y_i)；

A2、利用前景分割方法，对视频帧图像进行前景分割，得到初始的前景 分割图像C，在初始的分割图像中每个像素点只有两个状态，属于前景或者 属于背景；

在步骤B中，进一步细化为：

B1、对输入的视频帧图像I，利用计算每个像素点的梯度值，得到视频帧 图像I相应的梯度图像G，定义像素i的梯度值为G(x_i,y_i)；

B2、根据公式（1）计算像素点i的连续性值，其中Z为梯度图像G中的 最大值：

$\psi (x_i,y_i)=\frac{1}{Z}[Z-G(x_i,y_i)]---\left(1\right)$

在步骤C中，可以进一步细化为：

C1、初始化像素点i的状态值φ(x_i,y_i)，φ(x_i,y_i)由像素点i在初始前景分 割图像C中的状态决定；

公式具体定义为：

C2、计算图像I中每一个像素点的消息值；

在步骤C2中，进一步细化为：

C21、初始化图像中四个边界上的像素点的消息值，具体如下：

初始化图像最左侧一列上每个像素点的消息值，m(0,p)表示坐标为 (0,p)的像素点的消息值，在p的取值范围内依次初始化最左侧一列上每个 像素点的消息值，公式如下：

m(0,p)=φ(0,p)ψ(0,p){p|p∈[0,N-1]}    （3）

初始化图像最右侧一列上每个像素点的消息值，m(M-1,p)表示坐标为 (M-1,p)的像素点的消息值，在p的取值范围内依次初始化最右侧一列上每 个像素点的消息值，公式如下：

m(M-1,p)=φ(M-1,p)ψ(M-1,p){p|p∈[0,N-1]}    （4）

初始化图像最上侧一行的每个像素点的消息值，m(s,0)表示坐标为 (s,0)的像素点的消息值，在s的取值范围内依次初始化最上侧一行的每个像 素点的消息值，公式如下：

m(s,0)=φ(s,0)ψ(s,0){s|s∈[1,M-2]}    （5）

初始化图像最下侧一行每个像素点的消息值，m(s,N-1)表示坐标为 (s,N-1)的像素点的消息值，在s的取值范围内依次初始化最下侧一行的每 个像素点的消息值，公式如下：

m(s,N-1)=φ(s,N-1)ψ(s,N-1){s|s∈[1,M-2]}    （6）

C22、在图像中以边界像素点为传递的起点，同时进行自左至右，自右至 左，自上至下，自下至上四个方向的一维消息传递；边界像素的消息值由初 始化公式（3）、公式（4）、公式（5）、公式（6）得到，按照传递方向， 像素之间依次进行消息传递，直到传递到这个方向上的最后一个像素结束；

计算图像I中非边界的像素点i的消息值m(x_i，y_i)，像素点i的消息值由它 的状态值、连续性值和相邻像素点k的消息值决定，公式如下：

$m(x_i,y_i)=\frac{\phi (x_i,y_i)+m(x_k,y_k)}{\phi (x_i,y_i)+1}\psi (x_i,y_i)---\left(7\right)$

其中m(x_k,y_k)是像素i的相邻像素k的消息值；在不同的传递方向上，相 邻像素k与i的位置关系不同，计算出来的像素点i消息值不同，在四个传递 方向上公式的具体解释如下：

在自左至右的传递方向上，像素k是像素i的左侧相邻像素，左侧像素k的 消息值传递给它右侧的相邻像素i，用以计算像素i的消息值，像素i的消息值 再传递给像素i的右侧相邻像素，依此类推，完成自左至右的消息传递，计算 出每个像素在进行自左至右传递时的消息值；

在自右至左的传递方向上，像素k是像素i的右侧相邻像素，右侧像素k 的消息值传递给它左侧的相邻像素i，用以计算像素i的消息值，像素i的消息 值再传递给像素i的左侧相邻像素，依此类推，完成自右至左的消息传递，计 算出每个像素在进行自右至左传递时的消息值；

在自上至下的传递方向上，像素k是像素i的上侧相邻像素，上侧像素k 的消息值传递给它下侧的相邻像素i，用以计算像素i的消息值，像素i的消息 值再传递给像素i的下侧相邻像素，依此类推，完成自上至下的消息传递，计 算出每个像素在进行自上至下传递时的消息值；

在自下至上的传递方向上，像素k是像素i的下侧相邻像素，下侧像素k 的消息值传递给它上侧的相邻像素i，用以计算像素i的消息值，像素i的消息 值再传递给像素i的上侧相邻像素，依此类推，完成自下至上的消息传递，计 算出每个像素在进行自下至上传递时的消息值；

在步骤D中，进一步细化为：

D1、根据步骤C，在同时进行了四个方向的消息传递后，图像中的每个 像素都会得到来自它的相邻像素点的消息值；

像素j的坐标为(x_j,y_j)，j的相邻像素的个数为num(x_j,y_j)，表示像素j在 传递结束后得到的相邻像素传递的消息值的个数为num(x_j,y_j)，图像的四个顶 点像素分别只得到两个相邻像素传递的消息值；图像的除顶点外的四个边界 上的像素点分别得到三个相邻像素传递的消息值；除去以上两种情况外，每 个像素点得到来自四个相邻像素传递的消息值；

在四个方向的消息传递结束后像素j得到消息值的和为mess(x_j,y_j)，计算 公式如下：

mess(x_j,y_j)=m(x_j-1,y_j)+m(x_j+1,y_j)+m(x_j,y_j-1)+m(x_j,y_j+1), (x_j-1≥0,y_j-1≥0,x_j+1≤M-1,y_j+1≤N-1)    (8）

等号右边是传递结束后像素j得到的相邻像素传递的消息值，公式（8） 的限定条件是x_j-1，y_j-1，x_j+1，y_j+1要在图像大小M×N范围内，对于 超出范围的项，取消该项的m值的计算；按照此规则利用公式（8）每个像素 点对得到的相邻像素传递的消息值进行求和；

D2、根据像素点j得到的消息和mess(x_j,y_j)与该像素点相邻像素的个数 num(x_j,y_j)，进行求平均运算，得到此像素点的状态相似度值b(x_j,y_j)，具体 计算如下式：

$b(x_j,y_j)=\frac{\mathrm{mess}(x_j,y_j)}{\mathrm{num}(x_j,y_j)}---\left(9\right)$

在步骤E中，进一步细化为：

E1、本发明对初始分割图像C中的前景空洞的填充程度与阈值的大小有 关，需要根据实际场景以及对前景结果的要求确定阈值；阈值的取值范围是 (0.6,0.8)；对于步骤D2所得到的像素点j的状态相似度值b(x_j,y_j)，进行阈 值判断，若b(x_j,y_j)大于阈值，则像素点j为前景，否则为背景，得到分割优 化结果。

本发明可以消除前景分割中出现的空洞现象。本发明的实验结果如图14、 图15所示，其中14-a，15-a是原始的视频帧图像，14-b，15-b是利用Codebook 背景建模方法得到的前景分割图像；14-c，15-c是本发明对前景分割图像进 行优化的结果。在图14-b中，利用Codebook方法得到的前景在举重运动员 的腰部出现了空洞现象，在图15-b中，利用Codebook方法得到的前景在举 重运动员的背部出现了空洞现象，在本发明优化后的前景分割图像14-c、15-c 中解决了上述空洞现象，使前景分割更完整。

附图说明：

图1是本文算法的框图

图2是在获取的视频帧图像上建立x-y坐标系

图3是图像中像素之间自左至右的消息传递方式

图4是图像中像素之间自右至左的消息传递方式

图5是图像中像素之间自上至下的消息传递方式

图6是图像中像素之间自下至上的消息传递方式

图7是自左至右的传递方向上，进行消息传递的像素之间的坐标关系

图8是自右至左的传递方向上，进行消息传递的像素之间的坐标关系

图9是自上至下的传递方向上，进行消息传递的像素之间的坐标关系

图10是自下至上的传递方向上，进行消息传递的像素之间的坐标关系

图11是经过四个方向的消息传递后，图像四个顶点像素得到的来自相邻 像素的两个消息值

图12是经过四个方向的消息传递后，图像除四个顶点外的边界上的像素 点得到的来自相邻像素的三个消息值

图13是经过四个方向的消息传递后，除边界点外每个像素点得到的四个 来自相邻像素的消息值

图14、图15是本发明的实验结果，其中14-a、15-a是获取的原始视频 帧图像，14-b，15-b是利用Codebook背景建模方法得到的前景分割图像， 14-c，15-c分别是本发明对14-b，15-b的前景分割结果进行优化后的结果。

具体实施方式

下面将结合图示对本方法进行更加详细的公式推导和说明。

一种基于置信传播思想的前景分割结果优化方法的步骤主要为：

A、首先获取原始视频帧图像，通过前景分割方法，得到初始的前景分割 图像；

B、在此分割图像的原始图像中，计算每一个像素在图像空间中的连续性 值；

C、在图像四个方向并行进行一维消息的传递；

D、计算每一个像素的状态相似度；

E、确定当前图像的前景分割优化结果；

在步骤A中，进一步细化为：

A1、获取视频帧图像I，图像的大小为M×N，如图2所示，以图像的左 上顶点为原点，以图像的长边为x轴，以图像的宽边为y轴，在图像中建立x-y 坐标系，图像在x轴方向有M个像素点，图像在y轴方向有N个像素点，这 样可以确定图像中的每一点像素的坐标，规定图像中任意点像素i的坐标为 (x_i,y_i)；

A2、利用Codebook背景建模方法，对视频帧图像I进行前景分割，得到 初始的前景分割图像C，在初始的分割图像中每个像素点只有两个状态，属 于前景或者属于背景，初始前景分割结果如图14-b、15-b所示；本发明中， 前景像素的灰度值为255，背景像素的灰度值为0；

在步骤B中，进一步细化为：

B1、对输入的视频帧图像I，利用拉普拉斯梯度计算方法计算每个像素点 的梯度值，得到视频帧图像I相应的梯度图像G，定义像素i的梯度值为 G(x_i,y_i)；

B2、根据公式（1）计算像素点i的连续性值，其中Z为梯度图像G中的 最大值：

$\psi (x_i,y_i)=\frac{1}{Z}[Z-G(x_i,y_i)]---\left(1\right)$

在图像中边缘像素与它的邻域像素在颜色灰度等特征上不连续，像素点 梯度值较大，带入公式（1）得到像素的连续性值就较小；

在步骤C中，进一步细化为：

C1、初始化像素点i的状态值φ(x_i,y_i)，像素点i的状态值由此像素在初始 前景分割图像C中的状态决定：

公式具体定义为：

C2、计算图像I中每一个像素点的消息值；

在步骤C2中，进一步细化为：

C21、初始化图像中四个边界上的像素点的消息值，具体如下：

初始化图像最左侧一列上每个像素点的消息值，m(0,p)表示横坐标为 0，纵坐标为p的点的消息值，在p的取值范围内依此初始化最左侧一列上的 每个像素点的消息值，公式如下：

m(0,p)=φ(0,p)ψ(0,p){p|p∈[0,N-1]}    （3）

初始化图像最右侧一列上每个像素点的消息值，m(M-1,p)表示坐标为 (M-1,p)的像素点的消息值，在p的取值范围内依次初始化最右侧一列上每 个像素点的消息值，公式如下：

m(M-1,p)=φ(M-1,p)ψ(M-1,p){p|p∈[0,N-1]}    （4）

初始化图像最上侧一行的每个像素点的消息值，m(s,0)表示坐标为 (s,0)的像素点的消息值，在s的取值范围内依次初始化最上侧一行的每个像 素点的消息值，公式如下：

m(s,0)=φ(s,0)ψ(s,0){s|s∈[1,M-2]}    （5）

初始化图像最下侧一行每个像素点的消息值，m(s,N-1)表示坐标为 (s,N-1)的像素点的消息值，在s的取值范围内依次初始化最下侧一行的每 个像素点的消息值，公式如下：

m(s,N-1)=φ(s,N-1)ψ(s,N-1){s|s∈[1,M-2]}    （6）

通过上述四个公式计算之后，边界上的每个像素点都有一个初始化的消 息值；

C22、在图像中以边界像素点为传递的起点，同时进行自左至右，自右至 左，自上至下，自下至上四个方向的一维消息传递，像素之间的传递方式分 别如图3、图4、图5、图6；边界像素的消息值由初始化公式（3）、公式（4）、 公式（5）、公式（6）得到，在每一次传递过程中，第一个像素的消息值传 递给同方向上的相邻的第二个像素，用来计算出第二个像素的消息值，再将 第二个像素的消息值传递给同方向上相邻的第三个像素，计算出第三个像素 的消息值，再将此消息值继续往同方向上的下一个相邻像素传递，按照此传 递规则，在像素间依次进行消息传递，直到传递到这个方向上的最后一个像 素结束；

计算图像I中非边界的像素点i的消息值m(x_i，y_i)，公式如下：

$m(x_i,y_i)=\frac{\phi (x_i,y_i)+m(x_k,y_k)}{\phi (x_i,y_i)+1}\psi (x_i,y_i)---\left(7\right)$

其中m(x_k,y_k)是像素i的相邻像素k的消息值；在不同的传递方向上，相邻 像素k与i的位置关系不同，像素点i计算出来的消息值不同，在四个传递方向 上公式的具体解释如下：

在自左至右的传递方向上，像素k是像素i的左侧相邻像素，即，像素i 的坐标为(x_i,y_i)，像素k的坐标为(x_i-1,y_i)；如图7所示，说明了图像中自左 至右传递的像素点的坐标表示，即像素点(x_i-1,y_i)的消息传递给像素点 (x_i,y_i)，计算出点(x_i,y_i)的消息后，再将点(x_i,y_i)的消息传递给像素点(x_i+1,y_i)， 依此类推，完成自左至右的消息传递，计算出每个像素在进行自左至右传递 时的消息值；

在自右至左的传递方向上，像素k是像素i的右侧相邻像素，即，像素i 的坐标为(x_i,y_i)，像素k的坐标为(x_i+1,y_i)；如图8所示，说明了图像中自右 至左传递的像素点的坐标表示，即像素点(x_i+1,y_i)的消息传递给像素点 (x_i,y_i)，计算出点(x_i,y_i)的消息后，再将点(x_i,y_i)的消息传递给像素点(x_i-1,y_i)， 依此类推，完成自右至左的消息传递，计算出每个像素在进行自右至左传递 时的消息值；

在自上至下的传递方向上，像素k是像素i的上侧相邻像素，即，像素i 的坐标为(x_i,y_i)，像素k的坐标为(x_i,y_i-1)；如图9所示，说明了图像中自上 至下传递的像素点的坐标表示，即像素点(x_i,y_i-1)的消息传递给像素点 (x_i,y_i)，计算出点(x_i,y_i)的消息后，再将点(x_i,y_i)的消息传递给像素点(x_i,y_i+1)， 依此类推，完成自上至下的消息传递，计算出每个像素在进行自上至下传递 时的消息值；

在自下至上的传递方向上，像素k是像素i的下侧相邻像素，即，像素i 的坐标为(x_i,y_i)，像素k的坐标为(x_i,y_i+1)；如图10所示，说明了图像中自下 至上传递的像素点的坐标表示，即像素点(x_i,y_i+1)的消息传递给像素点 (x_i,y_i)，计算出点(x_i,y_i)的消息后，再将点(x_i,y_i)的消息传递给像素点(x_i,y_i-1)， 依此类推，完成自下至上的消息传递，计算出每个像素在进行自下至上传递 时的消息值；

在四个方向的消息传递中，非边界像素i有不同的消息值，分别传递给不 同的相邻像素；

在步骤D中，进一步细化为：

D1、根据步骤C，在同时进行了四个方向的消息传递后，图像中的每个 像素都会得到来自它的相邻像素点的消息值；

像素j的坐标为(x_j,y_j)，相邻像素的个数为num(x_j,y_j)，表示像素j在传 递结束后得到的相邻像素消息值的个数为num(x_j,y_j)；图像的左上、左下、右 上、右下四个顶点像素，每个像素只得到来自两个方向的相邻像素传递的消 息值，如图11所示，左上顶点像素点(0,0)只得到它的下侧和右侧相邻像素传 递的消息值，右上顶点像素点(M-1,0)只得到它的下侧和左侧相邻像素传递的 消息值，左下顶点像素点(0,N-1)只得到它的上侧和右侧相邻像素传递的消息 值，右下顶点像素点(M-1,N-1)只得到它的上侧和左侧相邻像素传递的消息 值；

图像的除顶点外的四个边界上的像素点，每个像素得到来自三个方向的 相邻像素传递的消息值，如图12所示，除顶点外的左边界上的像素点得到它 的右侧、上侧、下侧相邻像素传递的消息值，除顶点外的右边界上的像素点 得到它的左侧、上侧、下侧相邻像素传递的消息值，除顶点外的上边界上的 像素点得到它的左侧、右侧、下侧相邻像素传递的消息值，除顶点外的下边 界上的像素点得到它的左侧、右侧、上侧相邻像素传递的消息值；

除去以上两种情况外，每个像素点得到来自四个方向的相邻像素传递的 消息值，如图13所示，像素j的坐标为(x_j,y_j)分别得到它的左侧相邻像素传 给它的消息值m(x_j-1,y_j)、右侧相邻像素传给它的消息值m(x_j+1,y_j)、上侧相邻 像素传给它的消息值m(x_j,y_j-1)和下侧相邻像素传给它的消息值m(x_j,y_j+1)；

在四个方向的消息传递结束后像素j得到消息值的和为mess(x_j,y_j)，计算 公式如下：

mess(x_j,y_j)=m(x_j-1,y_j)+m(x_j+1,y_j)+m(x_j,y_j-1)+m(x_j,y_j+1), (x_j-1≥0,y_j-1≥0,x_j+1≤M-1,y_j+1≤N-1)    (8）

等号右边是像素j得到的相邻像素传递的消息值，num(x_j,y_j)的最大值为 4，公式（8）的限定条件是x_j-1，y_j-1，x_j+1，y_j+1要在图像大小M×N 范围内，对于超出范围的项，取消该项的m值的计算；每个像素点按照此规 则对得到的相邻像素传递的消息值进行求和；坐标(0,0)点，num(0,0)为2， 没有等号右边第一项m值的计算和第三项m值的计算；坐标(M-1,N-1)点， num(M-1,N-1)为2，没有等号右边第二项m值的计算和第四项m值的计算； 依此类推，每个像素点按照此规则对得到的相邻像素传递的消息值进行求和；

D2、根据像素点j得到的消息和mess(x_j,y_j)与该像素点相邻像素的个数 num(x_j,y_j)，进行求平均运算，得到此点的状态相似度值b(x_j,y_j)，具体计算 如下式：

$b(x_j,y_j)=\frac{\mathrm{mess}(x_j,y_j)}{\mathrm{num}(x_j,y_j)}---\left(9\right)$

在步骤E中，进一步细化为：

E1、本发明对初始分割图像C中的前景空洞的填充程度与阈值的大小有 关，在较小阈值时填充较多，相反在较大阈值时填充较少，需要根据实际场 景以及对前景结果的要求确定阈值；阈值的取值范围是(0.6,0.8)，在本发明 实验中，所取的阈值为0.68；对于步骤D2所得到的像素点j的状态相似度值 b(x_j,y_j)，进行阈值判断，若b(x_j,y_j)大于阈值，则像素点j为前景，否则为 背景，得到分割优化结果。

在本发明的实验中，实验结果图14、图15；其中14-a、15-a是通过视 频获取的原始图像I，14-b、15-b是利用Codebook方法得到的前景分割结果， 14-c、15-c是本发明方法进行前景优化后的结果，所取的阈值为0.68；由结 果可见在图14-b中运动员的腰部以及图15-b中运动员的背部出现了空洞现 象，经过本发明算法的优化后，在图14-c、图15-c中将这些空洞现象进行填 补，很好的解决了前景分割图像中出现的空洞现象。