一种视频分割中阴影的自适应检测及消除方法

摘要

本发明公开了视频对象分割中一种阴影的自适应检测及消除方法，包括如下步骤：首先，采用累计帧差大致检测出运动变化区域，通过静止指数构建运动模板；然后，统计亮度信息建立背景模型并结合运动模板进行更新，采用背景差分及Sobel算子检测前景及其边缘；将检测到的边缘图像分别进行水平和垂直投影，统计边缘图像分布情况并结合阴影边缘特性及空间位置大致确定阴影位置和搜索方向；最后，沿搜索方向在疑似阴影区域采用比重法精确定位阴影点，从而准确去除阴影。本发明所公布的阴影检测及消除方法结合了阴影的边缘及空间位置特性，计算量小，鲁棒性强，在色度不变性失效的情况下，仍然能够自适应地定位阴影区域，并准确剔除阴影点。

说明书

技术领域：

本发明涉及一种视频分割中的处理方法，特别涉及一种自适应的融合阴影边缘特性及空间位置特征来检测并消除阴影的方法。

背景技术：

以MPEG-4为代表的第二代视频编码标准，其基于对象的编码和交互功能促使语义视频对象(VOP)分割这一项挑战性的难题，逐渐成为视频处理领域中的研究热点。视频对象分割技术作为视频处理和视频分析的关键环节，不仅在模式识别、计算机视觉领域中得到了广泛应用，而且在视频检索、视频编码、多媒体交互等新兴领域中也越来越重要。

在智能视频监控、交通监控或视频会议等许多应用中，运动物体产生的阴影给运动物体的准确提取带来了很大的困难。阴影具有两个重要的视觉特征：1.显著地异于背景被理解为前景；2.阴影与产生阴影的目标具有相同的运动属性。正是由于这两个原因，阴影很容易被误检为前景，从而导致目标的合并和丢失，以及形状的扭曲。因此，阴影的检测及消除非常有意义。

目前，阴影的检测主要有基于模型的方法和基于特征的方法。基于模型的方法利用场景、目标、光照条件的先验信息，建立阴影模型，对三维运动目标模型的棱、线、角进行匹配，但是实际中这些先验信息不易得到，所以这类方法适用性差，算法时间复杂度较高，通常在特定场景下使用，如航空图像理解与视频监控；基于特征的方法直接采用图像的亮度、色度、饱和度、纹理、几何特点等信息来进行判断。这种方法比较常用，但也存在一些问题。比如：采用基于颜色特征法时，当目标与阴影颜色相似，利用色度不变性就会失效，无法分辨出阴影。Cucchiara等将RGB颜色空间转到HSV颜色空间中，并依据亮度变化大于色度变化的准则进行阴影检测及去除，对颜色信息依赖性很强，适用范围容易受限制(参见Cucchiara，R.，Grana，C.，Piccardi，M.，Prati，A.，Sirotti，S.Improving shadow suppression in moving object detection with HSV colorinformation[C].2001 IEEE Intelligent Transportation Systems ConferenceProceedings，Oakland，CA，USA，August 25-29，2001，334-339.)。Yinghua Lu等对可能阴影区的像素点进行采样来估计整体阴影的三个比值特征，计算量非常大(参见Yinghua Lu，Huijie Xin，Jun Kong，Bingbing Li，Yan Wang.Shadow removal basedon shadow direction and shadow attributes[C].International Conference onComputational Intelligence for Modeling Control and Automation andInternational Conference on Intelligent Agents Web Technologies andInternational Commerce(CIMCA’06)，Sydney，Australia，November 28-December 01，2006，37)。潘翔在彩色分割的基础上通过联合蓝波段信息和HIS空间信息进行阴影检测，这种方法无法分离黑色物体和阴影，准确性及鲁棒性较差(参见潘翔.基于彩色信息和边缘特征的运动阴影检测[J].浙江大学学报(工学版)，2004，38(4)：389-391，407.)。

针对基于特征的方法中存在的问题，本发明方法在HSV空间阴影检测的基础上，利用阴影的边缘特性和空间位置特征相结合的方法来消除阴影，该方法计算量小，易于实现，尤其在色度不变性失效的情况下，能够自适应地定位阴影所在方位，并准确剔除阴影，保留完整的运动目标。

发明内容：

本发明要解决的技术问题是：

(1)视频对象分割过程中阴影位置的自适应检测问题；

(2)采用色度不变性抑制阴影无效时，如何准确剔除阴影，保留完整的运动目标。

本发明解决其技术问题所采用的技术方案是：一种自适应的融合阴影边缘特性及空间位置特征检测消除阴影的方法，包括以下步骤：

(1)运动变化检测及运动模板的生成：采用对称帧累计帧差法大致检测出运动变化区域，通过静止指数构建运动模板；

(2)背景模型的建立及更新：通过亮度统计的方式建立背景模型，并结合步骤(1)中生成的运动模板进行背景模型的更新；

(3)前景检测及边缘提取：将采用背景差分法提取到的前景区域与灰度图像的Sobel边缘检测结果相融合，提取前景区域的边缘；

(4)阴影的检测与剔除：将步骤(3)中提取到的前景区域边缘图在HSV色彩空间中进行阴影抑制；再将边缘图分别向水平和垂直方向投影，通过统计边缘点的分布情况来确定阴影的大致位置及搜索方向；沿搜索方向在疑似阴影区域剔除虚假的边缘邻接点，搜索到真正的阴影与运动对象的边缘邻接位置；剔除阴影点，对存留的运动目标边缘进行填充及适当的形态学处理。

本发明与现有技术相比所具有的优点在于：本方法在传统基于色度不变性理论的阴影抑制方法的基础上，采用边缘点作为操作对象，计算量小，并且能根据边缘点的分布情况自适应地定位阴影，尤其是在传统方法失效的情况下，仍然能够准确剔除阴影点，保留完整准确的运动目标。同时，该方法较传统方法更加可靠、鲁棒性更强。

附图说明：

图1是本发明一种视频分割中阴影的自适应检测及消除方法的流程图；

图2是“Table”视频序列的前景提取结果；其中(a)表示“Table”视频序列的第1帧；(b)表示“Table”视频序列第3帧；(c)表示去除阴影前“Table”视频序列第1帧提取到的Alpha平面；(d)表示去除阴影前“Table”视频序列第3帧提取到的Alpha平面；(e)表示去除阴影前“Table”视频序列第1帧提取到的视频对象平面；(f)表示去除阴影前“Table”视频序列第3帧提取到的视频对象平面；

图3是“Table”视频序列前景边缘提取结果；其中(a)表示去除阴影前“Table”视频序列第1帧前景边缘提取结果；(b)表示去除阴影前“Table”视频序列第3帧前景边缘提取结果；

图4是“Table”视频序列前景边缘图在HSV空间阴影抑制后的结果；其中(a)表示“Table”视频序列第1帧前景边缘图在HSV空间阴影抑制后的结果；其中(b)表示“Table”视频序列第3帧前景边缘图在HSV空间阴影抑制后的结果；

图5是“Table”视频序列第1帧经HSV空间阴影抑制后的边缘图向水平和垂直方向投影的结果；其中(a)表示“Table”视频序列第1帧经HSV空间阴影抑制后的边缘图向水平方向投影的结果；(b)表示“Table”视频序列第1帧经HSV空间阴影抑制后的边缘图向垂直方投影结果；

图6是“Table”视频序列第3帧经HSV空间阴影抑制后的边缘图向水平和垂直方向投影的结果；其中(a)表示“Table”视频序列第3帧经HSV空间阴影抑制后的边缘图向水平方向投影的结果；(b)表示“Table”视频序列第3帧经HSV空间阴影抑制后的边缘图向垂直方向投影的结果；

图7是“Table”视频序列阴影去除结果对比图；其中(a)表示“Table”视频序列第1帧经HSV空间阴影抑制后提取的视频对象平面；(b)表示“Table”视频序列第3帧经HSV空间阴影抑制后提取的视频对象平面；(c)表示“Table”视频序列第1帧采用本发明方法剔除阴影后提取的视频对象平面；(d)表示“Table”视频序列第3帧采用本发明方法剔除阴影后提取的视频对象平面；

图8是“Table”视频序列阴影去除结果对比图；其中(a)表示“Silent”视频序列的第10帧；(b)表示“Silent”视频序列的第13帧；(c)表示“Silent”视频序列第10帧经HSV空间阴影抑制后提取的视频对象平面；(d)表示“Silent”视频序列第13帧经HSV空间阴影抑制后提取的视频对象平面；(e)表示“Silent”视频序列第10帧采用本发明方法剔除阴影后提取的视频对象平面；(f)表示“Silent”视频序列第13帧采用本发明方法剔除阴影后提取的视频对象平面；

图9是自拍视频序列采用本发明方法去除阴影后视频对象的提取结果；其中(a)表示“Men”视频序列的第4帧；(b)表示“Men”视频序列的第93帧；(c)表示“Men”视频序列的第4帧采用本发明方法剔除阴影后提取的视频对象平面；(d)表示“Men”视频序列的第93帧采用本发明方法剔除阴影后提取的视频对象平面；(e)表示“Wait”视频序列的第54帧；(f)表示“Wait”视频序列的第58帧；(g)表示“Wait”视频序列的第54帧采用本发明方法剔除阴影后提取的视频对象平面；(h)表示“Wait”视频序列的第58帧采用本发明方法剔除阴影后提取的视频对象平面；

图10是Table视频序列的前15帧采用本发明方法和仅通过HSV空间阴影抑制后视频对象提取结果的SA对比图；

图11是Silent视频序列的前15帧采用本发明方法和仅通过HSV空间阴影抑制后视频对象提取结果的SA对比图。

具体实施方式：

下面结合附图及具体实施方式进一步详细介绍本发明。

本发明视频分割中一种阴影的自适应检测及消除方法，包括以下步骤：

步骤1.运动变化检测及运动模板的生成：采用对称帧累计帧差法大致检测出运动变化区域，通过静止指数构建运动模板。

设视频序列灰度化后f_k(x，y)、f_k+δ(x，y)分别表示点(x，y)在第k帧、第k+δ帧的像素值，δ为对称帧距，则第k帧的累计帧差结果d_k(x，y)，即运动变化区域，可表示为：

$d_k(x,y)=\left(\begin{array}{cc}255& \mathrm{if}(\mathrm{abs}(f_{k+\delta }(x,y)-f_k(x,y))>T_1||\mathrm{abs}(f_{k-\delta }(x,y)-f_k(x,y))>T_2)\\ 0& \mathrm{else}\end{array}\right)$

其中T₁，T₂为帧差阈值，其取值根据视频序列中运动目标的运动速度、幅度，以及噪声分布情况来选取，具体实现时可通过多次实验来确定。abs()为取绝对值操作。帧差累计虽然在一定程度上反映了运动目标的轮廓及区域，但是也反映了累计的噪声。因此，需要进行一定的滤波去噪处理。

在去噪处理之后，本发明提出一种通过静止指数获取运动模板的方法。具体思路为：首先根据实时性的要求，选取去噪后的一段视频序列(也可以是整个视频序列)，假设共n_NumFrame帧，每帧的尺寸为Width×Height；然后遍历所有帧，统计像素点(X，Y)在n_NumFrame帧内处于静止状态的次数n_Static(X，Y)，即静止指数；最后判断该像素点的静止指数n_Static(X，Y)是否达到0.93×n_NumFrame，若达到，则标记像素点(X，Y)为前景点，否则为背景点，从而得该视频段内的运动模板PMask(X，Y)，即：

if(d_k(x，y)＝＝255)n_Static(X，Y)＝n_Static(X，Y)+1

其中(x，X∈[0，Width-1]；y，Y∈[0，Height-1]；k∈[1，n_NumFrame])

$\mathrm{PMask}(X,Y)=\left(\begin{array}{cc}255& \mathrm{if}(n\_\mathrm{Static}(X,Y)>=0.93\times n\_\mathrm{NumFrame})\\ 0& \mathrm{else}\end{array}\right)\text{.}$

步骤2.背景模型的建立及更新：通过亮度统计的方式建立背景模型，并结合步骤1中生成的运动模板进行背景模型的更新。

背景模型的获取最简单的方法是在场景没有运动目标的情况下获得，但在实际应用中很难满足这种要求，因此需要有一种方法能够在场景存在运动目标的情况下自适应地获取背景并及时更新。本发明方法采用统计建模的方法来构建背景模型。具体的建模策略为：首先，统计在n_NumFrame内像素点(X，Y)处每种像素值出现的次数，然后，将在该点处出现频率最高的像素值作为该点的背景像素值Bkground(X，Y)。

设n_NumFrame帧内像素点(X，Y)处出现的像素值用集合G(X，Y)表示：

G(X，Y)＝{G₁，G₂...G_k|0＜k≤n_NumFrame)

则该点的背景像素

Bkground(X，Y)＝{G_i|Count(G_i)≥Count(G_j)，0＜i≤k，j＝1，2...i-1，i+1，...k}

其中Count()为取像素个数操作。

结合权利要求2中生成的运动模板PMask(X，Y)进行背景更新，将非运动区域的背景像素用当前帧对应像素值f_n(x，y)替换，运动区域点背景像素值用Bkground(X，Y)替换。则第n帧(x，y)处的背景更新为：

$\mathrm{Bkgroun}{d}_n(x,y)=\left(\begin{array}{cc}{f}_n(x,y)& \mathrm{if}(\mathrm{PMask}(X,Y)==0)\\ \mathrm{Bkground}(X,Y)& \mathrm{if}(\mathrm{PMask}(X,Y)==255)\end{array}\right).$

其中Bkground_n(x，y)表示第n帧点(x，y)背景更新后的像素值，f_n(x，y)为原始视频序列中第n帧点(x，y)处的像素值。

步骤3.前景检测及边缘提取：将采用背景差分法提取到的前景区域与灰度图像的Sobel边缘检测结果相融合，提取前景区域的边缘。

在上述步骤完成的基础上就可以采用背景差法提取运动目标：

pVOPalpha_n(x，y)＝(abs)(f_n(x，y)-Bkground_n(x，y))

然后进行二值化及适当的形态学开闭操作，得到较为完整的运动目标，图2为Table视频序列第1、3帧运动目标提取结果。

从图2中可以明显的看到，运动目标本身比较完整，但是阴影也被误认为运动目标而检测出来，使得提取结果发生了严重的误检。所以，必须在此基础上消除阴影。

图3为图2中第1、3帧提取到的前景进行边缘检测及二值显化的结果。

通过大量的实验及观察，可以发现阴影的边缘信息与目标边缘信息相比较而言，阴影的边缘信息较为简单，并集中在外轮廓上。基于阴影边缘的这种特性，本发明尝试在提取边缘(包括运动目标和阴影的边缘)的基础上检测并剔除阴影边缘，然后根据保留的边缘重构运动目标。这种方法能大大减少计算量，易于阴影的检测。

步骤4.阴影的检测与剔除：将步骤3中提取到的前景区域边缘图在HSV色彩空间中进行阴影抑制；再将边缘图分别向水平和垂直方向投影，通过统计边缘点的分布情况来确定阴影大致位置及搜索方向；沿搜索方向在疑似阴影区域剔除虚假的边缘邻接点，搜索到真正的阴影与运动对象的边缘邻接位置；剔除阴影点，对存留的运动目标边缘进行填充及适当的形态学处理。

现有的基于颜色特征的阴影检测法主要集中在RGB空间或HSV空间。在RGB空间中，人的感知差别和计算差别一致性很差，并且RGB三分量具有互相关性，所以检测效果较差。而在HSV颜色空间中具有较好的颜色感知一致性，能够精确地反映灰度和色彩信息。在阴影检测时，相对于背景区域来说，V分量会变小，发生较大的变化，是判别阴影的重要参数，S分量具有较低的值，同背景的差异为负，H分量通常不会变化。本发明在阴影检测与剔除时，首先采用基于HSV色彩空间的方法进行初步剔除。具体方法如下：

式中α，β，T_s，T_H分别表示亮度、饱和度、色度分量的阈值，一般0＜α＜β＜1。

在视频序列Table中，选取α＝0.1，β＝0.9，T_s＝T_H＝0.2，则第1、3帧去除阴影后如图4所示。

从图4中可以分析出在HSV空间剔除阴影时，一般情况下能取得较好的结果，但是当背景的亮度较低时，阴影覆盖上后亮度变化很小，部分阴影会很难去除。同时，运动目标中部分像素点也会被错误剔除。针对这两种情况，本发明在HSV空间阴影检测的基础上提出一种融合空间位置的阴影去除方法。

前面提到，在背景纹理信息不复杂的情况下，大部分的阴影区域内部边缘较少，边缘信息主要集中在外轮廓上。所以，在经过HSV空间阴影去除后，未检测到的阴影的外轮廓更加稀疏。另外，通过大量观察发现，阴影的外轮廓一般与运动目标是邻接的。以上提到的这两点分别为阴影的边缘特性及空间特性。我们可以首先通过空间特性采用比重法定位阴影的大致位置，然后通过边缘特性精确判断阴影位置像素的分布情况来进一步去除残留的阴影。其具体的实现步骤如下：

1.首先将初步去除阴影后的边缘视频序列pVOPalpha_n(x，y)的每帧进行水平和垂直方向的投影，然后，从左到右，从上到下统计边缘图像中纵向和横向的像素分布情况。

if(pVOPalpha_n(x，y)＝＝255)

Horizontal_n[i]＝Horizontal_n[i]+1；

Vertical_n[j]＝Vertical_n[j]+1；

(i∈[0，Height-1]，j∈[0，Width-1]，n∈[1，n_NumFrame])

其中，Horizontal_n[i]表示第n边缘图向水平方向投影后第i行被标记为目标点的个数，Vertical_n[j]表示第n边缘图向垂直方向投影后第j列被标记为目标点的个数。Table视频序列第1、3帧的横向和纵向像素的分布情况如图5和图6所示。

2.判断阴影的大致位置，确定搜索方向。找到Horizontal_n[i]不为0时i对应的最小值i_n，min和最大值i_n，max，及Vertical_n[j]不为0时j对应的最小值j_n，min和最大值j_n，max。阴影的大致位置及搜索方向的对应关系如表1所示：

表1阴影位置与搜索方向的对应关系

其中N₁，N₂，N₃，N₄定义如下：

$N_1=\underset{i=i_{n,\min }}{\overset{(i_{n,\min }+i_{n,\max })/2}{\Sigma }}\mathrm{Horizonta}{l}_n\left[i\right]$$N_2=\underset{i=(i_{n,\min }+i_{n,\max })/2}{\overset{i_{n,\max }}{\Sigma }}\mathrm{Horizon}{\mathrm{tal}}_n\left[i\right]$

$N_3=\underset{j=j_{n,\min }}{\overset{(j_{n,\min }+j_{n,\max })/2}{\Sigma }}V{\mathrm{ertical}}_n\left[j\right]$$N_4=\underset{j=(j_{n,\min }+j_{n,\max })/2}{\overset{j_{n,\max }}{\Sigma }}{\mathrm{Vertical}}_n\left[j\right]$

3.按照搜索方向及步骤1中的纵向、横向统计结果分别搜索纵向和横向可能的阴影与运动目标的邻接位置，搜索策略为：对Horizontal_n[i](i∈[0，Height-1])，如果不为0且与之相邻的后4个值均小于10，则认为i为可能的纵向邻接点；如果该值为0，则继续向下搜索。对Vertical_n[j](j∈[0，Width-1])，如果不为0且与之相邻的后4个值均小于10，则认为j为可能的横向邻接点；如果该值为0，则继续向下搜索。

4.当搜索到步骤3中所指的可能的i或j时，实际上，i或j很可能为运动目标的尖点位置，所以必须通过比重法进一步确认：如果则认为i＜k＜Height之间含有阴影，转入执行步骤5；如果则认为i处仅仅是运动目标的尖点位置，需返回步骤3继续搜索；如果则认为j＜k＜Width之间含有阴影，则转入执行步骤5；如果则认为j处仅仅是运动目标的尖点位置，需返回步骤3继续搜索。

5.阴影位置确定后，统计阴影所在区域的横向和纵向每一行及每一列的像素值，若存在像素满足设定比例的情况则在边缘图中去除该点(即将该点置为0)。注意，这里是对进行HSV空间阴影抑制前提取出的边缘图进行阴影点的剔除，这也正是保持运动目标提取完整的关键所在。

6.对存留的运动目标边缘进行适当的填充及形态学处理，通过alpha平面映射得到视频对象平面。

为了验证方法的有效性，本发明方法选取了含运动阴影的两类视频序列(如表2所示)进行了实验。

表2进行实验的两类视频参数

图7为Table视频序列的第1、3帧仅采用HSV空间阴影抑制法和采用本发明方法进行阴影去除的结果对比图。图8为Slient视频序列的第10、13帧仅采用HSV空间阴影抑制法和采用本发明方法进行阴影去除的结果对比图。

图7视频序列中背景和运动目标对比度明显，但是当阴影覆盖到背景上后亮度变化并不大，这时如果仍然只采用HSV阴影检测法会导致一部分阴影边缘未被检测出来而被误检为运动目标。图8不仅阴影覆盖到背景上后亮度变化小，而且背景复杂、与运动目标色彩很相近，这样不仅色彩不变性失效导致阴影漏检误检，还会使部分运动目标的边缘被误检为阴影而剔除。从上面的对比图中可以看出，本发明方法很好地克服了这些缺点，成功地检测出完整准确的运动目标，具有较强的鲁棒性。

为了进一步验证本发明方法对阴影方向的自适应性，自行拍摄了两种含不同方向阴影的视频序列进行实验。其结果如图9所示。

为了客观评价本发明方法的正确性和有效性，我们采用在MPEG-4核心实验中由Wollborn等提出的评价准则进行评价。该准则定义每帧的分割对象掩膜的空间准确度SA(spatial accuracy)为：

$\mathrm{SA}=1-\frac{{\Sigma }_{(x,y)}{A}_t^{\mathrm{est}}(x,y)\oplus A_t^{\mathrm{ref}}(x,y)}{{\Sigma }_{(x,y)}{A}_t^{\mathrm{ref}}(x,y)}$

式中，和分别表示第t帧的参考分割和实际分割算法所得到的对象模板；代表二值的“异或”操作。SA的取值范围为[0，1]。空间准确度反映了每一帧的分割结果与参考分割模板之间的形状相似程度。SA越接近于1，表明分割越准确；SA越接近于0，表明分割越不准确。

我们通过手工方式来获取参考分割的对象模板。图10和图11分别为Table视频序列和Silent视频序列的前15帧采用本发明方法和仅通过HSV空间阴影抑制后视频对象提取的结果SA对比图。

从图10中可以看出，如果仅采用HSV空间阴影抑制法去除阴影，Table视频序列的前15帧对象提取的精度只在0.11～0.38之间，提取准确度非常差，结果无法使用。而采用本发明方法去除阴影能够将提取精度保持在0.62～0.80之间，达到了比较满意的效果。同样，图11中也显示出采用本发明方法Silent视频序列的提取结果更加精确，每帧的准确度都在0.90以上。

表3、表4分别是自拍视频序列Men和Wait的前14帧采用本发明方法进行阴影剔除的结果精确度。

  帧号  SA  帧号  SA  1  0.95861  8  0.94231  2  0.95509  9  0.94068  3  0.94365  10  0.93756  4  0.95671  11  0.93090  5  0.95828  12  0.92437  6  0.95099  13  0.90610  7  0.91660  14  0.88357

表3视频序列Men前14帧采用本发明方法进行阴影剔除的结果精确度

  帧号  SA  帧号  SA  1  0.71666  8  0.76305  2  0.70474  9  0.66742  3  0.77763  10  0.68103  4  0.76703  11  0.68488  5  0.66944  12  0.65208  6  0.65043  13  0.65634  7  0.68501  14  0.69310

表4视频序列Wait前14帧采用本发明方法进行阴影剔除的结果精确度

以上实验表明，本发明方法与其它方法相比，在采用色度不变性准则失效或背景与运动目标颜色相近的情况下，仍然能准确地定位阴影的方位，对各个方向的阴影都能较好地去除，同时保持运动目标的完整性。实验证明，该方法计算量小，鲁棒性强。