基于正交分解和EM算法的阴影检测方法

摘要

本发明涉及基于正交分解和EM算法的阴影检测方法，包括以下步骤：利用原始图像中阴影区域内外的线性模型建立线性方程组；对该线性方程组进行正交分解得到一幅彩色光照不变图像和一幅光照变化图像；对彩色光照不变图像采用K-means算法进行分类：根据分类结果对光照变化图像采用EM算法进行高斯混合建模，提取阴影区域；最后采用形态学算子对提取的阴影区域进行优化。本发明采用简单的正交分解和EM迭代算法提取阴影区域，不需要复杂的特征算子学习过程，大大的降低了算法的时间复杂度，可直接应用到实时场合；本发明也不需要场景、目标等先验知识，具有较好的普适性。

说明书

技术领域

本发明涉及计算机视觉及图像处理领域，具体地说是基于正交分解和EM算 法的单幅室外图像的阴影检测方法。

背景技术

作为自然界中普遍存在的一种物理现象，阴影给计算机视觉任务带来诸多 不利影响。阴影的覆盖会造成图像模糊、破坏灰度值的连续性，进而影响着边 缘检测、物体识别、以及影像匹配等算法的鲁棒性，对后续的图像分析和理解 带来极大的干扰。根据所使用的图像数量，阴影检测可以分为基于多幅图像的 方法和基于单幅图像的方法。目前，国内外很多学者对图像序列中的阴影进行 了比较深入的研究，提出了很多有效的算法，这些方法在视频监控和车辆追踪 等领域得到了广泛的应用。而单幅图像由于所包含的信息较少，其阴影检测一 直是该领域的难点和研究方向。

从阴影检测技术特点来说，单幅图像阴影检测算法大致分为两类：基于物 理模型的方法和基于阴影特征的方法。其中基于模型的方法是指利用场景、运 动目标、光照条件等方面的先验信息，建立阴影模型，如Retinex模型，及基 于Retinex模型的相关改进方法等。基于物理模型的方法一般需要一些先验知 识，如有关光源和物体的几何关系、相机标定等。这类方法通常具有比较严密 的理论推导，但同时也有较大的局限性，尤其在背景复杂、光照条件较差的条 件下，模型的复杂度以及建模时间都会迅速增加，难以满足实际工程的需要。 基于阴影特征的方法是利用阴影和背景的特性进行检测，如亮度差、纹理、颜 色比率、边缘梯度、熵等。该类算法常常只考虑目标阴影单个特征的区别，检 测效率不高。如很多算法利用阴影区域亮度比周围区域亮度要低的特征进行阴 影检测，但是较暗的区域不一定就是阴影；也有算法单纯借助色度不变性进行 检测，但当阴影颜色比较深的时候，利用色度不变性就无法检测出阴影。近几 年来,基于统计学习的多特征阴影检测算法受到了越来越多的关注，该算法具 有更好的通用性和鲁棒性,但他们往往需要复杂的学习过程，算法数据计算量 大，耗费时间多，难以应用到实时场合。

发明内容

本发明针对上述现有技术的一些不足，提出一种基于正交分解和EM算法的 单幅室外图像的阴影检测算法，该方法既不需要复杂的统计学习过程也不需要 场景、目标等先验知识，提高了阴影检测算法的实时性和普适性。

本发明解决其技术问题所采用的技术方案是：基于正交分解和EM算法的阴 影检测方法，对原图进行正交分解，并利用EM算法对分解后的图像进行高斯 混合建模，求解阴影区域；具体包括以下步骤：

1)利用原始图像中阴影区域内外的线性模型建立线性方程组；

2)对该线性方程组进行正交分解得到一幅彩色光照不变图像和一幅光照 变化图像；

3)对彩色光照不变图像采用K-means算法进行分类；

4)根据分类结果对光照变化图像采用EM算法进行高斯混合建模，提取 阴影区域；

5)最后采用形态学算子对提取的阴影区域进行优化。

所述对该线性方程组进行正交分解得到一幅彩色光照不变图像和一幅光照 变化图像具体为：

对该线性方程组进行正交分解u＝u_p+αu₀，得到彩色光照不变图像u_p和光 照变化图像α，并满足Au₀＝0，||u₀||＝1，α∈R，u_p⊥u₀；$A=\left(\begin{array}{ccc}1& 1& {-\beta }_1\\ 1& {-\beta }_2& 1\\ {-\beta }_3& 1& 1\end{array}\right),$${\beta }_1=\frac{\log \left(K_R\right)+\log \left(K_G\right)}{\log \left(K_B\right)},{\beta }_2=\frac{\log \left(K_R\right)+\log \left(K_B\right)}{\log \left(K_G\right)},{\beta }_3=\frac{\log \left(K_G\right)+\log \left(K_B\right)}{\log \left(K_R\right)},$H={R，G，B},K_H为 线性模型参数；u为线性方程组的任意解。

对彩色光照不变图像采用K-means算法进行分类具体为：采用K-means聚 类算法将彩色光照不变图像中反照率一致的区域判为一类，最后得到多个类。

所述根据分类结果对光照变化图像采用EM算法进行高斯混合建模包括以 下步骤：

将多个类中的每一类利用EM算法进行高斯混合建模：

4.1)用K-means算法对光照变化图像中属于当前类S的像素进行初始分类， 分类类别为K＝2；

4.2)根据分类结果得到EM算法的初始参数；

4.3)计算光照变化图像中像素点α(x)属于第i类高斯分布的概 率：

$P_i\left(x\right)=\frac{{\pi }_S^i\exp (-\frac{{\left|\right|\alpha \left(x\right)-{\mu }_S^i\left|\right|}^2}{{2\delta }_S^i{\delta }_S^j})}{\underset{j=1}{\overset{K}{\Sigma }}{\pi }_S^j\exp (-\frac{{\left|\right|\alpha \left(x\right)-{\mu }_S^j\left|\right|}^2}{{2\delta }_S^i{\delta }_S^j})}---\left(7\right)$

其中K是分类类别，和是混合参数，分别代表第i、j类高斯分布的所 占权重，和分别是第i类的高斯均值和协方差，和分别是第j类的高斯 均值和协方差，i,j＝1...K；

4.4)更新参数值：

${\mu }_S^i=\frac{1}{Z_i}\underset{x\in S}{\Sigma }{P}_i\left(x\right)\alpha \left(x\right),{\delta }_S^i=\sqrt{\frac{\underset{x\in S}{\Sigma }{P}_i\left(x\right){\left|\right|\alpha \left(x\right)-{\mu }_S^i\left|\right|}^2}{Z_i}},{\pi }_S^i=\frac{Z_i}{N},$其中$Z_i=\underset{x\in S}{\Sigma }{P}_i\left(x\right)$是第i类 的样本数，N是当前类区域中的总像素数；返回步骤4.3)，将代入到公 式(7)，直到满足收敛条件。

所述提取阴影区域具体为：如果两类高斯分布的均值差位于设定值范围内， 则认为各类像素集是同一材料在不同光照条件下生成的，并将均值小的一类区 域判为阴影并提取。

本发明具有以下有益效果及优点：

1.本发明采用简单的正交分解和EM迭代算法提取阴影区域，不需要复杂的 特征算子学习过程，大大的降低了算法的时间复杂度，可直接应用到实时场合。

2.本发明借助彩色光照不变图像的光照不变性和α图像记录光照变化的特 性进行阴影区域判断，提高了阴影检测的准确性和有效性，减低漏检率。具体 表现为：本发明借助彩色光照不变图像既保持了图像的纹理和颜色信息又消除 了光照影响的特点进行聚类分析，该聚类能将反照率相似的区域划为一类；用 来进行阴影和非阴影区域判断的α图像记录了光照变化的信息，相比于原图而 言，该光照变化图像提高了阴影区域和非阴影区域的可分性。

3.该发明无需提供场景、运动目标、光照条件等先验知识，在复杂背景的 情况下也适用，具有较好的普适性。

附图说明

图1为本发明的整体流程框图。

图2为本发明实施例一的原图像。

图3a为对原图像实施正交分解后得到的彩色光照不变图像。

图3b为对原图像实施正交分解分解后得到的光照变化图像α。

图4为对彩色光照不变图像实施k-means聚类后的结果图像。

图5a为图4聚类结果中的一类图像。

图5b为α图像中属于图5a类别的像素分布直方图及拟合的两类高斯分布曲 线。

图5c为用EM算法进行高斯混合建模后得到两类分布之一。

图5d为用EM算法进行高斯混合建模后得到两类分布之二。

图6a为初步阴影提取结果图像。

图6b为最终阴影检测结果图像。

图7a为本发明实施例二的原图像。

图7b为初步阴影提取结果图像。

图7c为阴影检测的最终结果图像。

具体实施方式

下面结合实施例对本发明做进一步的详细说明。

本发明的技术方案如下：

(1)利用阴影区域内外的线性模型建立一个线性方程组；

(2)根据该线性方程组具有的奇异特性，对该线性方程组的解进行正 交分解；该正交分解得到一幅彩色光照不变图像和一幅光照变化图像α，其中彩 色光照不变图像在消除光照变化带来的影响的同时也保持了原图像的基本颜色 和纹理信息，而光照变化图像α记录了图像的光照变化情况；

(3)利用彩色光照不变图像的光照不变特性对图像进行分类：采用 K-means聚类算法(K-均值聚类算法)对彩色光照不变图像进行聚类，该聚类将 图像中反照率一致的区域判为一类；

(4)利用在反照率相同的情况下，光照变化图像α的阴影区域和非阴影 区域的像素值均服从高斯分布的特性，对上述反照率一致的区域，在光照变化 图像α的基础上，采用EM算法进行高斯混合建模，提取阴影区域。最后采用形 态学算子对提取的阴影区域进行优化，消除孤立点，填充不连续的区域。

这里在反照率一致的情况下，光照变化图像α的阴影区域和非阴影区域的像 素值服从高斯分布的特性体现在：在光照变化图像α中，对于步骤(3)中聚为一 类的具有相同反照率的区域，其阴影部分和非阴影部分均可用高斯分布来拟合， 具体可参考图5b，这两类高斯分布可以通过调整均值和方差进行互换。

利用EM算法进行高斯建模提取阴影区域具体为：在光照变化图像α上，对 相同反照率区域用EM算法(ExpectationMaximizationAlgorithm，期望最 大化算法)迭代估算两类高斯分布；根据两类高斯分布均值差异的大小判断两 类分布是否具有相同光照，对两类分布来自不同光照的情况，将属于均值小的 一类高斯分布判为阴影区域。

参见图1，本发明主要包括如下几个步骤：线性方程组的建立、彩色光照不 变图像和光照变化图像α的提取、一致反照率区域的聚类、阴影区域提取和优化。

具体方案如下：

1.利用阴影区域内外的线性模型建立一个线性方程组

对于一幅室外阴影图片(如图2所示)其具有一致反照率的阴影区域和非阴 影区域存在如下线性关系：

$\log \left(F_H\right)=\frac{\log \left(K_H\right)}{2.4}+\log \left(f_H\right)---\left(1\right)$

上述模型中F_H为非阴影区域RGB色彩空间中的线性RGB三刺激值，f_H为相 应的阴影区域的线性RGB三刺激值，H={R，G，B},K_H为不依赖于波长的参数，与 物体本身的反照率无关，只由光照条件决定。实际情况中，可以利用平均日光 和太阳光的SPD(光谱辐照度)得到该线性参数(可通过计算从20度到70度天 顶角的SPD平均值来得到该参数，本实施例中K_H采用[6.795.924.24])。根据公式 (1)可建立如下线性方程组：

$\left(\begin{array}{c}\log \left(F_R\right)+\log \left(F_G\right)-{\beta }_1·\log \left(F_B\right)=\log \left(f_R\right)+\log \left(f_G\right)-{\beta }_1·\log \left(f_B\right)=I_1\\ \log \left(F_R\right)-{\beta }_2·\log \left(F_G\right)+\log \left(F_B\right)=\log \left(f_R\right)-{\beta }_2·\log \left(f_G\right)+\log \left(f_B\right)=I_2\\ {-\beta }_3·\log \left(F_R\right)+\log \left(F_G\right)+\log \left(F_B\right)=-{\beta }_3·\log \left(f_R\right)+\log \left(f_G\right)+\log \left(f_B\right)=I_3\end{array}\right)---\left(2\right)$

其中，

${\beta }_1=\frac{\log \left(K_R\right)+\log \left(K_G\right)}{\log \left(K_B\right)},{\beta }_2=\frac{\log \left(K_R\right)+\log \left(K_B\right)}{\log \left(K_G\right)},{\beta }_3=\frac{\log \left(K_G\right)+\log \left(K_B\right)}{\log \left(K_R\right)}---\left(3\right)$

公式(2)定义了三个阴影不变量I₁,I₂,I₃。对图像RGB像素v_H，定义 u_H＝log(v_H)，则公式(2)可以简化成如下矩阵形式的线性方程组：

Au_H＝I(4)

${\beta }_3=\frac{\log \left(K_G\right)+\log \left(K_B\right)}{\log \left(K_R\right)}---\left(5\right)$

其中$A=\left(\begin{array}{ccc}1& 1& {-\beta }_1\\ 1& {-\beta }_2& 1\\ {-\beta }_3& 1& 1\end{array}\right),I=I_1,I_2,I_3.$对于方程(4),其原图像本身(阴影部分 和非阴影部分)的像素值就是方程的一个任意解。

2.利用正交分解的方法提取彩色光照不变图像和光照变化图像α

公式(4)中矩阵A只受参数β₁，β₂，β₃影响，与图像本身没有关系。根据A的定 义，我们有det(A)＝0，Rank(A)＝2，方程(4)有无数解，其解空间由自由解空 间和任一特解构成且自由解空间的自由度为1。根据线性代数相关知识，对于

方程(4)的任意解u，我们可以定义如下正交分解：

u＝u_p+αu₀(6)

其中u₀为归一化的自由解，满足Au₀＝0，||u_v||＝1，α∈R(实数),u_p为方程一 特解，满足u_p⊥u₀。对于给定的一幅图像，其自由解u₀由光照环境参数β₁，β₂，β₃唯 一确定,且方向由光照变化比率决定。u_p满足u_p⊥u₀，是该方程的唯一特解，它 消除了不同光照造成的影响。

由上分析可知，给定一幅光照不均匀的图像，对其按照式(6)进行正交分解， 可以得到一幅消除光照影响的彩色图像，也即彩色光照不变图像(见图3a)， 而相应的变化信息则记录在光照变化图像α(见图3b)中。

3.基于K-means算法的具有一致反照率区域的聚类

因上述得到的彩色光照不变图像已消除不同光照带来的影响，这里，我们 可以借助无监督聚类技术K-means算法对该彩色光照不变图像进行自动分类， 将图像中具有一致反照率的区域归为一类。K-means算法对图3b(彩色光照不 变图像)进行聚类的结果见图4。

4.基于EM算法的高斯混合建模

利用具有相同反照率的阴影区域和非阴影区域的像素值服从相似高斯分布 的特性(参考图5b)，对上述具有一致反照率的区域，在α图像的基础上，采用 EM算法进行高斯混合建模，为下一步阴影区域的提取做准备。

下面以上述分割结果中的一类S，为例，即图5a为例，具体描述利用EM算 法进行高斯混合建模的步骤：

1)用K-means算法对α图像中属于S类的像素进行初始分类，分类类别为K。 这里，我们只需判断样本点是来自阴影区域还是非阴影区域，所以分类类别数K 选为2；

2)将K-means算法的分类结果作为EM算法的初始分类，计算EM算法所 需的初始参数，这里直接计算每一类的均值和方差作为高斯分布的初始参数， 迭代执行如下EM步骤；

(1)段期望阶段(E步骤)估计责任：

假设我们有K类高斯分布，则像素点α(x)属于第i类高斯分布的概率为：

$P_i\left(x\right)=\frac{{\pi }_S^i\exp (-\frac{{\left|\right|\alpha \left(x\right)-{\mu }_S^i\left|\right|}^2}{{2\delta }_S^i{\delta }_S^j})}{\underset{j=1}{\overset{K}{\Sigma }}{\pi }_S^j\exp (-\frac{{\left|\right|\alpha \left(x\right)-{\mu }_S^j\left|\right|}^2}{{2\delta }_S^i{\delta }_S^j})}---\left(7\right)$

其中K是高斯分类类别数，和是混合参数，分别代表第i、j类高斯分 布的所占权重，和分别是第i类的高斯均值和协方差，和分别是第j类 的高斯均值和协方差；i,j＝1...K；

(2)段最大化阶段(M步骤)更新参数值：

${\mu }_S^i=\frac{1}{Z_i}\underset{x\in S}{\Sigma }{P}_i\left(x\right)\alpha \left(x\right)---\left(8\right)$

${\delta }_S^i=\sqrt{\frac{\underset{x\in S}{\Sigma }{P}_i\left(x\right){\left|\right|\alpha \left(x\right)-{\mu }_S^i\left|\right|}^2}{Z_i}}---\left(9\right)$

${\pi }_S^i=\frac{Z_i}{N}---\left(10\right)$

其中是分配到第i类的样本点数，N是S类区域中的总样本点数 即总像素数；

上述E步骤和M步骤重复迭代，直到满足收敛条件。EM算法迭代后得到的 两类见图5c,5d。相应的光照变化图像α的分布直方图见图5b虚线，图5b实线 为拟合的两类高斯分布曲线(其中图5b的横坐标为归一化的α图像的像素值， 纵轴为相应的像素所包含的样本点数在总像素样本点数中所占百分比)。

5.阴影区域的提取及优化

利用上述两类高斯分布均值初步判断阴影区域：设上述EM算法迭代后得 到两类高斯分布为：分析两类高斯分布的均值差， 如果均值差满足则判断这两类像素集是同一材料在不同光照条件 下生成的，并根据阴影区域比非阴影区域亮度低的特点，将均值小的一类区域 所有像素点判为阴影(γ₁，γ₂为一常数，实际应用中可选0.1和7)。若均值差不 满足此范围，不予处理；初步阴影区域判断结果见图6a。

初步阴影区域提取后，需要进行后期处理，消除一些零散的阴影区域，补 充一些不连续的阴影区域等：对得到的阴影区域进行“开”或“闭”操作，然 后利用连通区域分析得到每个连通区域，称为一个团块。去除“开”图中不含 “闭”图团块的质心点的团块。最后对“开”图的结果再进行一次形态学处理 (开闭操作)和连通区域分析，提取最终结果。最终阴影提取结果见图6b。

图7为本发明在另外一幅室外复杂光照图像7a上的处理结果，图7b为初 步阴影提取结果，图7c为优化后的阴影区域。

从图6检测结果可以看出，本发明不但能准确地检测深色的影子，对于软 阴影本发明也同样有效，具体可见树干及其旁边的枝干处的阴影；根据图7的 检测结果可以发现，本发明对具有复杂纹理的阴影图像也同样适用。