使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影

摘要

本发明涉及使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影。提供了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获图像。所捕获图像的每个像素由对数图中的相应颜色值表示。确定非线性光照恒定核。在所述对数图中为各相应颜色集确定光照方向，所述光照方向正交于所述非线性光照恒定核。各所绘像素的色度对数值投射在所述非线性光照恒定核上。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。比较识别出的边缘。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的缺乏，确定是否存在阴影边缘。产生减少了阴影的图像，用于车辆的基于视觉的系统的场景分析。

说明书

技术领域

实施例总地涉及基于视觉的目标检测系统。

背景技术

光照情形如阴影会引起基于视觉的目标检测系统的误差。阴影会扭曲被捕获对象的颜色，导致（1）由于阴影产生的边缘与（2）不同实体（例如道路与风景）间的边缘之间的模糊不清。已经使用一些应用来过滤掉阴影，但是现有技术的系统假定使用具有高质量成像器的相机。具有高质量成像器的相机昂贵且包装尺寸大，因此，特别是在基于批量生产的车辆的视觉系统中并不实用。使用高质量成像器，相机传感器被假定为窄频带并且如同狄拉克δ函数那样工作，因为它们仅在一个波长具有非空响应。然而，通常用在基于车辆视觉的目标检测系统内的低成本成像器与窄频带传感器假定并不相符。因此，用于去除阴影的现有技术不适于使用低成本生产的成像器。

发明内容

实施例的优点在于从将要被车用视觉感测系统分析的、由图像捕获装置捕获的图像中减少阴影。该阴影减少技术利用非线性光照恒定核，该非线性光照恒定核区分和维持各颜色集的色度，同时去除施加在各自颜色集上的所有光照影响，不管各颜色集的投影光照方向彼此不平行。

实施例设想了一种用于去除捕获图像中光照产生的阴影的方法。通过图像捕获装置捕获场景的输入图像。将所捕获输入图像的每个像素都绘在两维对数图上。每个像素为所述对数图中多个颜色集之一的变化。随所述多个颜色集变化而确定非线性光照恒定核。为所述对数图中各相应颜色集确定光照方向。各相应颜色集的所述光照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定核。将各所绘像素的色度对数值投射在所述非线性光照恒定核上。所述非线性光照恒定核分成多个颜色集范围。所述颜色集范围每个与特定颜色集的变化相关联，其中所述非线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值。识别所述输入图像中的边缘。识别所述光照恒定图像域中的边缘。将所述输入图像的识别出的边缘与所述光照恒定图像域中的识别出的边缘作比较。响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘。产生减少了阴影的图像，用于基于车辆视觉的系统的场景分析。

本发明提供以下技术方案：

方案1. 一种用于去除捕获图像中光照产生的阴影的方法，所述方法包括如下步骤：

（a）通过图像捕获装置捕获场景的输入图像；

（b）将所捕获的输入图像的每个像素都绘在两维对数图上，每个像素为所述对数图中多个颜色集之一的色调变化；

（c）确定随所述多个颜色集而变化的非线性光照恒定核；

（d）在所述对数图中确定对于各相应颜色集的光照方向，对于各相应颜色集的所述光照方向在颜色集的相应光照方向与所述非线性光照恒定核之间的各相应交叉点上正交于所述非线性光照恒定核；

（e）将各所绘像素的色度对数值投射在所述非线性光照恒定核上，所述非线性光照恒定核分成多个颜色集范围，所述颜色集范围每个与特定颜色集的变化相关联，其中所述非线性光照恒定核上的各所绘像素表示所述输入图像的相应像素映射到光照恒定图像域的颜色值；

（f）识别所述输入图像中的边缘；

（g）识别所述光照恒定图像域中的边缘；

（h）将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较；

（i）响应于所述输入图像中识别的边缘而所述光照恒定图像域中相关边缘的不存在，确定是否存在阴影边缘；以及

（j）产生减少阴影的图像，用于通过基于车辆视觉的系统的场景分析。

方案2．如方案1的方法，其中所述非线性光照恒定核为椭圆。

方案3．如方案1的方法，其中所述非线性光照恒定核为圆形。

方案4．如方案1的方法，其中所述非线性光照恒定核为多边形。

方案5．如方案1的方法，其中步骤（d）还包括选择提供在投影在所述非线性光照恒定核上的所述特定颜色集与其它颜色集之间的显著的分隔距离的非线性光照恒定核。

方案6．如方案3的方法，其中选择所述非线性光照恒定核基本上最小化了所述特定颜色集内所述色调变化的投影值之间的距离。

方案7．如方案1的方法，其中所述对数图包括对数型蓝-绿轴和对数型红-绿轴。

方案8．如方案1的方法，其中识别所述输入图像和所述光照恒定图像域中的边缘还包括如下步骤：

从所述输入图像确定边缘的梯度；以及

从所述光照恒定图像域确定边缘的梯度。

方案9．如方案8的方法，其中将所述输入图像的识别的边缘与所述光照恒定图像域中的识别的边缘作比较包括，将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较的步骤。

方案10．如方案9的方法，其中确定是否存在阴影边缘的步骤还包括如下步骤：

确定所述输入图像的梯度是否大于第一阈值；以及

确定所述光照恒定图像域的梯度是否小于第二阈值。

方案11．如方案9的方法，其中将所述输入图像的梯度和所述光照恒定图像域的梯度与至少一个阈值作比较还包括如下步骤：

计算所述输入图像的梯度与所述光照恒定图像域的梯度之间的梯度差。

方案12．如方案11的方法，其中计算梯度差包括下列步骤：

确定所述输入图像的梯度范数；

确定所述光照恒定图像域的梯度范数；以及

通过从所述输入图像的梯度范数减去所述光照恒定图像域的梯度范数来计算所述梯度差。

方案13．如方案12的方法，其中确定是否存在阴影边缘的步骤还包括确定所述梯度差是否大于预定阈值的步骤。

方案14．如方案1的方法，其中对于每个颜色通道都执行步骤（f）-（i）。

方案15．如方案14的方法，其中所述颜色通道包括红色通道、绿色通道和蓝色通道。

方案16．如方案14的方法，其中产生减少阴影的图像的步骤还包括如下步骤：

对于成功地识别出的阴影边缘，将所述输入图像中的梯度设置为零；

积分各自通道的梯度，用于重新构造灰度图像；以及

组合各通道，用以形成减少阴影的彩色图像。

附图说明

图1为捕获道路图像的车辆的平面图。

图2为由车辆内图像捕获装置捕获的图像。

图3为阴影减少过程的框图。

图4为示出线性光照恒定轴线的光照恒定线图的图表。

图5为使用低质量图像捕获装置的示例性光照恒定线图。

图6为应用非线性光照恒定轴线的光照恒定线图的图表。

图7为用于从捕获的图像减少阴影的方法的流程图。

具体实施方式

图1中示出了沿着道路12行驶的车辆10。基于视觉的成像装置14捕获车辆10前方的道路的图像，用以检测行驶可行区域（下文称畅通路线）内的图像。基于视觉的成像装置14用于检测目标。在优选实施例中，基于视觉的成像装置14用于为系统（例如，但不限于，车道偏离警告系统）识别畅通路线或道路中的车道标记。基于视觉的成像装置14优选安装在车辆的内部，恰在挡风玻璃的后方，用于捕获车辆外面和前方发生的事件。尽管基于视觉的成像装置14可用于多种功用（例如，增强驾驶员夜视），但是本文所述的主要目的是用于需要识别道路标记、车道标记、道路标志或其它道路目标的系统。这种系统的例子包括，但不限于，必须要求系统能够识别车辆处于道路中何处的车道偏离警告系统，用以警告驾驶员无意识的车道变化。

图2示出了由车辆上基于视觉的成像装置捕获的图像。依赖于光源的亮度和角度，可能会在车辆行驶路线中的物体上投射阴影，从而增加了系统区分道路上的物体与投射在道路上的阴影的难度。如图2中所示，行驶在被驾驶车辆前方的车辆16以及路灯18和20可在车行道中投射阴影22、24和26，使得难以识别道路上的车道标记28。

图3中示出了用于去除阴影的示例性图形化流程方法。在框30中，含有阴影的图像被图像捕获装置捕获。阴影为操作图像捕集装置的人的自己的阴影。

在框31中，执行后面描述的光照恒定分析，以检测图像中的所有阴影。在框32中，在光照恒定图像域中表现输入图像。为图形目的在光照恒定图像域中示出的图像为灰度图像，其中颜色集是复现的，不管输入图像中存在的光照条件或阴影。应当理解，为在车辆中实施该技术的目的，不需要产生实际恒定图像；而是，可使用数学分析、建模或其它表现方式来模拟光照恒定图像域中的图像。如图所示，作为光照恒定分析的结果，从光照恒定图像域中去除了阴影。

在框33中，比较输入图像和光照恒定图像域，用于确定原始输入图像中哪儿存在阴影以构造减少了阴影的图像。

在框34中，作为原始输入图像的梯度与光照恒定图像域的梯度之间的比较的结果，从捕获的输入图像去除了阴影。

图4描述了去除阴影的数学方法，如下所述。在用于路上车辆的目标检测和分类中，捕获图像的背景和前景是不断变化的。对于单一的RGB（红、绿、蓝）图像，可基于光照恒定分析去除投射的阴影。如果照明大致为三δ函数型传感器成像的具有朗伯面的普朗克源，那么可形成色度波段比（例如，3波段RGB彩色图像的R/G、B/G）。另外，对于在不同照明条件下的任意颜色集，对于两维｛log(R/G)，log(B/G)｝值的对数图形成直线。此外，各不同颜色集的每条这种线具有相同的斜率。因此，可使用该物理概念得到光照恒定图像域，其中不管照明条件如何（即，是否存在阴影），一个颜色集的颜色值都映射至光照恒定图像中的相同值。

另外，图像中形成的物体边缘对应于材料反射率的变化。阴影边缘为在原始图像中有但是恒定图像中没有的边缘。在图像的梯度表示上定义阈值处理操作，以确定阴影边缘。由于阈值阴影边缘是噪声，所以应用形态学运算，以扩展边缘并填充阴影边缘中的一些空隙。此外，被识别的阴影边缘被设定为零，用以去除光照变化的影响。各处理通道的梯度图像的积分步骤用于放弃乘法常数而恢复减少了阴影的图像，然后估计乘法常数，以获得最终减少了阴影的彩色图像。

这里描述减少了阴影的恒定图像的构造。利用了使用灰度成像的图形表示。该技术使用标准彩色图像作为输入，而输入为图像的光照恒定表示。光照恒定图像域通过将其色度对数值投影在光照恒定方向上来获得。为执行该投影，使用朗伯模型用于图像形成。假定，如果表面外观相同，并且独立于取景方向（即，理想漫反射面），那么照射在该表面上并入射在相机传感器上的具有光谱功率分布（SPD）：E(λ)的光源导致如下响应：

其中 表示表面反射率，其定义为在每波长基础上反射的入射光的分数，（发光体的SPD）将发光体发出的功率定义为波长的函数，为成像装置的传感器(其中)的光谱灵敏度，明确指明了传感器在各波长处吸收的光的比例。如果上面的各项相乘并在（传感器具有非零响应的波长范围）上积分，那么它给出R_k,图像中各像素处的色值。

为了简化公式（1）和导出恒定表示，除朗伯表面假定之外，还利用其它两个假定。第一，假定光照源遵守普朗克黑体辐射体定律。普朗克黑体辐射体定律指出，当在温度T加热时的理想球形辐射体以特定的波长发出电磁辐射（例如，发光、闪光）。普朗克光源的例子包括太阳和天空，其为在我们的目标检测和分类应用中最感兴趣的光照源。这样，该光照可通过其色温T参数化为：

其中C₁和C₂为常数，I为光的总体强度。

第二假定为，假定相机传感器为窄带式并且如同迪拉克δ函数那样工作，因为它们仅在单一波长λ_k有非空响应。结果，相机灵敏度可由下式表示:

其中为Q_k具有非空响应处的唯一波长。通过这些约束，原始图像形成可表达为：

对于图像中的任何颜色，该颜色可通过RGB颜色通道的组合（例如，i=红色、蓝色）来得到。波段比2维矢量色度可通过除以两个颜色通道产生：

其中p固定为一个颜色通道（例如，绿色），i指示另两个颜色通道（例如，i=红色、蓝色）。由于对于所有三个颜色通道，各像素处的光照强度效应I都是恒定值，所以去除I。因此，c_i不依赖于强度和遮光信息。于是对数可如下导出：

其中，,。

以矢量形式概括上面的公式，推导出下面的矢量：

其中为依赖于要成像的表面和相机的2维矢量，但是与光源无关，为与要成像的表面无关但依赖于相机的2维矢量。结果，光照颜色变化（即，T变化），且给定表面的色度对数矢量沿着直线移动，其从点开始且沿着方向移动。此外，该直线的方向依赖于相机的特性，但是与表面和光源无关。

公式（8）还有效地表明，对于在各种普朗克光源下的相同表面，色度对数值落在具有如下斜率的线上：

将每个色度对数值投射在垂直于光照斜率的方向上给出了在对应图像位置中的值，所述对应图像位置仅依赖于相对光照基本不变的颜色反射率。产生的图像为光照恒定图像。 

图4示出了恒定图像形成过程。图4中，图像具有四个不同表面（即，颜色集）的色度对数值。这假定在一定范围的普朗克光源下利用理想的窄带传感器。显然，各表面的色度对数值沿着色度空间中各自的线40、41、42和43降低。这些线具有方向e。实黑线44示出了与光照方向正交的方向，称为光照恒定轴线。不管哪个视角方向的光照，给定表面的各色度对数值沿着这条线投影到一个点上。这些点代表如上定义的恒定图像。

假如有新的输入图像，一旦相对于各颜色集的光照方向找出恒定方向，那么所有像素都被转换到色度对数空间并被投影到该恒定方向上。

其目的是产生减少了阴影的彩色图像。含有阴影的原始输入图像用于导出减少了阴影的恒定图像。通过将原始图像的边缘与从恒定图像得到的边缘作比较可以识别对应于阴影的边缘。通过对阴影边缘进行阈值处理和将原始图像中的阴影梯度设置为零，能够排除包括由于光照效应引起的急剧变化的梯度。最后，积分阈值梯度产生减少了阴影的全色图像。下面提供了用于获得减少了阴影的全色图像的过程的详细描述。

第一步是执行阴影边缘遮罩提取。原始图像含有由表面转变和光照转变引起的边缘，但是恒定图像仅包含与被捕获表面的基准变化（不是由阴影引起的）有关的边缘。因此，原始图像的边缘被与恒定图像中得到的边缘相比较。阴影边缘被定义为原始图像中的、但不在恒定图像中的任何边缘，仅对应于光照变化。方向梯度和分别从原始图像和恒定图像计算出。使用两个阈值t₁和t₂来评价这两个边缘图，以便确定原始图像具有强边缘而恒定图像具有弱边缘的位置。二元阴影边缘如下产生：

替代地，可通过比较各自梯度的范数差来执行阴影边缘遮罩提取。从输入图像确定梯度范数，且从光照恒定图像域确定梯度范数。通过从输入图像的梯度范数减去光照恒定图像域的梯度范数来计算梯度差。梯度差被与阈值作比较，以确定是否存在阴影边缘。

首先产生的初始阴影边缘遮罩是不完全的，其中边缘遮罩包含多个伪边缘。因此，利用一组形态学运算（例如，闭运算和膨胀运算）来精制阴影边缘，用以产生最终阴影边缘遮罩。

第二步是应用减少阴影的图像积分。由于梯度上的阴影边缘对应于变化的光照，所以通过使用阴影边缘遮罩的阈值处理，如上所述，以降低光照效应，可以去除原始图像的梯度中的阴影边缘。结果，阈值梯度产生了一个通道的灰度表现，其为减少了阴影的图像。通过组合所有的RGB通道的减少阴影的灰度图像恢复了最终的减少了阴影的全色图像。为执行该步骤，使用阈值函数T_s去除原始图像的梯度中的阴影。  

当识别出阴影边缘时，原始图像中的梯度设定为零，表示在该点没有光照变化。在应用阈值处理之后，仅在因材料改变存在急剧变化的地方获得梯度。现在积分所述梯度，以便恢复不具有阴影的减少阴影图像I’。为实现该目的，泊松方程用作问题的公式表示，如下：

在方程（13）的左侧，图像的拉普拉斯算子如下表示：

在方程（13）的右侧，公式如下表示：

因此，通过齐次诺伊曼边界条件求解泊松方程，使得边界处的梯度被设定为零。分别求解出三个颜色通道的每个通道的上述方程，推导出对于各通道的示例性重新构造的灰度图像，但是具有一些未知的乘法常数。将所有RGB通道的I’组合在一起，产生去除了阴影的彩色图像。另外，为了纠正未知乘法因数和获得更加现实的图像色彩，对每个像素应用映射，以将恢复的图像中的最亮像素（例如，按亮度排序的前5%的像素的平均值）映射到原始图像中的相应像素。实际上，在像素被投影到光照恒定轴线上之后，每个像素都赋予一个投影值。

当使用高质量成像装置时，如上所述的过程成功地去除了阴影。然而，考虑到在车辆中包含高质量成像装置的成本，更可能的情况是对于目标检测和分类使用低成本产品相机。问题是，由于低成本产品相机引起色度对数线中的发散，所以低成本产品相机不满足窄带假定。此外，由于无法找出恒定方向，所以不可能确定恒定图像。下面的段落描述了使低成本产品相机适于提高用于目标检测和分类的阴影去除的性能的过程。

在前面的段落中，阴影去除方法将不同颜色集的色度对数值投影到线性空间，以最小化各种光照条件下每个投影颜色集内的差异。然而，如图5中所示，对于低成本产品相机，对数-对数空间上的值是发散的。捕获的输入图像的每个像素都被绘在两维对数图上。每个像素表示对数图中的各自的颜色值。该图像示出了五个不同颜色集的色度对数值。每个颜色值由图上的各自形状所表示。总地如45-49所示，对于每个颜色集产生一个光照方向。如较早所述的，对数-对数空间上的值是分散的，不存在与所有光照方向45-49正交的线性光照恒定投影。

图6示出了利用非线性核从捕获的输入图像中去除阴影的对数图。该技术通过使用不同颜色集的色度对数值以观察不同光照条件下各颜色集的线性特性来实施。在这种条件下，非线性核50，例如，但不限于，椭圆，用于将各颜色集的各色调变化从多个光照方向51投射到非线性光照恒定核上。所述非线性光照恒定核50可包括任意非线性形状，其包括，但不限于，椭圆、圆形或多边形。非线性光照恒定核50在各自的交叉点处垂直于各颜色集的光照方向。各颜色集的光照方向与椭圆50交叉的各个位置都产生各自的关注区域52-57。每个关注区域52-57都含有各自颜色集的色调变化的投影值，其区分和维持各颜色集的色度，同时去除施加在各自颜色集上的所有光照影响。

在色度值被投影到光照恒定轴线上并且在光照恒定图像域中表示出该图像之后，通过算子，例如包括、但不限于苏贝尔算子，计算光照恒定图像域中的边缘的梯度。此外，通过苏贝尔算子获得输入图像的梯度。

通过从输入图像的梯度范数减去光照恒定图像域的梯度范数计算梯度差图像（即，输入图像与光照恒定图像域之间的梯度差）。梯度差图像被阈值处理以产生阴影边缘图。对于各梯度差值，如果各自的值大于预定阈值，那么其被假定为阴影边缘。在从RGB颜色通道上的输入图像的梯度去除阴影边缘之后，更新的梯度被从阴影去除重新积分成彩色图像，作为减少阴影的图像。结果，无需使用线性恒定轴线就可容易地获得阴影边缘。

图7为用于从捕获的图像减少阴影的方法。在步骤60中，通过图像捕获装置捕获车辆外部场景的输入图像。图像捕获装置捕获彩色图像。

在步骤61中，捕获的输入图像的每个像素<R,G,B>被绘在两维对数图上。

在步骤62中，确定非线性光照恒定核。在各种光照条件下，可利用预先记录的颜色样本在离线程序中更早地确认所述非线性光照恒定核。选择的非线性光照恒定核为已经预先确认为共用于所绘颜色集的核。也就是说，对于各自的所确认颜色集，可确认共用于所有所确认颜色集的相应核。

在步骤63中，确定各相应颜色集的光照方向。所述光照方向在各交叉点正交于非线性光照恒定核。

在步骤64中，将每个所绘像素的色度对数值投射在非线性光照恒定核上。每个颜色集投射在非线性光照恒定核上的区域表示关注区域。每个关注区域都包含相应颜色集的色调变化的投影值，每个关注区域区分和维持各颜色集的色度，同时去除施加在相应颜色集上的所有光照影响。

在步骤65中，利用投射在非线性光照恒定核上的特定颜色集的各所绘像素的投影值，提供在光照恒定图像域中的输入图像的表示。投影在非线性光照恒定核上的各颜色值表示光照恒定图像域中的恒定图像的相应像素。

在步骤66中，通过算子，包括、但不限于苏贝尔算子，计算光照恒定图像域中边缘的梯度和输入图像中边缘的梯度。

在步骤67中，在输入图像的梯度和光照恒定图像域的梯度中都识别阴影边缘。可通过确定原始图像和恒定图像的梯度并然后将各自的梯度与两个相应阈值作比较来识别阴影边缘。替代地，可通过从光照恒定图像域和输入图像中确定梯度范数、确定两个范数之间的梯度差、然后将梯度差与单个阈值作比较来识别阴影边缘。

在步骤68中，对于已经成功识别出的阴影边缘，原始图像中的梯度被设定为零，表示在该位置没有光照变化。由于没有因光照变化产生的锐利边缘，所以该阈值处理步骤获得了图像中仅仅由于材料变化而急剧变化的地方的梯度。

在步骤69中，积分各通道（即，RGB）的梯度，用以重新构造各通道的灰度图像。

在步骤70中，组合所有通道，用以形成阴影被显著地减少或去除的彩色图像。

在步骤71中，产生减少阴影的图像，用于由基于车辆的视觉系统的场景分析。如果确定不存在阴影，那么由基于车辆的视觉系统使用原始输入图像进行场景分析。

尽管已经详细描述了本发明的特定实施例，但是本发明所属领域的技术人员会认识到用于实施由所附权利要求限定的本发明的各种替代设计和实施方式。