使用纹理分析的基于视觉的潮湿道路表面检测

摘要

本发明公开了使用纹理分析的基于视觉的潮湿道路表面检测。一种用于为行使在道路上的车辆确定潮湿道路表面状况的方法。由图像采集设备采集车辆外部的第一图像。由图像采集设备采集车辆外部的第二图像。识别在所采集的第一和第二图像中的道路的路段。比较由处理器采集的第一和第二图像中的道路的纹理。确定第一图像中的道路的纹理是否与第二图像中的道路的纹理不同。响应于确定第一图像中的道路的纹理与第二图像中的道路的纹理不同，产生潮湿行驶表面指示信号。

说明书

技术领域

实施例总地涉及使用纹理分析的潮湿道路表面检测。

背景技术

在行驶表面上的降水对车辆造成几种不同的问题。例如，在道路上的水降 低了在车辆的轮胎和道路的表面之间的摩擦系数，导致车辆稳定性问题。通常， 车辆的系统或子系统利用一些传感操作感测道路上的降水，这些传感操作发生 在降水已经不利地影响车辆操作的时候，例如检测车轮打滑。在这样的情况下， 降水已经在影响车辆(例如，车轮打滑)，并且因此在这点上任何的反应都变成 被动的。主动方法将是提前获知潮湿表面状况，与为了使这样的系统起作用相 反，其能够防止由于潮湿表面导致的控制损失。

发明内容

实施例的优点是使用基于视觉的成像设备检测在道路上激起的水。本文所 描述的技术启动确定是否存在水或降水无需任何来自车辆或者驾驶员的激励。 本文所描述的技术使用在不同时刻采集的图像并且分析道路的识别路段，以确 定在两幅采集图像的纹理之间是否存在实质不同。如果存在实质不同，那么确 定车辆正接近或者行驶在已经被激起的水上的概率。道路中的变化纹理是指示 在所采集的图像之间道路的纹理表面已经发生变化，所采集的图像在相互接近 的时刻被采集。

实施例设想一种用于为行使在道路上的车辆确定潮湿道路表面状况的方 法。由图像采集设备采集车辆外部的第一图像。由图像采集设备采集车辆外部 的第二图像。识别在第一和第二采集图像中的道路的路段。由处理器比较在所 采集的第一和第二图像中的道路的纹理。确定在第一图像中的道路的纹理是否 与在第二图像中的道路的纹理不同。响应于确定在第一图像中的道路的纹理与 在第二图像中的道路的纹理不同，产生潮湿行驶表面指示信号。

1.一种用于为行驶在道路上的车辆确定潮湿道路表面状况的方法，所述方 法包括步骤：

由图像采集设备采集所述车辆外部的第一图像；

由所述图像采集设备采集所述车辆外部的第二图像；

识别在所采集的第一和第二图像中的道路的路段；

由处理器比较在所采集的第一和第二图像中的道路的纹理；

确定在第一图像中的道路的纹理是否与在第二图像中的道路的纹理不同； 以及

响应于确定在第一图像中的道路的纹理与在第二图像中的道路的纹理不 同，产生潮湿行驶表面指示信号。

2.根据方案1所述的方法，其中，在不同时刻采集所述第一图像和所述第 二图像。

3.根据方案2所述的方法，其中，所述第一图像和所述第二图像为相继的 采集图像。

4.根据方案3所述的方法，还包括步骤：

确定在所述第一图像和所述第二图像之间道路的纹理是相同的；

采集下一幅相继图像；

将下一幅相继图像与前一幅图像比较，以确定在所述下一幅相继图像中的 纹理是否与所述前一幅图像中的纹理不同。

5.根据方案1所述的方法，其中，使用结构化技术识别道路表面的纹理的 比较。

6.根据方案1所述的方法，其中，使用统计技术识别道路表面的纹理的比 较。

7.根据方案6所述的方法，其中，所述统计技术包括共生矩阵技术。

8.根据方案6所述的方法，其中，所述统计技术包括Laws纹理能量技术。

9.根据方案6所述的方法，其中，所述统计技术包括纹理分割技术。

10.根据方案1所述的方法，还包括步骤：预处理所采集的第一和第二图 像，以在执行所述纹理的比较之前从所述图像的每一幅中去除噪声。

11.根据方案1所述的方法，还包括步骤：

响应于确定第一图像的纹理和第二图像的纹理是不同的，实施阴影分析；

响应于检测相应阴影，检测来自所采集的第一和第二图像的被识别阴影； 以及

从进一步的分析中排除检测到的纹理变化，所述纹理变化是检测到的阴影 的结果。

12.根据方案1所述的方法，其中，所述第一图像的相应区域和所述第二 图像的相应区域识别，用于比较在第一图像和第二图像中的道路的纹理。

13.根据方案1所述的方法，其中，确定在第一图像和第二图像之间的道 路的纹理的差异包括：确定在第一图像和第二图像之间的纹理的实质变化。

14.根据方案1所述的方法，其中，潮湿行驶表面指示信号用于警告驾驶 员在道路表面上有水。

15.根据方案1所述的方法，其中，潮湿行驶表面指示信号提醒车辆驾驶 员不要使用巡航控制。

16.根据方案1所述的方法，其中，潮湿行驶表面指示信号提醒驾驶员降 低车辆速度。

17.根据方案1所述的方法，其中，潮湿行驶表面指示信号提供给车辆控 制器，用于关闭车辆的进风斗上的挡板，防止水吸入。

18.根据方案1所述的方法，其中，潮湿行驶表面指示信号提供给车辆控 制器，所述控制器自主启动车辆制动，用于减轻在车辆制动器上冷凝水积累。

19.根据方案1所述的方法，其中，潮湿行驶表面指示信号提供给无线通 信系统，用于提醒其他车辆注意潮湿道路表面状况。

附图说明

图1为采集的潮湿路面场景的立体代表图。

图2为采集的干燥路面场景的立体代表图。

图3为潮湿道路表面检测系统的框图。

图4为车辆在潮湿路面上将水激起的立体代表图。

图5a为在第一时刻具有激起水的道路表面的示例性采集图像。

图5b为在第一时刻的道路表面的示例性图形模式降水。

图6a为在第二时刻具有激起水的道路表面的示例性采集图像。

图6b为在第二时刻的道路表面的示例性图形模式降水。

图7为用于确定在道路表面上存在水的方法的流程图。

具体实施方式

在图1中示出沿车辆道路12行驶的车辆。所示降水14置于车辆道路12上 并且随着车辆轮胎在潮湿车辆道路12上旋转而经常被车辆轮胎移位。通常有利 的是提前知道车辆何时将会沿着潮湿车辆道路12行驶，使得由于降水引起的问 题，例如牵引力的损失或者由于水在通风口外部进入引起的发动机退化，能够 被排除或者至少被减轻。

当在潮湿道路表面上行驶时，在车辆道路12上的降水14能够导致牵引力 下降。置于车辆道路12上的降水14降低了在车辆轮胎和车辆道路12之间的摩 擦系数。因此，在车辆轮胎和车辆道路12之间的牵引力被降低。通过提醒驾驶 员将车辆速度降低到有利于环境状况的速度能够减轻牵引力损失；使用非常低 的制动力启动车辆制动器的自动应用，以将在制动组件的制动表面上形成的降 水最小化；当检测到降水时，停用或限制巡航控制功能的启动；或者通知驾驶 员与头车保持更大的停车距离。

图2图示行驶在干燥道路上的车辆，该干燥道路在行驶道路上没有降水。 如图所示，在车辆道路12上不存在降水。阴影16可能由物体投射，例如树； 然而，阴影不会产生反射镜表面。因此，该阴影会被错误地认作是在不同时间 帧的纹理变化。例如，如果由树投射该阴影19，并且如果正在猛烈的刮风，那 么阴影将会移动。因此，由于阴影的移动就会将该阴影认作是变化的纹理。因 此，有益的是理解正被分析的表面是否有阴影投射在其上。

图3图示潮湿道路表面检测系统20的框图。基于车辆的图像采集设备22 安装在车辆上，用于采集车辆前方的图像。图像设备22可以包括但不限于，用 于采集道路的图像的相机。图像采集设备22的功能是采集包括道路上方的物体 以及附加地道路自身的图像，用于检测在行驶道路上水的存在。分析由基于车 辆的图像采集设备22采集的多幅图，用于检测其中的水。

处理器24处理由图像采集设备22采集的图像。处理器24分析行驶道路的 反射特性，用于确定在道路表面上是否存在水。

处理器24可以联接到一个或多个控制器26，用于如果发现降水在道路表面 上就启用或者启动控制动作。可以启动一个或者多个对策用于减轻降水可能对 车辆的操作产生的影响。

控制器26可以是车辆子系统的部分，或者可以用于使车辆子系统能够对抗 水的效应。例如，响应于确定道路是潮湿的，控制器26可以启动电或者电动- 液压制动系统30，在这里在牵引力损失发生的情况下制动策略已经准备好了。 除了准备制动策略以外，制动系统可以自主施加轻微的制动力，无需通知驾驶 员，以便一旦车辆进入降水，就将降水从车辆制动器清除。当驾驶员手动施加 制动时，从车轮和制动器清除降水积累维持在车辆制动器的致动器和车轮的制 动表面之间的期望摩擦系数。

控制器26可以控制牵引控制系统32，其将功率分别分配到每个相应车轮上， 用于当在道路表面上检测到降水时降低相应车轮的车轮打滑。

控制器26可以控制巡航控制系统34，当在道路表面上检测到降水时，能够 停用巡航控制或者限制巡航控制的启动。

控制器26可以控制驾驶员信息系统36，用于向车辆的驾驶员提供有关在车 辆道路上检测到降水的警报。由控制器26启动的这样的警报可以提醒驾驶员在 道路表面上即将接近的降水，并且可以建议驾驶员将车辆速度降低到有利于当 前环境状况的速度，或者控制器26可以启动警报，以维持与被驱动车辆前方的 车辆的安全行驶距离。应当理解的是，本文所描述的控制器26可以包括一个或 者多个控制器，控制单独的功能或者可以控制多个功能的组合。

控制器26还可以控制空气挡板38自动开闭的启动，用于防止水吸入车辆 的发动机。在这样的状况下，当检测到在车辆前方的道路表面上存在降水时， 控制器26自动启动空气挡板38的关闭，并且当确定在道路表面上不再存在降 水时，可以重新打开空气挡板。

控制器26可以进一步控制无线通信设备39的启动，用于使用车辆到车辆 或者车辆到基础设施的通讯系统自主地将潮湿路面状况传输给其它车辆。

在本文所描述的技术的优势在于启用确定是否存在水或者降水不需要来自 车辆或驾驶员的激励。也就是说，现有技术要求车辆作出某种相当大的激励用 于表面水检测，无论是通过制动策略，增加的加速度，驾驶策略哪一种。基于 响应(例如，车轮打滑，偏航)，这样的技术确定车辆目前是否正行驶在水上或 者降水上。相反，本文所描述的技术提供了预期或者前瞻性的分析，以便在车 辆到达水或者降水的位置之前，为驾驶员或者车辆留出了采用预防措施的时间。

图4图示车辆沿着行驶道路行驶的立体说明图，在这里道路的表面是潮湿 的。典型的，当沿着干燥道路表面行驶时，道路表面的纹理基本上是一致的。 采用水泥或者沥青构筑的道路表面通常具有基本均匀的纹理。尽管理解的是在 不同时间道路的纹理会出现小的偏差，但是这样的道路将呈现穿过路程的实质 一致性。

当车辆40沿着水置于其上的道路行驶时，随着车辆行驶通过在道路上静止 的水42，水被车辆轮胎溅起。当水被分散到空气中并且回地面上(通常由44 表示)时，水进入与静止状态相反的激起状态。当处于静止状态中时，水具有 镜面效应反射特性，并且真实存在的物体都会在水中反射。

当水被激起时，水的反射特性下降，因为光信号由于水的激起效应被漫射 到不同方向上。因此，水的纹理将是不同的。因此，在多个继起的时间帧分析 道路，用于分析道路表面的纹理。如果道路表面沿着继起的帧的每一个呈现出 变化的纹理，那么确定在道路表面上形成了降水。

图5a-5b以及6a-6b图示沿行程所采集的图像内的变化的纹理。在图5a中， 在第一时刻在车辆外部采集的图像，在道路表面12上具有激起的水42。图5b 图示说明道路的纹理分析的图形。如在图5b所示，在道路的表面上示出降水的 相应纹理模式。

图6a图示在第二时刻在车辆外部采集的图像，在道路表面12上具有激起的 水42。图6b图示说明对在第二时刻采集的图像的道路的纹理分析的图形。通过 比较图5b和6b之间的图形分析，显示在不同时刻采集的两幅图像之间纹理具 有差异化的模式。因此能够初步确定道路表面上存在水。

响应于确定在道路表面上初步地可能存在水，可以进行阴影分析，用于消 除在地面上的阴影。典型地，阴影分析包括检测阴影的存在。如早先所描述的， 如果在道路表面上存在阴影，并且如果投射该阴影的物体移动，那么纹理中检 测到的差别可能是阴影在道路表面上移动的结果。因此，该技术执行阴影分析 以消除在不同的时间帧检测到的纹理变化不是阴影移动的结果的可能性。因此， 如果检测到阴影，那么将执行纹理的进一步分析，因为假定阴影正引起纹理在 不同的时间帧上的变化。

图7图示用于根据变化的道路表面纹理确定在道路上存在水的方法流程图。 在框50中，在第一时刻采集图像。

在框51中，在第二时刻采集图像。采集图像的时间彼此间隔可以取决于车 辆速度。例如，如果车辆的行驶速率比较低(例如，小于25mph)，那么相对于 车辆行驶速度大于25mph来说，拍摄照片之间可以使用更长的延迟。也就是说， 车辆行驶越快，采集图像的时间之间流逝的时间更少。

在框52中，对采集的图像执行预处理。预处理包括去除噪声用于图像增强， 其包括从图像中去除噪声，使得图像更清晰用于识别相应的采集图像中的物体 和特征点。采用数字成像设备摄取的图像可能拾取来自大量源的噪声。例如， 对于图像中的稀疏光，图像中的像素可能具有不同于它们周围像素的变化颜色 或强度。因此，这些噪声像素与周围像素的颜色没有相关性或者关系。通常这 种类型的噪声对整个图像仅有很小的影响，并且因此可以从图像中将它去除， 使得分析物体和特征点可以被有效地分析。

在框53中，对在第一时刻和第二时刻采集的图像执行纹理比较。能够应用 各种技术执行纹理比较，包括但不限于在区域内的像素之间的关系的空间分级 (sizing)，边缘检测，纹理特征长度，纹理共生矩阵，laws纹理能量测量，自相 关和功率谱模型，以及纹理分割。空间分级包括结构化方法，其中，图像纹理 被视为一组处于某种规则的或者重复的模式的原始像素。相反，像边缘检测的 技术是统计方法，其将图像纹理视为在相应区域中的像素强度布置的定量测量。 响应于检测图像中的边缘，边缘的方向被应用作为纹理特征并且用在确定纹理 中的模式(pattern)。这能够被表示作为平均值或者在柱状图表示。

共生矩阵使用相似灰色调的空间关系采集纹理的数量特征。从共生矩阵确 定的这样的数量特征能够用于比较纹理并将纹理分类。

Laws纹理能量测量产生卷积罩幕，用于计算纹理的能量，其然后由每个像 素的九个向量元表示。

纹理分割将纹理的区域分为多个分段。两种主要分割类型包括基于区域的 分割和基于边界的分割。基于区域的分割组像素基于纹理特性，而基于边界的 分割组像素基于像素之间的边缘，边缘具有不同的纹理特征。

在框54中，关于是否检测到变化的纹理做出确定。如果没有检测到变化的 纹理，那么回到步骤50，以采集下一组图像。如果确定纹理变化，那么程序继 续到步骤55。

在框55中，对图像执行阴影分析。在本文所描述的各种技术描述了用于检 测阴影的过程。尽管参考文献描述消除阴影，然而在本文中可以利用参考文献 中所描述的用于检测阴影的分析。可以使用的用于阴影检测的技术中的一些， 在下述文献中被描述：2012年10月23号授权的美国专利8,294,794，名称 为“ShadowRemovalInAnImageCapturedByAVehicle-BasedCameraForClear PathDetection”；2012年11月27号授权的美国专利8,319,854，名称为“Shadow RemovalInAnImageCapturedByAVehicleBasedCameraUsingNon-Linear Illumination-InvariantKemel”；以及2013年1月1号授权的“ShadowRemovalIn AnImageCapturedByAVehicle-BasedCameraUsingAnOptimizedOrientedLinear Axis”，这些文献的每一个通过参考全文结合到本文中。

在框56中，确定在图像中是否存在阴影。如果没有检测到阴影，那么程序 继续到步骤59，否则程序继续到步骤57。

在框57中，响应于在图像中检测到阴影，从图像中消除阴影。

在框58中，确定阴影消除后的道路表面的纹理是否变化。如果确定纹理变 化，那么程序继续到框59；否则程序回到框50，以采集和分析下一幅采集的图 像。

在框59中，启用潮湿表面信号。潮湿表面信号可以是警告驾驶员注意状况 或者要执行动作或者不执行动作的信号。该潮湿表面信号还可以是启用车辆系 统或子系统或者警告车辆系统或子系统车辆注意道路状况的信号，使得子系统 或者系统意识到正接近的道路状况。

尽管已经详细描述了本发明的某些实施例，但是熟悉本发明所涉及的技术 领域的技术人员将意识到用于实施本发明的各种替代设计，滤波过程和实施例， 本发明由所附权利要求限定。