首页> 中国专利> 车道边界标志线检测装置和电子控制装置

车道边界标志线检测装置和电子控制装置

摘要

本发明涉及车道边界标志线检测装置和电子控制装置。车道边界标志线检测装置包括成像装置(15)、车道边界检测单元(35)、车道边界标志线搜索单元(37)。车道边界检测单元基于成像区域中的图像信息,来检测第一车道边界和第二车道边界。车道边界标志线搜索单元基于第一车道边界的位置,来搜索在第二车道边界的侧上的路面上的车道边界标志线;基于关于第一车道边界的形状信息,在第二车道边界的侧上的路面上设定搜索线(62);并且基于图像信息,来获取搜索线亮度信息。当确定不存在作为车道边界标志线的可能性最高的搜索线时,该车道边界标志线搜索单元不选择搜索线的任何一条搜索线作为车道边界标志线候选线。

著录项

  • 公开/公告号CN104951744A

    专利类型发明专利

  • 公开/公告日2015-09-30

    原文格式PDF

  • 申请/专利权人 丰田自动车株式会社;

    申请/专利号CN201510130702.6

  • 发明设计人 竹前嘉修;城殿清澄;

    申请日2015-03-24

  • 分类号G06K9/00(20060101);G06T7/00(20060101);

  • 代理机构北京奉思知识产权代理有限公司;

  • 代理人吴立;邹轶鲛

  • 地址 日本爱知县

  • 入库时间 2023-12-18 11:09:35

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-01-15

    授权

    授权

  • 2015-11-04

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20150324

    实质审查的生效

  • 2015-09-30

    公开

    公开

说明书

技术领域

本发明涉及一种车道边界标志线检测装置和电子控制装置。

背景技术

最近,为了增加车辆行驶的安全性,并且为了在驾驶操作中支持 驾驶员,能够应用一种装置,该装置利用安装在车辆上的成像单元来 捕捉车辆的周围环境,并且基于所捕捉的图像信息,识别车辆的前方 的白线用于控制车辆的行驶。例如,在日本专利申请公开 No.2012-22574(JP2012-22574)中所描述的车载白线识别装置基于捕捉 了车辆的车道的图像,来检测一条白线在右侧上并且另一条白线在左 侧上的白线。如果右侧白线和左侧白线中的一条白线的可靠性是低的, 则该车载白线识别装置将高可靠性的白线补偿到低可靠性白线侧,以 更正低可靠性的白线。以这种方式,即使当车辆接近支路时检测到噪 声,该车载白线识别单元也能够精确地识别车辆的车道的白线。

然而,当由于白线中的刮痕而不能够识别右侧白线和左侧白线中 的一条白线,并且结果,将识别出的另一条白线补偿到不能够识别到 白线的侧上时,存在错误更正的可能性。例如,如果在靠近道路分支 点的区域中,一条白线的检测可靠性是低的,则将高检测可靠性的白 线补偿到低检测可靠性的白线侧,以更正低检测可靠性白线。在这种 情况下,然而,如果高检测可靠性的白线是没有与车道中的低可靠性 白线形成水平一对的白线,则该更正导致错误的更正。即,如果低可 靠性白线通过补偿没有在车道中形成水平一对的高可靠性白线而更 正,则所更正的白线的形状与该低可靠性白线的实际形状不同。从而, 当低可靠性白线通过补偿高可靠性白线而更正时,存在低可靠性白线 的估计的形状与该白线的实际形状不同的可能性。

发明内容

本发明提供了一种车道边界标志线检测装置和一种电子控制装 置,其能够降低错误检测的可能性。

根据本发明的第一方面的车道边界标志线检测装置,包括成像装 置、车道边界检测单元和车道边界标志线搜索单元。所述成像装置被 构造成捕捉车辆前方的区域。车道边界检测单元被构造成基于由所述 成像装置捕捉的成像区域中的图像信息,来检测第一车道边界和第二 车道边界,所述第一车道边界和所述第二车道边界定位在所述车辆行 驶的路面上,并且所述第二车道边界在车辆宽度方向上定位在所述第 一车道边界的跨过所述车辆的、相对侧的路面上。车道边界标志线搜 索单元被构造成基于所述第一车道边界的位置,来搜索在所述相对侧 上的所述路面上的车道边界标志线。所述车道边界标志线搜索单元被 构造成基于所述第一车道边界的形状信息,来设定在所述相对侧上的 路面上的搜索线,所述搜索线在所述车道中在所述车辆宽度方向上定 位于互相不同的位置处。所述车道边界标志线搜索单元被构造成基于 所述图像信息,来获取搜索线亮度信息,所述搜索线亮度信息是关于 每条所述搜索线的亮度信息。所述车道边界标志线搜索单元被构造成 通过将所述搜索线的所述搜索线亮度信息互相比较,来确定是否存在 如下搜索线:作为所述搜索线的一条搜索线,并且作为用作车道边界 标志线候选的可能性最高的搜索线。所述车道边界标志线搜索单元被 构造成,当确定为存在作为所述车道边界标志线的可能性最高的所述 搜索线时,选择所述搜索线作为车道边界标志线候选线。所述车道边 界标志线搜索单元被构造成当确定为不存在作为所述车道边界标志线 的可能性最高的所述搜索线时,不选择任何所述搜索线作为所述车道 边界标志线候选线。

在本发明的第一方面中的车道边界标志线检测装置降低了错误检 测的可能性。

在本发明的第一方面中,所述车道边界标志线搜索单元被构造成 基于立体车道边界的形状信息来设定所述搜索线,该立体车道边界定 位在所述车辆行驶的所述路面的所述车辆宽度方向上的端部处。

在本发明的第一方面中,所述车道边界标志线搜索单元可以被构 造成在所述搜索线的延伸方向上,将所述搜索线的每条搜索线都划分 为多个区域,并且在每个所述区域中确定是否存在作为所述车道边界 标志线候选可能性最高的所述搜索线。所述车道边界标志线搜索单元 被构造成,当在所述延伸方向上邻近的区域的所述搜索线之间的车辆 宽度方向上的距离处于预定范围之内时,将在所述延伸方向上邻近的 所述区域的所述搜索线组合成一条车道边界标志线候选,每条所述搜 索线在所述区域的相对应的一个区域中选择,作为所述车道边界标志 线候选线。

根据本发明的第二方面的电子控制装置,包括车道边界检测单元 和车道边界标志线搜索单元。车道边界检测单元被构造成基于关于车 辆前方的区域的图像信息,来检测第一车道边界和第二车道边界。所 述第一车道边界和所述第二车道边界定位在所述车辆行驶的路面上。 所述第二车道边界在车辆宽度方向上定位所述第一车道边界的跨过所 述车辆的、相对侧的路面上。所述车道边界标志线搜索单元被构造成 基于所述第一车道边界的位置,来搜索在所述相对侧上的路面上的车 道边界标志线。所述车道边界标志线搜索单元被构造成基于所述第一 车道边界的形状信息,来设定在所述相对侧上的所述路面上的搜索线, 所述搜索线在所述车道中在所述车辆宽度方向上定位于互相不同的位 置处。所述车道边界标志线搜索单元被构造成基于所述图像信息,来 获取搜索线亮度信息,所述搜索线亮度信息是关于每条所述搜索线的 亮度信息。所述车道边界标志线搜索单元被构造成基于所述搜索线亮 度信息,而在所述搜索线之中,选择具有平均亮度的最大值和局部最 大值的搜索线,作为车道边界标志线候选线。所述车道边界标志线搜 索单元被构造成当不存在具有平均亮度的最大值和局部最大值的所述 搜索线时,不选择任何所述搜索线作为所述车道边界标志线候选线。

在本发明的第二方面中的车道边界标志线检测装置降低了错误更 正的可能性。

附图说明

下面将通过参考附图描述发明的示例性实施例的特征、优势、技 术以及工业重要性,其中相同的标号表示相同的元件,并且其中:

图1是安装了本发明的实施例中的车道边界标志线检测装置的车 辆的顶视图;

图2是图1中所示的车辆的侧视图;

图3是示出在本发明的实施例中的车道边界标志线检测装置的主 要部分构造的图;

图4是示出由本发明的实施例中的车道边界标志线检测装置执行 以检测白线的处理的流程图;

图5是示出由照相机捕捉的图像的实例的图;

图6是示出边缘的图;

图7是示出边缘点的图;

图8是示出边缘点配对和不必要的边缘点的图;

图9是示出搜索范围的图;

图10是示出搜索线的图;

图11是示出搜索线的平均亮度的图;

图12是示出用于确定是否存在其平均亮度是最大值和局部最大 值的搜索线的处理步骤的流程图;

图13是示出白线候选的图;

图14是示出用于通过将搜索线划分成多个区域而估计低可靠性 白线的处理步骤的流程图;

图15是示出通过设定划分距离的低可靠性白线的检测的图;

图16是示出对每个区域都选择白线候选线的状态的图;

图17是示出选择为白线候选线的搜索线的组合的图;

图18是示出基于路缘石的搜索线的设定的图;以及

图19是示出用于基于路缘石设定搜索线的处理步骤的流程图。

具体实施方式

将通过参考附图具体描述本发明的车道边界标志线检测装置的实 施例。以下实施例将不会限制本发明的范围。实施例中描述的元件包 括能够由本领域中的技术人员替换或者容易地替换的其变形例以及大 致相同的元件。

[实施例]图1是实施例中的车道边界标志线检测装置安装于其上 的车辆的顶视图。图2是图1所示的车辆的侧视图。在下面的描述中, 安装了车道边界标志线检测装置2的车辆1的前后方向也是车道边界 标志线检测装置2的前后方向。车辆1的左右方向,即,车辆宽度方 向,也是车道边界标志线检测装置2的左右方向。车辆1的上下方向 也是车道边界标志线检测装置2的上下方向。

本实施例中的车道边界标志线检测装置2包括照相机15,该照相 机15被构造成捕捉车辆1的前方区域。将该照相机15安装在车辆的 内部。例如,安装在车辆1的车顶10的内侧上的照相机15定位在捕 捉前方区域的方向上。以这种方式安装的照相机15经由挡风玻璃11 捕捉前方区域,以捕捉道路上的白线和其它车辆。此处提及的白线是 指表示车辆1行驶的车道的边界的车道边界标志线。在该情况下的车 道边界标志线不限于白线,而是包括表示在车辆1行驶的车道中的车 辆宽度方向上的边界的、诸如橘黄线这样的任意线。道路上的该橘黄 线表示禁止横越超过其他车辆的边界线。

图3是示出实施例中的车道边界标志线检测装置的主要部分构造 的图。照相机15安装在车辆1上,并且连接到被构造成控制车辆1的 构件的电子控制单元(ECU)20。ECU20的硬件构造包括:处理单元, 该处理单元具有中央处理单元(CPU);以及具有随机存取存储器 (RAM)以及其他存储器的存储单元。该构造是一种已知的构造,并 且因此,此处省略其说明。

ECU20的处理单元功能性地包括图像获取单元25、边缘检测单元 31、边缘配对单元32、边缘段检测单元33、边缘段配对单元34、白线 边界选择单元35、车道参数估计单元36以及车道参数再估计单元37。 ECU20可以被认为边界标志线检测装置,其被构造成基于由照相机15 捕捉到的图像,来检测表示车辆1行驶的车道的边界的白线。ECU20 还被认为是车道边界检测装置,其被构造成基于由照相机15捕捉到的 图像,来检测表示车辆1行驶的车道的边界的车道边界。在该情况下 的车道边界不仅包括标记在路上的诸如白线这样的车道边界标志线, 还包括表示具有诸如路肩、栏杆、侧壁这样的立体形状的车道边界的 对象。

作为ECU20的构件中的一个的图像获取单元25被构造成获取由 照相机15捕捉的图像。边缘检测单元31被构造成根据由图像获取单 元25所获取的图像来检测边缘,该边缘是图像的亮度大幅变化的部分。 边缘检测单元31在检测亮度升高的上升边缘和亮度降低的下降边缘的 一个方向上,扫描由图像获取单元25获取的图像。边缘配对单元32 被构造成基于由边缘检测单元31检测到的上升边缘与下降边缘之间的 宽度的信息和亮度信息,来检测边缘对,每个边缘对都是一对上升边 缘和下降边缘。

边缘段检测单元33被构造成检测作为对于上升边缘和下降边缘 直线状布置的线的边缘段。边缘段配对单元34被构造成检测每对都是 由边缘段检测单元33检测到的一对上升边缘段和下降边缘段的配对。 白线边界选择单元35被构造成基于由边缘段配对单元34检测到的边 缘段对,来选择在过去的白线检测位置附近的段,作为车辆行驶的车 道的白线。以这样的方式,选择车辆行驶的车道的白线的白线边界选 择单元35设置为车道边界检测单元,其基于由照相机15捕捉的成像 区域中的图像信息,来检测车辆行驶的道路表面上的车道边界。

车道参数估计单元36被构造成估计代表道路形状的参数。车道参 数再估计单元37被构造成利用已经检测到的另一条白线的检测结果, 来搜索车辆行驶的车道的右侧和左侧两侧上的白线的一条白线。换句 话说,车道参数再估计单元37设置为车道边界标志线搜索单元。基于 由白线边界选择单元35检测到的并且作为车辆1的两侧上的一条车道 边界的车道边界的位置,该车道边界标志线搜索单元搜索在车辆宽度 方向上所述一条车道边界的跨过车辆1的相对侧上的道路表面上的车 道边界标志线。

如上构造的本实施例中的车道边界标志线检测装置2执行以下操 作。车道边界标志线检测装置2利用照相机15经由挡风玻璃11捕捉 车辆1的前方区域,以支持在车辆1的行驶期间驾驶中的驾驶员。驾 驶支持包括用于检测车辆将行驶的车道和用于在驾驶操作中辅助驾驶 员使得车辆沿着车道行驶的控制操作。为了执行该驾驶支持控制,车 道边界标志线检测装置2通过基于由照相机15捕捉的图像来检测白 线,而识别车辆行驶的车道,并且执行用于转向的辅助控制操作,使 得车辆沿着所识别的车道行驶。

接着,下面描述由车道边界标志线检测装置2执行的用于检测白 线的处理步骤。图4是示出由实施例中的车道边界标志线检测装置执 行的用于检测白线的处理的流程图。图5是示出由照相机捕捉的图像 的实例。在车辆1的行驶期间,ECU20获取由照相机15捕捉的图像 16(步骤ST101)。即,在车辆1的行驶期间,照相机15经由挡风玻 璃11捕捉车辆前方的区域,并且ECU20的图像获取单元25获取捕捉 到的图像16。结果,如图5所示捕捉到车辆行驶的、包括车道41和白 线45的道路40。

接着,ECU20检测边缘点(步骤ST102)。图6是示出边缘的图。 本实施例中的车道边界标志线检测装置2基于由图像获取单元25获取 的图像16,来检测道路40上的白线45。利用以下方法来获取白线45。 ECU20的边缘检测单元31通过水平地,即,在车辆1的车辆宽度方向 上扫描图像16,来检测图像16的亮度50,并且检测作为图像16中亮 度50变化的部分。更具体地,边缘检测单元31使用索贝尔滤波器以 检测上升边缘51和下降边缘52。上升边缘51是亮度50从暗变化到亮 的部分,并且下降边缘52是亮度50从亮变化到暗的部分。以这种方 式,ECU20通过检测由图像获取单元25获取的图像16中的上升边缘 51和下降边缘52,来检测白线45。

图7是示出边缘点的图。用于检测上升边缘51和下降边缘52的 具体方法如下。边缘检测单元31在观察亮度50中的变化的同时,扫 描获取到的图像16,并且通过检测图像16中亮度50大幅变化的边缘 点,来检测图像16中的边缘。

例如,当从左到右扫描图像16时,当扫描过在道路40上的白线 45时亮度50如下变化。在白线45的左端处,从不存在白线45的路面 朝着白线45执行扫描。因此,靠近白线45的左端的位置的亮度50从 低变化到高。在白线45的亮度50以这种方式变化的部分中,表示利 用诸如索贝尔滤波器这样的差分滤波器导出的亮度变化的亮度变化线 55在白线45的左端定位的位置处上升。

当从左到右扫面图像16并且扫描点到达白线45的右端时,从白 线45到不存在白线45的路面执行扫描,并且在该点处,亮度50从高 变化到低。因此,亮度变化线55在白线45的右端定位的位置处下降。

边缘检测单元31将如上所述表示亮度50中的变化的亮度变化线 55的值与预定的阈值比较。如果在亮度变化线55峰值处的强度的绝对 值等于或者大于阈值的绝对值,则边缘检测单元31检测该部分作为边 缘点。即,将阈值设定在亮度变化线55的上升侧(+侧)中和亮度变 化线55的下降侧(-侧)中。边缘检测单元31将在亮侧的亮度变化线 55的峰值与在+侧的阈值比较,并且将在暗侧的亮度变化线55的峰值 与在-侧的阈值比较。将确定为作为该比较的比较结果的、等于或者大 于在+侧的阈值的亮度变化线55的峰值检测为上升边缘点56。相似地, 将确定为等于或者小于在-侧的阈值的亮度变化线55的峰值检测为下 降边缘点57。

接着,ECU20的边缘配对单元32形成一对边缘点(步骤ST103)。 图8是示出边缘点配对和不必要的边缘点的图。边缘检测单元31不仅 在靠近白线45的区域中,而且在由图像获取单元25获取的图16的整 个部分中检测边缘点。这意味着检测到的边缘点有时包括诸如由路面 上的污点产生的边缘点这样的与白线45无关的边缘点。因此,边缘配 对单元32形成一对边缘点,以排除与白线45无关的边缘点。即,当 从由图像获取单元25获取的图像16检测白线45时,通常存在每对都 由上升边缘51和下降边缘52组成的配对。考虑到该情况,边缘配对 单元32确定没有与另一个边缘点形成一对的单独的边缘点作为不必要 的边缘点58,并且移除这样的边缘点。

更具体地,边缘配对单元32如下检测一对边缘点。如果两者都由 边缘检测单元31检测到的上升边缘点56与下降边缘点57之间的距离 等于或者小于白线45的假定的宽度Wa,则边缘配对单元32检测该上 升边缘点56和该下降边缘点57作为一对。即,因为道路40上的白线 45的宽度是预定的,所以ECU20的存储单元预先存储在由图像获取单 元45获取的图像16上假定的白线45的宽度Wa(具有一些余量)。 因此,当从左到右扫描图像16时,如果下降边缘点57定位于在检测 到的上升边缘点56的位置处开始的白线45的假定宽度Wa的范围之 内,则边缘配对单元32检测该上升边缘点56和该下降边缘点57作为 一对。

如果存在上升边缘点56和下降边缘点57,然而如果它们之间的 距离大于白线45的假定宽度Wa,则边缘配对单元32将边缘点中的一 个边缘点移除作为不必要的边缘点58。即,如果当从左到右扫描图像 16时存在上升边缘点56和下降边缘点57,然而如果下降边缘点57定 位于在检测到的上升边缘点56的位置处开始的白线45的假定宽度Wa 的右侧,则边缘配对单元32确定该下降边缘点57作为不必要的边缘 点58并且将其移除。

边缘配对单元32执行上述处理以检测由图像获取单元25获取的 图像16中的上升边缘点56和下降边缘点57的配对。这些配对的每对 都与确定为形成看起来像白线的线的上升边缘51和下降边缘52相对 应。

接着,边缘段检测单元33检测边缘段(步骤ST104)。即,边缘 段检测单元33从图像16中的上升边缘51和下降边缘52检测边缘段, 每个上升边缘51和下降边缘52都与由边缘配对单元32检测到的一对 上升边缘点56和下降边缘点57相对应。即,从每个都对应于图像16 中的上升边缘点56的上升边缘51,并且从每个都对应于图像16中的 下降边缘点57的下降边缘52,ECU20的边缘段检测单元33检测用于 上升边缘51和用于下降边缘52的边缘段。此处提及的边缘段是指直 线状布置的线段。边缘段检测单元33执行霍夫变换处理以检测分别用 于上升边缘51和下降边缘52的边缘段。

接着,边缘段配对单元34形成一对边缘段(步骤ST105)。即, 基于上升边缘51的边缘段与下降边缘52的边缘段(这些边缘段是由 边缘段检测单元33检测到的那些边缘段)之间的平行度和距离,ECU20 的边缘段配对单元34提取每对都由上升边缘51的边缘段和下降边缘 52的边缘段组成的配对。通过执行上述处理,边缘段配对单元34提取 每对都确定为形成看起来像白线45的线,并且每对都由上升边缘51 的边缘段和下降边缘52的边缘段组成的配对。

接着,ECU20的白线边界选择单元35选择白线边界(步骤ST106)。 白线边界选择单元35将过去的白线45的检测位置与由边缘段配对单 元34提取的上升边缘51和下降边缘52的一对边缘段的检测位置比较。 如果边缘段对中的一对的检测位置靠近过去的白线45的检测位置,则 白线边界选择单元35选择并且检测该边缘段作为在车辆行驶的道路40 上标志的白线45。

接着,ECU20的车道参数估计单元36估计车道参数(步骤ST107)。 即,基于由白线边界选择单元35选择的白线45的检测位置,以及检 测到的白线45的形状,车道参数估计单元36利用最小二乘法和卡尔 曼滤波器来估计车道参数。这些车道参数是用于代表车辆行驶的道路 40的形状的曲率和横向位置的参数。即,车道参数估计单元36基于关 于作为车道边界的白线45的形状信息,来估计车道参数。车道参数估 计单元36估计用于车辆行驶的车道41的右侧和左侧上的每条白线45 的车道参数。所估计的车道参数包括曲率、曲率的变化等。

ECU20的存储单元包括其每个都表示车道参数的检测状态的检测 标记。当车道参数估计单元36估计车道参数时,该检测标记开启。设 置该检测标记用于所估计的定位在车辆行驶的车道41的右侧和左侧上 的每条白线45的车道参数。每个检测标记根据用于对应的白线45的 车道参数的估计状态而启用或者禁用。

接着,ECU20基于表示车道参数的检测状态的检测标记,来确定 是否在右侧和左侧两侧上检测到白线45(步骤ST108)。即,如果与 车道41的右和左白线45相对应的检测标记两者均启用,则确定了检 测到右和左白线45两者。如果至少一个检测标记禁用,则确定了没有 在右侧和左侧两侧上检测到白线45。

如果确定结果表示没有在右侧和左侧两侧上检测到白线45(步骤 ST108中为否),则ECU20建立多条搜索线62(步骤ST109)。图9 是示出搜索范围的图。图10是示出搜索线的图。ECU20利用能够检测 到的白线45,来再估计不能够检测到的白线45。为了再估计不能够检 测到的白线45,将定位在车道中水平不同位置处的多个搜索线62设定 在不能够检测到的白线45应该定位的位置周围。

ECU20的车道参数再估计单元37设定这些搜索线62。如果当基 于由图像获取单元25获取的图像16来检测白线45时,在车道41的 右侧和左侧上的一条白线45的检测可靠性是低的,则车道参数再估计 单元37将搜索线62设定在低检测可靠性白线45应该定位的位置处。 此处提及的可靠性是指,表示在所检测的位置处是否存在诸如白线45 这样的车道边界的可能性。即,下面描述中的“高可靠性”表示在所检测 的位置处存在车道边界的可能性高的状态,并且“低可靠性”表示在所检 测的位置处存在车道边界的可能性低的状态。

车道参数再估计单元37基于关于白线45在白线45的检测可靠性 低的那侧上的形状信息,将其在车道中的位置在车辆宽度方向上互相 不同的多条搜索线62,在车辆宽度方向上设定在路面上白线45的检测 可靠性低的那侧上的位置处。更具体地,车道参数再估计单元37将搜 索线62设定在车道41的水平方向上低可靠性白线47定位的那侧上, 而不是高可靠性白线46定位的那侧上。高可靠性白线46是在高检测 可靠性侧上的白线45,并且被当作高可靠性车道边界标志线,并且低 可靠性白线47是在低检测可靠性侧上的白线45,并且被当作低可靠性 车道边界标志线。多条搜索线62设置在车道中水平不同的位置处。

更具体的,车道参数再估计单元37基于利用高可靠性白线46所 估计的车道参数,首先设定搜索低可靠性白线47的搜索范围60。为了 设定搜索范围60,车道参数再估计单元37设定白线搜索范围Rs作为 搜索范围60。该白线搜索范围Rs是下述的范围:在通过将高可靠性白 线46的位置以车道宽度Wr移位到低可靠性白线47侧、而后在更接近 高可靠性白线46的方向上以(车道宽度Wr×α)移位该位置,而确定 的位置处开始;并且在通过将高可靠性白线46的位置以车道宽度Wr 移位到低可靠性白线47侧、并且然后在远离高可靠性白线46的方向 上以(车道宽度Wr×α)移位该位置,而确定的位置处结束。

在该情况下,期望的是将车道41的法定宽度的值或者通常作为车 道41的宽度而使用的宽度值用作车道宽度Wr。作为用于设定车道宽 度Wr的另一种方法,还期望的是当在车道41的右侧和左侧两侧上的 白线45都检测为具有高可靠性时所检测到的车道宽度存储为用于用作 车道宽度的最近值,或者期望的是使用多条车道宽度的平均值。还期 望的是基于由车道边界标志线检测装置2检测到的白线45的检测精 度,来确定用于计算白线搜索范围Rs的α的任意值。

在如上所述设定搜索范围60之后,车道参数再估计单元37在根 据照相机15的性能的搜索范围60之内,以预定的分辨率水平互相隔 开地设定多条线。将以这种方式设定的多条线设定为搜索线62。结果, 多条几乎平行的搜索线62在搜索范围60中的水平不同位置处设定。

接着,ECU20的车道参数再估计单元37计算搜索线62的平均亮 度70(步骤ST110)。图11是示出搜索线的平均亮度的图。车道参数 再估计单元37基于由图像获取单元25获取的图像16,获取作为搜索 范围60中的多条搜索线62的每条搜索线的亮度信息的搜索线亮度信 息,并且对于在白线45的宽度方向上的每个水平位置,计算搜索线62 的亮度的平均值。以这种方式,车道参数再估计单元37计算搜索线62 的、在由图像获取单元25获取的图像16中的每个水平位置处,或者 在车辆的行驶方向上的预定距离的范围内的平均亮度70。

当计算搜索线62的平均亮度70时如下添加亮度。例如,可以对 每个水平位置通过如下来添加亮度:在图像16的水平方向上基于像素 来添加亮度,或者在根据到车辆的距离在预定水平宽度的范围内添加 最亮像素的亮度。

接着,车道参数再估计单元37确定是否存在其平均亮度70是最 大值或者局部最大值的搜索线62(步骤ST111)。即,车道参数再估 计单元37确定是否存在作为搜索线62的一条搜索线并且其平均亮度 70是最大值并且同时是局部最大值的搜索线62。为了确定是否存在这 样的搜索线62,车道参数再估计单元37首先如上所述计算每条搜索线 62的平均亮度70。其后,车道参数再估计单元37计算平均亮度最大 值75,该平均亮度最大值75是当周围搜索线62的平均亮度70增加时、 作为平均亮度70之间的比较结果的平均亮度70的最大值,车道参数 再估计单元37然后确定所计算的平均亮度最大值75是否是局部最大 值。以下描述了用于确定是否存在这样的搜索线62的处理步骤。

图12是示出用于确定是否存在其平均亮度变为最大值和局部最 大值的搜索线的处理步骤的流程图。为了确定是否存在其平均亮度70 是最大值和局部最大值的搜索线62,车道参数再估计单元37在步骤 ST110中首先计算每条搜索线62的平均亮度70(步骤ST201),并且 其后,计算搜索线62的平均亮度70的最大值(步骤ST202)。即,车 道参数再估计单元37在搜索线62之中比较平均亮度70,根据平均亮 度70的那些值,计算作为具有最大亮度值的平均亮度70的平均亮度 最大值75。

接着,车道参数再估计单元37确定所计算的最大值与所有搜索线 62的平均亮度70的平均值之间的比率是否等于或者大于预定值(步骤 ST203)。即,车道参数再估计单元37计算平均亮度平均值71,该平 均亮度平均值71是计算平均亮度70的所有搜索线62的平均亮度70 的平均值,并且该车道参数再估计单元37确定平均亮度最大值75与 平均亮度平均值71之间的比率是否等于或者大于预定值。期望的是基 于车道边界标志线检测装置2检测白线45的检测精度,来设定用于该 确定的、用于平均亮度最大值75与平均亮度平均值71之间的比率的 任意值。

如果该确定的确定结果是平均亮度最大值75与平均亮度平均值 71之间的比率没有等于或者大于预定值(步骤ST203中为否),则车 道参数再估计单元37确定满足该条件的该搜索线62没有检测到(步 骤ST204),并且然后退出该处理步骤。

另一方面,如果确定了平均亮度最大值75与平均亮度平均值71 之间的比率等于或者大于预定值(步骤ST203中为是),则车道参数 再估计单元37接着确定平均亮度最大值75是否是局部最大值(步骤 ST205)。即,搜索范围60有时由于路面上的油漆中的擦痕或者污点, 而在所条搜索线62的平均亮度70中包括多个平均亮度最大值75。在 这样的情况下,多个平均亮度最大值75与平均亮度平均值71之间的 比率等于或者大于预定值。因此,车道参数再估计单元37确定所计算 的平均亮度最大值75是否是平均亮度70的局部最大值,在平均亮度 70的值之中,该平均亮度70的局部最大值是唯一的、具有其值与平均 亮度平均值71的比率等于或者大于预定值的平均亮度最大值75。

如果确定了该确定的结果是平均亮度最大值75不是局部最大值 (步骤ST205中为否),则车道参数再估计单元37确定没有检测到具 有如下平均亮度最大值75的亮度的搜索线62(步骤ST204)而后退出 该处理步骤;在平均亮度70的值之中,该平均亮度最大值75是唯一 的、具有其值与平均亮度平均值71的比率等于或者大于预定值的平均 亮度最大值75。

另一方面,如果确定了平均亮度最大值75是局部最大值(步骤 ST205中为是),则车道参数再估计单元37确定检测到了具有如下平 均亮度最大值75的亮度的搜索线62(步骤ST206);在平均亮度70 的值之中,该平均亮度最大值75是唯一的、具有其值与平均亮度平均 值71的比率等于或者大于预定值的平均亮度最大值75。

图13是示出白线候选的图。如果搜索线62的一条搜索线具有作 为平均亮度最大值75的平均亮度70,并且该平均亮度最大值75的亮 度等于平均亮度平均值71或者以预定值大于平均亮度平均值71,则该 搜索线62设定为用于估计低可靠性白线47的车道边界标志线候选的 白线候选线65。即,车道参数再估计单元37在多条搜索线亮度信息之 间比较,以确定是否在多条搜索线62之中存在最可靠的搜索线62,该 最可靠的搜索线62能够用作估计低可靠性白线47的白线候选线65的 搜索线62。如果确定了该确定的结果是存在能够用作白线候选线65的 最可靠搜索线62,则车道参数再估计单元37选择该搜索线62作为白 线候选线65,该白线候选线65是车道边界标志线候选线。如果确定了 不存在能够用作白线候选线65的最可靠搜索线62,则车道参数再估计 单元37不选择所述多条搜索线62中的任何一条作为白线候选线65。

车道参数再估计单元37执行上述处理,以确定是否存在能够选择 为白线候选线65、并且其平均亮度70是最大值和局部最大值的搜索线 62。如果确定了该确定的结果是检测到了具有如下平均亮度最大值75 的亮度的搜索线62(步骤ST206)、并且因此确定了存在其平均亮度 70是最大值和局部最大值的搜索线62(步骤ST111中为是),则检测 标记启用(步骤ST112);在平均亮度70的值之中,该平均亮度最大 值75是唯一的、具有其值与平均亮度平均值71的比率等于或者大于 预定值的平均亮度最大值75。即,如果确定了存在其平均亮度70是最 大值和局部最大值的搜索线62,并且因此将该搜索线62选择为白线候 选线65,则对应于低可靠性白线47的检测标记启用。

在对应于低可靠性白线47的检测标记启用之后,ECU20输出车道 参数(步骤ST113)。即,输出了用于高可靠性白线46的车道参数和 用于低可靠性白线47的车道参数。输出这些车道参数中的、通过将用 于高可靠性白线46的白线候选线65的补偿量增加到用于高可靠性白 线46的车道参数而产生的车道参数,作为用于低可靠性白线47的参 数。通过以这种方式输出用于在右侧和左侧两侧上的白线45的车道参 数,车道边界标志线检测装置2输出在由照相机15捕捉的图像16中 的车道41的右侧和左侧两侧上的白线45的检测结果。从车道边界标 志线检测装置2输出的白线45的车道参数在必要时用于在车辆1行驶 控制期间的其它控制操作,例如,以增加车辆行驶的安全性并且在驾 驶操作中支持驾驶员。

相似地,如果在右侧和左侧两侧上检测到白线45(步骤ST108中 为是),则ECU20输出车道参数(步骤ST113)。在这种情况下,因 为已经完成了用于在车辆行驶的车道41的右侧和左侧两侧上的白线45 的车道参数的估计,所以ECU20输出用于在右侧和左侧两侧上的白线 45的车道参数。

另一方面,如果确定了没有检测到具有如下平均亮度最大值75的 亮度的搜索线62(步骤ST204)、并且因此确定了不存在其平均亮度 70是最大值和局部最大值的搜索线62(步骤ST111中为否),则维持 检测标记(步骤ST114);在平均亮度70的值之中,该平均亮度最大 值75是唯一的、具有其值与平均亮度平均值71的比率等于或者大于 预定值的平均亮度最大值75。即,如果确定了不存在其平均亮度70是 最大值和局部最大值的搜索线62,并且因此任何一条搜索线62都没有 选择为白线候选线65,则对应于低可靠性白线47的检测标记保持禁用。

当如上所述的情况下没有选择白线候选线65并且维持检测标记 时,ECU20也输出车道参数(步骤ST113)。在这种情况下,输出了 仅用于高可靠性白线46的车道参数。即,如果没有从多条搜索线62 选择用于估计低可靠性白线47的白线候选线65,则变得难以精确地估 计用于低可靠性白线47的车道参数。因此,如果没有选择白线候选线 65,并且因此对应于低可靠性白线47的检测标记保持禁用,则ECU20 输出仅用于高可靠性白线46、而不用于低可靠性白线47的车道参数。

上述实施例中的车道边界标志线检测装置2从由照相机15捕捉的 图像16,检测道路40的白线45。如果在右侧和左侧上的白线45的一 条白线的检测可靠性是低的,则车道边界标志线检测装置2设定多条 搜索线62,并且在该搜索线62之间比较搜索线亮度信息,以确定多条 搜索线62的任意一条是否能够用作白线候选线65。如果确定了该确定 的结果是不存在作为白线候选线65最可靠的搜索线62,则车道边界标 志线检测装置2不选择搜索线62的任何一条作为白线候选线65,从而 当白线45的检测可靠性是低的时,降低了更正该白线45的可能性。 结果,降低了错误检测的可能性。

[修改例]当从多条搜索线62选择白线候选线65时,在上述实施例 中的车道边界标志线检测装置2根据基于包括在图像16中的高可靠性 白线46设定的搜索线62,来确定是否存在白线候选线65。代替这点, 可以使用增加低可靠性白线47的检测精度的另一种方法。为了增加低 可靠性白线47的检测精度,也可以例如通过将搜索线62划分为多个 区域,并且从这些区域的每个区域选择白线候选线65,以及通过将每 个选择为白线候选线65的搜索线62组合成用于估计低可靠性白线47 的一条白线候选线,来估计低可靠性白线47。

图14是示出用于通过将搜索线划分成多个区域而估计低可靠性 白线的处理步骤的流程图。图15是示出通过设定划分距离的低可靠性 白线的检测的图。为了增加低可靠性白线47的检测精度,将搜索范围 60划分成多个区域(步骤ST301)。更具体地,如图15中所示,将 ECU20的车道参数再估计单元37搜索低可靠性白线47的范围在搜索 线62的延伸方向上划分为多个区域,每个区域都具有预定的划分距离。 结果,多条搜索线62也被划分。以这样的方式,设定多个划分的搜索 区域80,每个搜索区域对应每个划分距离Ds。

图16是示出对每个区域选择白线候选线的状态的图。接着,ECU20 搜索用于每个搜索区域80的白线候选线65(步骤ST302)。即,ECU20 计算用于每个搜索区域80的搜索线62的平均亮度70。其后,基于所 计算的平均亮度70,ECU20通过确定是否存在作为白线候选线65的 最可靠的搜索线62,来搜索用于每个搜索区域80的白线候选线65。

图17是示出选择为白线候选线的搜索线的组合的图。接着,ECU20 将搜索区域80的白线候选线65组合成一条白线候选线作为组G(步 骤ST303)。为了将白线候选线65组合成一条白线,ECU20首先将搜 索线62的车辆宽度方向的位置比较,该搜索线62的每条搜索线都在 搜索区域80中选择为白线候选65,并且该搜索线62包括在搜索线62 的延伸方向上邻近的搜索区域80中。即,ECU20确定搜索线62之间 的水平距离是否包括在预定范围之内,该搜索线62的每条都选择为在 每个邻近的搜索区域80中的白线候选线65。如果确定了该确定的结果 是,每条都选择为在每个邻近的搜索区域80中的白线候选线65的搜 索线62之间的距离包括在预定范围之内,则ECU20将这些搜索线62 组合成一条车道边界标志线候选。另一方面,如果在搜索线62的延伸 方向上邻近的区域的搜索线62之间的水平距离不在预定的范围之内, 则ECU20不将搜索线62组合成一条车道边界标志线候选。

期望的是:用于确定是否将搜索线62组合成一条的、搜索线62 之间在水平方向上的预定距离提前设定并且存储在ECU20的存储单元 中。此处提及的诸如与白线45的宽度相对应的宽度这样的预定范围是 指如下区域:在该区域中,在每个邻近的搜索区域80中每条都选作白 线候选线65的搜索线62都确定表示一条白线45。

如上所述,ECU20从多个搜索区域80选择每条作为白线候选线 65都是高可靠性的搜索线62。如果这些搜索线定位在预定范围内,则 ECU20将这些所选择的搜索线62组合成一条白线候选。这使得即使当 白线是刮擦的线时,也易于从道路40的线中检测到能够确定为白线45 的线。结果,当其检测可靠性低时ECU20可靠地降低了更正白线45 的可能性,并且降低了错误检测的可能性。

如果在车道41的右侧和左侧上的白线45的一条白线在检测可靠 性方面是低的,则上述实施例中的车道边界标志线检测装置2基于高 可靠性白线46,来设定多条搜索线62。代替这点,车道边界标志线检 测装置2可以基于除了高可靠性白线46之外的其他对象来设定搜索线 62。

图18是示出基于路缘石设定搜索线的图。为了基于除了高可靠性 白线46之外的其他对象来设定搜索线62,关于诸如路缘石90这样的 立体车道边界的形状信息可以用于设定搜索线62,其中,路缘石90定 位在车辆行驶的路面上在车辆宽度方向上的端部处。可以使用除了路 缘石90之外的对象作为车道边界。例如,可以将定位在道路40的端 部的路肩或者在道路40的端部处的栏杆或者侧壁用作用于设定搜索线 62的车道边界。在下面的描述中,将路缘石90用作车道边界。

图19是示出基于路缘石的用于设定搜索线的处理步骤的流程图。 同样当将路缘石90用于设定搜索线62时,ECU20首先使用图像获取 单元25以获取由照相机15捕捉到的图像16(步骤ST101),并且基 于所获取的图像16,来确定是否存在路缘石90(步骤ST401)。即, ECU20的车道参数再估计单元37基于由图像获取单元25所捕捉的图 像16,来确定在车辆行驶的道路40的水平端部处是否存在路缘石90。 如果确定了确定的结果是不存在路缘石90(步骤ST401中为否),则 ECU20检测包括在由图像获取单元25捕捉的图像16内的边缘点,并 且基于所检测的边缘点来检测白线45。

另一方面,如果确定了存在路缘石90(步骤ST401中为是),则 ECU20检测路缘石90(步骤ST402)。利用已知的方法来检测路缘石 90。例如,ECU20使用立体照相机或者激光来检测包括路缘石90的立 体形状的路缘石90的形状,并且然后检测从路缘石90获得的车道参 数。即,ECU20基于路缘石90的形状,来估计诸如曲率、曲率的变化、 补偿、偏航角这样的车道参数。

在检测到路缘石90之后,ECU20接着建立多条搜索线62(步骤 ST403)。即,ECU20基于根据路缘石90的形状而估计的车道参数, 设定其中搜索低可靠性白线47的搜索范围60。以与当实施例中的车道 边界标志线检测装置2基于高可靠性白线46而设定搜索范围60时相 同的方式,来设定搜索范围60。即,车道参数再估计单元37设定白线 搜索范围Rs作为搜索范围60。白线搜索范围Rs是下述的范围:在通 过将路缘石90的位置以车道宽度Wr移位到低可靠性白线47侧、而后 在更靠近路缘石90的方向上以(车道宽度Wr×α)移位该位置,而确 定的位置处开始;并且在通过将路缘石90的位置以车道宽度Wr移位 到低可靠性白线47侧、而后在远离路缘石90的方向上以(车道宽度 Wr×α)移位该位置,而确定的位置处结束。在设定了搜索范围60之 后,多条搜索线62设定在搜索范围60中的水平不同位置处。

以这种方式,通过基于路缘石90建立多条搜索线62并且检测白 线45,即使当既没有检测到在左侧上的白线45、也没有检测到在右侧 上的白线45时,也能够基于路缘石90检测到白线45。例如,当检测 到定位在车辆行驶的道路40的左端上的路缘石90时,基于过去的路 缘石90的检测结果和用于定位在车道41的左端的白线45的车道参数, 来确定所检测到的路缘石90的水平位置与定位在车道41的左端处的 白线45的当前水平位置之间的差。然后,基于所确定的差来设定搜索 范围60。在设定了其中搜索定位在左端的白线45的搜索范围60之后, ECU20设定多条搜索线62,并且基于这些搜索线62,来估计定位在左 端处的白线45(步骤ST110至步骤ST114)。

在如上所述估计了定位在车道41的左端处的白线45之后,ECU20 基于用于所估计的白线45的车道参数,来设定其中搜索在车道41的 右端处的白线45的搜索范围60。另外,ECU20在该搜索范围60内设 定多条搜索线62,并且基于这些搜索线62,来估计定位在车道41的 右端处的白线45(步骤ST110至步骤ST114)。

如上所述,基于诸如路缘石90这样的车道边界来检测白线45的 能力使得能够基于多个检测标准检测到白线45。该能力增加了白线45 的检测精度并且更可靠地降低了错误更正的可能性。另外,甚至当在 右端和左端两端处的白线45的检测可靠性是低的时,也能够基于诸如 路缘石90这样的车道边界,来检测白线45。此外,通过基于诸如路缘 石90这样的车道边界来检测白线45,甚至在不存在诸如在路面的端部 处的白线45这样的车道边界标志线的行驶环境下,也能够基于诸如路 肩、栏杆、或者侧壁这样的立体车道边界的检测结果,而搜索到在另 一侧上的车道边界标志线。

上述车道边界标志线检测装置2检测定位在车辆行驶的车道41的 右端和左端两端处的白线45。可代替地,车道边界标志线检测装置2 也可以检测除了车辆行驶的车道41的白线45之外的白线45。例如, 在检测车辆行驶的车道41的白线45之后,车道边界标志线检测装置2 可以基于用于检测到的白线45的车道参数,来检测与车辆行驶的车道 41邻近的车道41的白线45。这使得能够识别出邻近车道41的状态, 基于信息的更广范围,实现了用于提高车辆1的行驶的安全性和用于 在驾驶操作中支持驾驶员的适当控制。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号