首页> 中国专利> 视觉辨认度估计装置、视觉辨认度估计方法及安全驾驶支持系统

视觉辨认度估计装置、视觉辨认度估计方法及安全驾驶支持系统

摘要

本发明的目的在于估计周围的视觉辨认度的变化。为了达到该目的,本发明的视觉辨认度估计装置具有:图像识别部(1),其通过对图像进行分析来检测道路标记;信息蓄积部(2),其将由图像识别部(1)检测出的道路标记的图像分析结果和图像识别部(1)检测出该道路标记时的检出位置,记录为过去的检出历史记录;视觉辨认度判定部(3),其在图像识别部(1)再次检测出与在信息蓄积部(2)中记录的检出历史记录对应的道路标记时,根据此时的检出位置与记录在信息蓄积部(2)中的过去的检出位置之间的比较,估计视觉辨认度的变化。

著录项

  • 公开/公告号CN104854638A

    专利类型发明专利

  • 公开/公告日2015-08-19

    原文格式PDF

  • 申请/专利权人 三菱电机株式会社;

    申请/专利号CN201280077719.4

  • 发明设计人 村山修;羽藤淳平;

    申请日2012-12-18

  • 分类号G08G1/16(20060101);G01C21/26(20060101);

  • 代理机构11127 北京三友知识产权代理有限公司;

  • 代理人李辉;龚晓娟

  • 地址 日本东京都

  • 入库时间 2023-12-18 10:26:28

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2022-12-02

    未缴年费专利权终止 IPC(主分类):G08G 1/16 专利号:ZL2012800777194 申请日:20121218 授权公告日:20170711

    专利权的终止

  • 2017-07-11

    授权

    授权

  • 2015-09-16

    实质审查的生效 IPC(主分类):G08G1/16 申请日:20121218

    实质审查的生效

  • 2015-08-19

    公开

    公开

说明书

技术领域

本发明涉及一种进行在对驾驶员和/或步行者等使用者通知各种信息时使得通知 不至于过剩而妨碍驾驶和/或步行的控制的技术。

背景技术

近年来,研发了面向提高机动车驾驶时的安全性的各种安全驾驶支持技术。例如 存在当接近前方车辆或周围的车辆时,在车内准备的显示设备上进行警报显示和/或 用扬声器发出警报声音进行通知的系统,此外也存在通知路肩的步行者和/或标识等 的存在,防止驾驶员漏看的系统。

但是,在导入这些各种安全驾驶支持技术时,需要注意到由于对驾驶员的信息通 知过剩,而引起驾驶员的注意力下降。例如,当在大街上行驶时将有许多步行者,还 有许多道路标识,因而将这些全部都通知给驾驶员将使驾驶员感觉厌烦,有可能引发 本来应该积极通知的信息不能被正确地传递给驾驶员的问题。

为了避免这种问题,已经有以各种条件锁定要通知的信息的方法。例如有如下这 样的方法:用摄像机拍摄道路标识及其周围,根据道路标识周边的边界数和/或道路 标识的色彩信息,仅显示不易看到的标识(专利文献1)。

另外,也有如下这样的方法:预先在导航装置内同时记录地图信息和标识的信息 (文字数据等),仅在行驶过程中用摄像机拍摄到的标识的信息与预先记录的信息不 同的情况下显示该标识,由此抑制过剩的显示(专利文献2)。

现有技术文献

专利文献

专利文献1:日本特开2010-239448号公报

专利文献2:日本特开2005-300342号公报

发明内容

发明要解决的问题

但是,在专利文献1所记载的方法中,判定是否容易看到标识本身,仅显示融入 在周围风景中使得视觉辨认度下降的标识,因而不是能够估计到周围的视觉辨认度变 化的方法。另外,当存在多个视觉辨认度下降的标识时,相应地进行显示。尤其是在 频繁利用的道路中即使是不易看清楚也能掌握该交通标识的显示内容的情况下等,每 当在相同道路中通过时就反复显示这样的不易看清楚的标识,对于驾驶员而言是很烦 的事情,存在导致注意力下降、不利于安全驾驶的问题。

另外,在专利文献2所记载的方法中,只不过是将与地图信息一起记录的标识与 在行驶中检测出的标识进行比较来判定是否不同,不是能够判定视觉辨认度的变化的 方法。另外,虽然能够避免反复显示在同一地点通过处的标识,但由于是专用于标识 的显示,因此不具有例如对于前述的步行者那样的其它通知对象物不会进行过剩通知 的控制效果。尤其是如步行者那样并非具有在任何时候都存在于相同位置这一性质的 通知对象物的情况下,像该方式这样与地图关联起来进行记录,将不能根据有无变化 来判定是否进行通知。

本发明正是为了解决上述问题而提出,其目的在于,通过监视标识等道路标记的 容易看清程度如何变化,来估计视觉辨认度的变化。另外,本发明的目的在于,通过 估计与过去相比的视觉辨认度的变化,来判定周围的视觉辨认度,即判定是否处于使 用者能够从足够远的位置确认周围情况的状况,而抑制对使用者的过剩的信息提示。

用于解决问题的手段

本发明的视觉辨认度估计装置具有:图像识别部,其通过对图像进行分析来检测 道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析结果 和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道路标记的过去 的检出历史记录;以及视觉辨认度判定部,其在所述图像识别部再次检测出与所述检 出历史记录对应的所述道路标记时,根据此时的检出位置与记录在所述信息蓄积部中 的过去的检出位置之间的比较,估计视觉辨认度的变化。

另外,本发明的另一种视觉辨认度估计装置具有:图像识别部,其通过对图像进 行分析来检测道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的 图像分析结果和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道 路标记的过去的检出历史记录;以及视觉辨认度判定部,其根据所述图像识别部在记 录于所述信息蓄积部中的过去的检出位置处再次分析出的所述道路标记的图像分析 经过、与记录于所述信息蓄积部中的过去的图像分析结果之间的比较,估计视觉辨认 度的变化。

另外,本发明的再一种视觉辨认度估计装置具有:图像识别部,其通过对图像进 行分析来检测道路标记;信息蓄积部,其记录从所述图像识别部检测出所述道路标记 时的位置到所述道路标记为止的检出距离,作为有关所述道路标记的过去的检出历史 记录;以及视觉辨认度判定部,其在所述图像识别部再次检测出与所述检出历史记录 对应的所述道路标记时,根据此时的检出距离与记录在所述信息蓄积部中的过去的检 出距离之间的比较,估计视觉辨认度的变化。

另外,本发明的视觉辨认度估计方法包括以下步骤:通过对图像进行分析来检测 道路标记;记录检测出的道路标记的图像分析结果和检测出所述道路标记时的检出位 置,作为有关所述道路标记的过去的检出历史记录;在再次检测出与所述检出历史记 录对应的所述道路标记时,根据此时的检出位置与所记录的过去的检出位置之间的比 较,估计视觉辨认度的变化。

另外,本发明的另一种视觉辨认度估计方法包括以下步骤:通过对图像进行分析 来检测道路标记;记录检测出的道路标记的图像分析结果和检测出所述道路标记时的 检出位置,作为有关所述道路标记的过去的检出历史记录;根据在过去的检出位置处 再次检测出的所述道路标记的图像分析经过与所记录的过去的图像分析结果之间的 比较,估计视觉辨认度的变化。

另外,本发明的再一种视觉辨认度估计方法包括以下步骤:通过对图像进行分析 来检测道路标记;记录从检测出所述道路标记时的位置到所述道路标记为止的检出距 离,作为有关所述道路标记的过去的检出历史记录;在再次检测出与所述检出历史记 录对应的所述道路标记时,根据此时的检出距离与所记录的过去的检出距离之间的比 较,估计视觉辨认度的变化。

另外,本发明的安全驾驶支持系统具有:图像识别部,其通过对图像进行分析来 检测道路标记;信息蓄积部,其记录由所述图像识别部检测出的道路标记的图像分析 结果和所述图像识别部检测出所述道路标记时的检出位置,作为有关所述道路标记的 过去的检出历史记录;视觉辨认度判定部,其在所述图像识别部再次检测出与所述检 出历史记录对应的所述道路标记时,根据此时的检出结果与记录在所述信息蓄积部中 的过去的检出历史记录之间的比较,估计视觉辨认度的变化;信息提示判断部,其在 所述视觉辨认度判定部通过与过去的视觉辨认度进行比较而估计为当前的视觉辨认 度下降时,降低用于判断是否需要对使用者提示周围的安全支持信息的阈值;以及信 息提示部,其在所述信息提示判断部判定为要提示信息时对使用者提示信息。

发明效果

根据本发明的视觉辨认度估计装置及视觉辨认度估计方法,能够估计视觉辨认度 的变化、例如估计视觉辨认度是与通常一致还是低于通常情况。并且,通过这样估计 视觉辨认度的变化,能够仅在视觉辨认度下降时向使用者传递周围的信息,能够抑制 要提示的信息量。

附图说明

图1是示出本发明的实施方式1的视觉辨认度估计装置的图。

图2是示出本发明的实施方式1的视觉辨认度判定的流程的图。

图3是示出本发明的实施方式2的视觉辨认度估计装置的图。

图4是示出本发明的实施方式2的视觉辨认度判定的流程的图。

图5是示出本发明的实施方式3的视觉辨认度估计装置的图。

图6是示出本发明的实施方式5的视觉辨认度估计装置的图。

图7是示出本发明的实施方式7的视觉辨认度估计装置的图。

图8是示出本发明的实施方式8的视觉辨认度估计装置的图。

图9是示出本发明的实施方式9的安全驾驶支持系统的图。

具体实施方式

实施方式1

图1是示出本发明的实施方式1的视觉辨认度估计装置的图。作为视觉辨认度估 计装置,除了对驾驶车辆的驾驶员的视觉辨认度进行估计的装置以外,也存在对步行 者的视觉辨认度进行估计的装置,但在本实施方式1中对估计驾驶员的视觉辨认度的 视觉辨认度估计装置进行说明。在以后的实施方式中也一样。如图所示,实施方式1 的视觉辨认度估计装置由图像识别部1、信息蓄积部2和视觉辨认度判定部3构成。 另外,图2示出视觉辨认度判定部3的视觉辨认度判定的流程。

图像识别部1安装于车辆,以拍摄行驶方向前方的车载摄像机的图像为输入,将 其图像分析结果输出给信息蓄积部2和视觉辨认度判定部3。图像识别部1具有检测 道路标识、交通信号灯、便利店的招牌等道路标记的功能,在检出时输出其类别和/ 或记载内容。例如,对于道路标识,输出“限速标识”“40(km/h)”这样的信息作为 图像分析结果,在检测不到时输出“无检测结果”这样的信息或者不进行任何输出。

信息蓄积部2具有如下功能:以图像识别部1输出的图像分析结果和检测出该道 路标记时的车辆位置信息为输入,将两者关联起来作为过去的检出历史记录记录在内 部的HDD等存储介质(未图示)中。将在信息蓄积部2中记录的检出历史记录之一 的过去的车辆位置信息,作为基准检出位置信息(过去的检出位置)用作视觉辨认度 估计的判断基准。车辆位置信息是由在车载导航仪等中广泛使用的GPS(Global  Positioning System,全球定位系统)生成的,是准确示出车辆的当前位置的信息。在 车辆位置信息中除纬度和经度这样的坐标以外,也包括车辆的朝向的信息。该信息是 由同样在车载导航仪等中广泛使用的陀螺仪传感器等生成的。另外,在车辆沿某个朝 向行驶于某个坐标位置时,信息蓄积部2在记录了此时的车辆位置信息以及与该车辆 位置信息相关联的图像分析历史记录的情况下,将这些信息作为检出历史记录进行输 出。

视觉辨认度判定部3根据从图像识别部1取得的当前的图像分析结果、当前的车 辆位置、从信息蓄积部2取得的检出历史记录、和判定阈值,最终判定视觉辨认度并 输出判定结果。

下面,使用图1、图2说明视觉辨认度判定部3的动作。

例如,在车辆的行驶过程中,在接近过去检测出40km的速度限制标识的地点时, 作为图像分析历史记录从信息蓄积部2输入“速度限制标识”“40(km/h)”这样的数 据(S100),并输入与该图像分析历史记录相关联的过去的检出位置即基准检出位置 信息(a)(S101)。

当图像识别部1在同一地点检测出相同的道路标识时,作为图像分析结果,从图 像识别部1输入“速度限制标识”“40(km/h)”(S102),并输入此时的车辆位置信息 (b)(S103)。在这种情况下,基准检出位置信息(a)和当前的车辆位置信息(b) 相同,因而判定为车辆行驶方向的视觉辨认度没有变化,作为视觉辨认度判定结果, 输出“视觉辨认度为通常”(S104、S106)。另外,实际上即使视觉辨认度几乎没有变 化,也考虑了能够识别标识的位置多少存在偏差,因而进行将规定的范围内视为同一 地点的控制。

另一方面,例如在产生了雾等的视场较差的情况下,如果不比平常靠近,则无法 检测到标识。具体而言,在视觉辨认度判定部3中,在接近过去检测出交通标识的地 点时,从信息蓄积部2通知图像分析历史记录和基准检出位置信息(S100、S101), 与此相对,图像识别部1在该位置尚未检测到该交通标识,因而不进行从图像识别部 1的图像分析结果的通知。另外,在车辆向行驶方向前方行进而能够完全检测到交通 标识时,在该点首次通知图像分析结果(S102),并输入此时的车辆位置信息(b) (S103)。

在这种情况下,与同一交通标识对应的基准位置信息(a)和车辆位置信息(b) 不相同,因而判定为视觉辨认度出现变化。在上述的例子中,由于是此时的车辆位置 信息(b)的坐标比基准位置信息(a)的坐标在行驶方向上靠前方的位置,因而判定 为视觉辨认度下降(S104、S105)。在此,关于在位置变化何种程度时判定为视觉辨 认度下降的判定基准,是从外部输入判定阈值。例如,在设判定阈值为2m的情况下 从通知了作为图像分析历史记录的标识的检出到通知了作为图像分析结果的标识的 检出的期间中,当车辆行驶的距离为2m以下时,输出视觉辨认度没有变化即“视觉 辨认度为通常”作为视觉辨认度判定结果。另一方面,在车辆超前行驶的距离超过 2m例如是4m时,输出“视觉辨认度降低”作为视觉辨认度判定结果。

另外,在上述的说明中是从外部取得阈值,但也可以将阈值记录在视觉辨认度判 定部3中。

另外,也可以是,每当从图像识别部1输入图像分析结果时,更新蓄积在信息蓄 积部2中的图像分析历史记录和与其对应的基准检出位置信息;在前方存在遮挡物时 等不能测定的情况下,可以不记录其分析结果,也可以通过多次的平均使其影响不易 呈现。另外,也可以如下这样更新数据:将视觉辨认度良好时的图像分析结果作为图 像分析历史记录,并与此时的车辆位置关联起来进行记录。至于视觉辨认度是否良好, 也可以在车辆位置信息(b)的坐标相对于行驶方向比基准检出位置信息(a)的坐标 靠后方的情况下判定为视觉辨认度良好,还可以根据明亮度等进行判断。另外,也可 以仅将第一次检测出道路标记时的图像分析结果和那时的车辆位置信息记录为基准 检出历史记录。

如上所述,本实施方式的驾驶员视觉辨认度估计装置通过将检测出标识等在道路 的行进方向前方固定设置的物体(道路标记)的位置、与过去的检出位置进行比较, 能够估计视觉辨认度的变化。另外,根据估计出的视觉辨认度的变化,能够判定是否 需要提供在周围检测出的其它物体的信息,因而能够抑制对驾驶员提供过剩的信息。

实施方式2

图3是示出本发明的实施方式2的驾驶员视觉辨认度估计装置的图。与图1的不 同之处在于,从图像识别部1a向视觉辨认度判定部3a输出图像分析经过而非图像分 析结果、以及将该图像分析经过蓄积在信息蓄积部2a中。即,在实施方式1中,图 像识别部1在能够完全检测出成为识别对象的交通标识等时输出其类别和记载内容, 而本实施方式2的图像识别部1a即使在未能完全检测出这些信息的情况下,也在通 过了规定的地点的时刻输出图像分析经过。其它方面相同,因而省略说明。图4示出 视觉辨认度判定部3a的视觉辨认度判定的流程。

使用图3和图4说明实施方式2的驾驶员视觉辨认度估计的方法。首先,在行驶 过程中,在图像识别部1a第一次完全识别出某个标识等时,在该地点将该图像分析 结果输出给信息蓄积部2a,将其作为过去的图像分析结果进行蓄积。例如,当在行 驶方向前方具有被描绘为“40(km/h)”的限制速度的交通标识的情况下,将能够完 全识别出该交通标识的车辆位置和“速度限制标识”、“40(km/h)”这样的图像分析 结果关联起来,作为过去的检出历史记录记录在信息蓄积部2a中。此时记录的检出 历史记录之一的车辆位置从下一次起被用作图像识别部1a输出图像分析经过的基准 位置。并且,同时记录的过去的图像分析结果从下一次起在通过同一地点时作为图像 分析历史记录输出给视觉辨认度判定部3a,被用作视觉辨认度估计的判定基准。

以后,在车辆通过基准位置时,视觉辨认度判定部3a从信息蓄积部2a取得该地 点处的图像分析历史记录(S200)。并且,将此时图像识别部1a分析的内容作为图像 分析经过通知给视觉辨认度判定部3a(S201)。例如,图像识别部1a在能够检测出 位于行驶方向前方的交通标识是“速度限制标识”但不能读取出该标识中描绘的具体 数值的情况下,仅将“速度限制标识”作为图像分析经过输出给信息蓄积部2a和视 觉辨认度判定部3a。

视觉辨认度判定部3a将作为图像分析经过从图像识别部1a输入的“速度限制标 识”、和从信息蓄积部2输入的作为判定基准值的“速度限制标识”、“40(km/h)”进 行比较(S202)。在该例中,比较的结果是,视觉辨认度判定部3a判定为图像分析经 过的分析等级比过去的图像分析历史记录低,换言之判定为图像分析经过只能得到比 过去的图像分析历史记录粗略的检测信息,而估计为车辆行驶方向的视觉辨认度下 降,输出“视觉辨认度下降”作为视觉辨认度判定结果(S203)。相反,在判定为能 够得到相同的分析等级的情况下,输出“视觉辨认度为通常”作为视觉辨认度判定结 果(S204)。

如上所述,将同一地点处的过去的检出历史记录即图像分析历史记录和当前的图 像分析经过进行比较,能够根据图像分析等级的变化判定视觉辨认度的变化,因而即 使没有接近到能够进行分析的距离时,也能够判定出视觉辨认度下降。

另外,分析等级不限于根据标识的类别和有无写在其上的数值进行判定,也存在 其它的判定基准。例如,对于交通信号灯的检出,也可以在过去于同一地点判断出交 通信号灯的存在和交通信号灯的颜色而在以后仅检出交通信号灯的存在而未能识别 出颜色的情况下,判定为分析等级下降。另外,也可以设置任意的其它阈值。

另外,在上述的说明中,将第一次完全识别出道路标记时的图像分析历史记录作 为判定基准值,并作为与从下一次起的图像分析经过的比较对象,但也可以是,每当 从图像识别部1a输出图像分析经过时就更新信息蓄积部2a的图像分析历史记录,将 前一次的图像分析经过用作比较对象。根据这样的结构,能够通过与前一次比较来判 定视觉辨认度的好坏与否。

另外,在上述的说明中,将第一次完全识别出道路标记时的车辆位置作为图像识 别部1a输出图像分析经过的基准位置,但也可以更新该基准位置。例如,也可以在 信息蓄积部2a中记录多次的完全识别出某个道路标记时的图像分析结果和检出位 置,将视觉辨认度最好时的检出位置更新为基准位置。在此,关于视觉辨认度好坏与 否的判定,也可以根据检出位置来进行(检出位置距离道路标记越远,判定为视觉辨 认度越好),也可以根据周围的明亮度来进行。另外,也可以是,在第一次确定了基 准位置后,在周围比此时明亮时,再次完全地检出道路标记,将此时的车辆位置更新 为基准位置。

根据这样更新基准位置的结构,在第一次完全识别出道路标记时的天气变差而使 得视觉辨认度变差的情况下,也能够逐渐校正基准位置,使视觉辨认度估计的性能变 好。

实施方式3

在实施方式1中使用道路标记的检出位置的变化来进行视觉辨认度估计,在实施 方式2中使用道路标记的图像分析等级的变化来进行视觉辨认度估计。与此相对,在 本实施方式中,使用从道路标记的检出位置到道路标记的距离(检出距离)的变化来 进行视觉辨认度估计。

图5是示出本实施方式3的驾驶员视觉辨认度估计装置的图。与图1的不同之处 在于,在信息蓄积部2b内具有道路标记位置记录部21、检出距离记录部22,以及从 信息蓄积部2b向视觉辨认度判定部3b传输多个与图1不同的数据。其它方面相同, 因而省略说明。

在信息蓄积部2b内的道路标记位置记录部21中记录了交通标识和/或交通信号 灯等道路标记的位置信息。例如,在地图信息中包含交通信号灯的信息,以便在车载 导航仪等显示交叉路口的信号,因而利用这样的信息。

另外,在信息蓄积部2b内的检出距离记录部22中记录了从第一次检测出某个道 路标记时的车辆的位置到该道路标记的距离,作为在视觉辨认度估计中使用的检出历 史记录。将该距离用作与从下一次起的检出距离的比较对象即基准检出距离(过去的 检出距离)。基准检出距离是按照以下所述计算的。检出距离记录部22在从图像识别 部1第一次取得某个道路标记的图像识别结果时,在取得车辆位置信息的同时,从道 路标记位置记录部21取得所检测出的道路标记实际存在的位置,通过比较两者来计 算从车辆位置到道路标记的距离。例如,在图像识别部1检测出位于车辆的行驶方向 上的交通标识而输出“速度限制标识”、“40km/h”的图像分析结果的情况下,检出距 离记录部22从道路标记位置记录部21取得该交通标识的位置信息。并且,检出距离 记录部22将所取得的交通标识的位置与当前的车辆位置进行比较,由此计算出例如 “25m”这一距离。即,记录该车辆在近前25m处检测出该交通标识。

对视觉辨认度判定部3b的判定处理进行说明。在车辆接近某个道路标记、图像 识别部1检测出该图像时,图像识别部1将其图像分析结果输出给视觉辨认度判定部 3b,并且输出给信息蓄积部2b。信息蓄积部2b接收到图像分析结果时,根据该图像 分析结果和车辆位置信息确定在道路标记位置记录部21中记录的该道路标记,将该 道路标记位置信息输出给视觉辨认度判定部3b。并且,信息蓄积部2b将与所确定的 道路标记对应的基准检出距离信息输出给视觉辨认度判定部3b。

视觉辨认度判定部3b在从图像识别部1接收到图像分析结果时,输入此时的车 辆位置信息。视觉辨认度判定部3b使用所输入的车辆位置信息和道路标记位置信息, 计算从车辆到道路标记的距离。即,计算表示此次在离开多远的距离处检测出该道路 标记的检出距离。并且,将计算出的检出距离和从信息蓄积部2b取得的基准检出距 离进行比较,判定是否比过去记录的基准检出距离短,即是否是更接近道路标记后检 测出的。在进行比较时与实施方式1一样使用判定阈值。例如,在基准检出距离为 “25m”、此次计算出的检出距离为“20m”、阈值为“3m”的情况下,基准检出距离 与此次计算出的检出距离之差即接近道路标记的距离是5m,超过了阈值,因而判定 为“视觉辨认度下降”。另一方面,例如在此次的检出距离是“23m”的情况下,接 近标识的距离是2m,未超过阈值,因而判定为视觉辨认度判定结果是“视觉辨认度 为通常”。

如上所述,在本实施方式中,每当图像识别部1检测出道路标记时,视觉辨认度 判定部3b计算从此时的车辆到道路标记的检出距离,将计算出的检出距离与过去记 录的基准检出距离进行比较,由此估计视觉辨认度。

另外,在上述的说明中,将第一次检测出某个道路标记时的检出距离作为基准值 记录在检出距离记录部22中,但也可以是每当检测出道路标记时就更新在检出距离 记录部22中记录的基准检出距离。根据这样的结构,能够通过与前一次比较来判定 视觉辨认度的好坏与否。另外,也可以将多次的检出距离进行平均来作为基准检出位 置。另外,也可以记录视觉辨认度良好时的检出距离,在估计为视觉辨认度不好时不 进行更新。如果这样将视觉辨认度良好时的检出距离更新为基准检出距离,则在第一 次检测出道路标记时的天气差而使得视觉辨认度不佳的情况下,也能够逐渐校正基准 检出距离,使视觉辨认度估计的性能变好。

实施方式4

在上述实施方式1~3中,使用过去的位于同一位置的同一物体(道路标记)的 检出历史记录进行视觉辨认度估计。与此相对,在本实施方式中,按照道路标记的每 种类别记录表示能够在离开多远的距离处检测出的基准检出距离,使用该基准检出距 离进行视觉辨认度估计。本实施方式4的驾驶员视觉辨认度估计装置的基本结构与实 施方式3相同,因而使用图5说明本实施方式的动作。对于相同的结构省略说明。

在信息蓄积部2b内的检出距离记录部22中,按照道路标记的每种类别记录表示 能够在离开多远的距离处检测出的基准检出距离。基准检出距离的计算方法与实施方 式3相同。例如,记录了如下这样的基准检出距离:速度限制标识等交通标识为“25m”、 交通信号灯为“30m”、连锁经营的便利店等具有统一的设计的店铺的招牌为“40m”。 这样,检出距离记录部22对于各种类别的道路标记,按照其类别将第一次检测出的 距离记录为基准检出距离。

对视觉辨认度判定部3b的判定处理进行说明。在车辆接近某种类别的道路标记、 图像识别部1检测出其图像时,图像识别部1将其图像分析结果输出给视觉辨认度判 定部3b,并且输出给信息蓄积部2b。信息蓄积部2b接收到图像分析结果时,根据该 图像分析结果和车辆位置信息确定在道路标记位置记录部21中记录的该道路标记, 将该道路标记位置信息输出给视觉辨认度判定部3b。并且,信息蓄积部2b根据所输 入的图像分析结果确定道路标记的类别,将与在检出距离记录部22中记录的该类别 的道路标记对应的基准检出距离信息输出给视觉辨认度判定部3b。

视觉辨认度判定部3b在从图像识别部1接收到图像分析结果时,输入此时的车 辆位置信息。视觉辨认度判定部3b使用所输入的车辆位置信息和道路标记位置信息, 计算从车辆到此次检测出的道路标记的距离。关于将计算出的检出距离和基准检出距 离进行比较来判定视觉辨认度的变化,与实施方式3相同。

如上所述,在本实施方式中,每当图像识别部1检测出道路标记时,视觉辨认度 判定部3b计算从此时的车辆到道路标记的距离,将计算出的距离与按照道路标记的 每种类别记录的基准检出距离进行比较,由此判定视觉辨认度。因此,在上述实施方 式1~3中,以过去检测出位于相同位置的同一道路标记为前提,而在本实施方式中, 即使是在第一次通行的道路中也能够进行视觉辨认度估计。

另外,在上述的说明中,与实施方式1、3一样,图像识别部1在完全识别出道 路标记时将图像分析结果输出给视觉辨认度判定部3b,但也可以如实施方式2那样, 在规定的基准位置从图像识别部1输出图像分析经过。在这种情况下,将记录了基准 检出距离时的完整的图像分析结果、与以后检测出相同类别的道路标记时的图像分析 经过进行比较,根据分析等级的差异估计视觉辨认度。并且,基准位置成为比道路标 记靠近前侧达对道路标记的每种类别记录的基准检出距离处的位置。这样,即使是过 去未检出过位于相同位置的同一道路标记,只要检测出相同类别的道路标记,就能够 得到在第一次通行的道路中也能够进行视觉辨认度估计的效果。

另外,在上述的说明中,将第一次检测出某种类别的道路标记时的检出距离作为 基准检出距离记录在检出距离记录部22中,但也可以是,每当检测出相同类别的道 路标记时就更新在检出距离记录部22中记录的基准检出距离。另外,也可以将多次 的检出距离进行平均并记录。另外,也可以使用视觉辨认度良好时的检出距离来更新 基准检出距离,在估计为视觉辨认度不好时不进行更新。

实施方式5

在上述实施方式1~4中,在信息蓄积部2中按照每个道路标记或者道路标记的 每种类别记录各一个成为视觉辨认度估计的基准的过去的检出历史记录。例如,在实 施方式1中,对每个道路标记记录一个检出位置(车辆位置信息),在实施方式2中, 对每个道路标记记录一个图像分析历史记录,在实施方式3中,对每个道路标记记录 一个检出距离,在实施方式4中,对道路标记的每种类别记录一个检出距离。在该实 施方式5中,对按照使用状况区分使用多个检出历史记录的示例进行说明。作为使用 状况,例如可以举出天气和/或明亮度等环境条件和/或使用者的个人差异。

图像识别部1的基于图像分析的对物体的检测性能根据天气和/或明亮度等环境 条件而不同。因此,使用雨传感器和/或照度传感器等,按照对图像识别部1的检测 性能带来影响的天气和/或明亮度等每种环境条件,准备不同的检出历史记录。例如, 如图6所示在信息蓄积部2c设置日用检出历史记录记录部23和夜用检出历史记录记 录部24。并且,例如,如实施方式1所述在日用检出历史记录记录部23中记录将白 天检测到的图像分析结果和此时的车辆位置信息关联起来而得到的数据,在夜用检出 历史记录记录部24中记录将夜间检测到的图像分析结果和此时的车辆位置信息关联 起来而得到的数据。与实施方式1一样,将车辆位置信息作为基准检出位置信息并用 作视觉辨认度估计的判定基准。

在车辆接近过去检测出道路标记的地点而开始视觉辨认度估计的判定时,根据照 度传感器和/或时刻等判定为是白天时,将在日用检出历史记录记录部23中记录的图 像分析结果和车辆位置信息作为检出历史记录输出给视觉辨认度判定部3c。在视觉 辨认度判定部3c中,将此次检测出的车辆位置信息、与从日用检出历史记录记录部 23取得的车辆位置信息即基准检出位置进行比较,来估计视觉辨认度。其它动作与 实施方式1一样,因而省略说明。

关于在日用检出历史记录记录部23和夜用检出历史记录记录部24中记录的检出 历史记录,也可以是如上所述将图像分析结果和车辆位置信息关联起来而得到的数据 以外的数据。例如,也可以如实施方式2所述记录白天检测出的图像分析结果和夜间 检测出的图像分析结果,也可以如实施方式3所述记录白天检测出道路标记时的检出 距离和夜间检测出道路标记时的检出距离,也可以如实施方式4所述对每个道路标记 记录日用的检出距离和夜用的检出距离。

另外,也可以按照由照度传感器检测的照度,设置3个以上的检出历史记录记录 部。另外,还可以根据雨传感器设置雨天用的检出历史记录记录部和晴天用的检出历 史记录记录部。

另外,由于作为使用者的驾驶员的技能和/或视力等,视觉辨认度存在个人差异, 因而也可以使用任意的驾驶员识别单元对每个驾驶员单独准备在信息蓄积部2中记 录的检出历史记录。例如,把将过去检测出的图像分析结果和此时的车辆位置信息关 联起来而得到的数据划分为多个阶段进行记录。即,记录在视觉辨认度良好的状况下 检测出的数据和在视觉辨认度不好的状况下检测出的数据。在视觉辨认度不好的状况 下检测出时的车辆位置比在视觉辨认度良好的状况下检测出时的车辆位置靠近道路 标记,因而对于视力良好的驾驶员,将在视觉辨认度不好的状况下检测出的数据用作 基准值,由此降低被判定为“视觉辨认度下降”的概率,能够避免频繁地进行警报显 示等。

这样,通过按照使用状况记录不同的检出历史记录,并按照使用状况将不同的检 出历史记录作为比较对象,能够更准确地估计视觉辨认度的变化。

实施方式6

在上述实施方式5中说明了按照使用状况采用多个检出历史记录的示例,但也可 以按照使用状况切换在视觉辨认度估计中使用的阈值。例如,白天的视觉辨认度比夜 间好,因而将日用的阈值设定得大于夜用的阈值。在实施方式1的示例中,当在比基 准检出位置接近道路标记达3m时检测出道路标记的情况下,如果阈值是2m,则判 定为“视觉辨认度下降”,如果阈值是4m,则判定为“视觉辨认度为通常”。因此, 如果将日用的阈值设为4m、将夜用的阈值设为2m,则在白天判定为“视觉辨认度下 降”的概率下降,能够避免频繁地进行警报显示等。

与上述实施方式5一样,也可以按照天气和/或照度设定阈值。并且,能够对每 个驾驶员设定阈值的情况也与上述实施方式5一样。例如,设置用于提高判定为视觉 辨认度下降的阈值的按钮,感觉信息提供过多的驾驶员通过按下该按钮,能够使得不 易被判定为视觉辨认度下降。另外,也可以是,设置用于降低判定为视觉辨认度下降 的阈值的按钮,视力不好的驾驶员通过按下该按钮,在检出标识的位置少许变化时也 能够判定为视觉辨认度下降。

实施方式7

图7是示出本实施方式7的驾驶员视觉辨认度估计装置的图。与图1的不同之处 在于,准备了生成判定阈值的判定基准调节部4、以及在信息蓄积部2d中追加了车 速信息的输入、车速历史记录的输出。其它方面相同,因而省略说明。

在上述的各个实施方式中,在进行视觉辨认度是否下降的判定时参照判定阈值, 而本实施方式7的判定基准调节部4具有进行该阈值的调节的功能,本实施方式示出 了其中提高阈值、即变为在视觉辨认度判定部3中不易判定为视觉辨认度下降的情况 的动作。

在视觉辨认度判定结果是判定为视觉辨认度下降的情况下,判定基准调节部4 推测作为使用者的驾驶员是否实际感觉到视觉辨认度下降。具体而言,在驾驶员感觉 到视觉辨认度下降的情况下,估计为雨刮和/或车灯的使用、车速等产生变化,并监 视这些因素的变化。即,监视驾驶员的行动的变化。

在采用雨刮的使用变化的情况下,判定基准调节部4从雨刮的控制设备取得雨刮 动作信息(接通/断开、动作速度),并观测是否在进行如下的操作:在规定期间之中 接通雨刮的开关来起动雨刮、或者加快雨刮的动作速度。在未进行这些操作的情况下, 判定为驾驶员未感觉到视觉辨认度下降。

在采用车灯的使用变化的情况下,判定基准调节部4从头灯/雾灯的控制设备取 得车灯动作信息(接通/断开),并观测是否在规定期间之中进行了接通车灯的开关的 操作。在未进行接通车灯的开关的点亮操作的情况下,判定为驾驶员未感觉到视觉辨 认度下降。

在采用车速的变化的情况下,例如结合实施方式1的视觉辨认度估计方法进行说 明,信息蓄积部2d在将图像分析结果和车辆位置信息关联起来进行蓄积时,也一并 将所取得的车速信息作为车速历史记录进行记录。在图像识别部1检测出相同的道路 标记时,判定基准调节部4将当前的车速和从信息蓄积部2d取得的过去的车速历史 记录进行比较,观测是否在以比过去通过同一地点时的车速慢的车速行驶。在未降低 车速的情况下,判定为驾驶员未感觉到视觉辨认度下降。

在视觉辨认度判定结果是判定为视觉辨认度下降时判定基准调节部4根据上述 的雨刮的使用、车灯的使用、车速的某种变化或者它们的组合判定为驾驶员未感觉到 视觉辨认度下降时,增大通知给视觉辨认度判定部3的判定阈值。由此,在从下一次 起检测相同的道路标记时,视觉辨认度判定部3将不易判定为视觉辨认度下降。例如, 使用上述实施方式3的视觉辨认度判定方法的示例进行说明,在基准检出距离为 “25m”、此次计算出的检出距离为“20m”、阈值为“3m”的情况下,基准检出距离 与此次计算出的检出距离之差(5m)超过阈值,因而判定为“视觉辨认度下降”,但 实际上驾驶员未感觉到视觉辨认度下降,因而从下一次起将阈值设为“6m”,使得不 判定为“视觉辨认度下降”。

如上所述,由于设置了在输出了视觉辨认度下降的判定结果但是根据驾驶员的行 动的变化而推测为驾驶员实际未感觉到视觉辨认度下降的情况下提高阈值的功能,因 而能够避免在驾驶员未感觉到视觉辨认度下降时过剩地判定为视觉辨认度下降,而抑 制随之产生的警报的过剩显示等。

实施方式8

图8是示出本实施方式8的驾驶员视觉辨认度估计装置的图。与图1的不同之处 在于,准备了生成判定阈值的判定基准调节部4a。其它方面相同,因而省略说明。

上述的实施方式7示出了提高输入视觉辨认度判定部3的判定阈值的情况下的动 作,而本实施方式8示出了判定基准调节部4a降低阈值、即使得视觉辨认度判定部 3易于判定为视觉辨认度下降的情况下的动作。

在虽然视觉辨认度判定部3未判定为视觉辨认度下降、但是以后需要积极地进行 障碍物的接近等警报显示灯的情况下,需要使视觉辨认度判定部3容易判定为视觉辨 认度下降、即需要降低判定阈值。具体而言,在作为使用者的驾驶员未注意到视觉辨 认度下降的状况下进行这些因素的检测,以便观测驾驶员对位于路肩的步行者等的发 现迟缓这种行动的变化。

关于对位于路肩的步行者等的发现,首先取得前方的步行者等物体检出信息。这 可以采用图像识别部1的图像分析结果,还可以从其它的车载摄像机或进行图像识别 的设备取得。另一方面,关于驾驶员是否注意到前方的步行者等的判定,需要驾驶员 的视线信息。该信息通过利用不朝向车外、而朝向车内的驾驶员坐席侧设置的摄像机 影像等检测眼睛的动作等来取得。

对步行者的发现迟缓的动作是能够得到如下的视线信息的情况下的动作,即尽管 作为物体检出信息的物体位置已通知给判定基准调节部4a,但是在超过规定期间时 视线也未朝向该物体的位置的视线信息。在这种情况下,认为驾驶员未注意到视觉辨 认度下降,因而降低通知给视觉辨认度判定部3的判定阈值。例如,使用上述实施方 式3的视觉辨认度估计方法的示例进行说明,在基准检出距离为“25m”、此次计算 出的检出距离为“22m”、阈值为“4m”的情况下,基准检出距离与此次计算出的检 出距离之差(3m)未超过阈值,因而判定为“视觉辨认度为通常”,但能够推测到实 际上驾驶员未注意到视觉辨认度下降,因而从下一次起将阈值设为“2m”,使判定为 “视觉辨认度下降”。

另外,关于步行者突然从旁道出现的情况等,从将物体检出信息通知给判定基准 调节部4a到视线朝向物体的位置的时间变短,因而并非视觉辨认度下降,所以不进 行提高阈值的动作。

如上所述,由于设置了即使在视觉辨认度判定部3没有判定为视觉辨认度下降 时,在驾驶员将视线移向在前方检测出的物体需要规定的时间的情况下等能够推测到 驾驶员未注意到视觉辨认度下降时降低阈值的功能,因而容易判定为视觉辨认度下 降,能够将随之产生的必要的警报的显示等提示给驾驶员。

实施方式9

上述各实施方式中的视觉辨认度估计装置的视觉辨认度判定结果例如被用于安 全驾驶支持系统中。图9是示出安全驾驶支持系统的概要的图。在图中,5表示在上 述各实施方式中说明的视觉辨认度估计装置,6表示使用视觉辨认度估计装置5的视 觉辨认度判定结果判定是否对作为使用者的驾驶员提示有关周围的物体的信息的信 息提示判断部,7表示根据信息提示判断部6的判断对驾驶员提示信息的信息提示部, 包括利用图像进行提示的显示部71、和利用声音进行提示的扬声器72。

信息提示判断部6根据视觉辨认度判定结果切换对驾驶员的各种安全支持信息 的提示基准即阈值。例如,在警报与前方车辆的车距比规定的距离短的情况下,在视 觉辨认度估计装置5的视觉辨认度判定结果是“视觉辨认度下降”时,降低提示基准, 在比通常远的情况下信息提示部7也利用显示或声音进行警报。通过这样进行控制, 驾驶员能够精神上有余裕地进行行动。并且,在通知前方有步行者和/或自行车等的 情况下,当视觉辨认度判定结果是“视觉辨认度下降”时、即特别需要注意时,通知 驾驶员存在不易发现的步行者和/或自行车。

另外,例如在使用车载导航功能的过程中,在视觉辨认度估计装置5的视觉辨认 度判定结果是“视觉辨认度下降”的情况下,也可以在比通常早的时刻利用声音提示 下一个拐弯的位置,也可以配合视觉辨认度的下降而利用显示或声音催促车灯/雾灯 的点亮或者可以使这些灯自动点亮。

这样,实施方式1~8的视觉辨认度估计装置的估计结果不仅是估计某个时刻的 特定的道路标记的视觉辨认度,而且也估计与过去相比的视觉辨认度的变化,因而能 够用作是否需要提示有关周围物体的安全支持信息的判断基准,能够抑制对驾驶员的 过剩的信息提供。即,在视觉辨认度下降时,降低提示基准使得提示通常不提示的周 围的安全支持信息,由此能够防止在观察性良好的状况下过剩地对驾驶员通知周围的 信息。

标号说明

1图像识别部;2信息蓄积部;21道路标记位置记录部;22检出距离记录部;23 日用检出历史记录;24夜用检出历史记录;3视觉辨认度判定部;4判定基准调节部; 5视觉辨认度估计装置;6信息提示判断部;7信息提示部;71显示部;72扬声器。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号