首页> 中国专利> 基于单目图像的前车切入检测方法、装置、设备及介质

基于单目图像的前车切入检测方法、装置、设备及介质

摘要

本公开涉及一种基于单目图像的前车切入检测方法、装置、设备及介质。其中,基于单目图像的前车切入检测方法包括:获取连续的多帧目标检测图像,目标检测图像包括位于相邻车道的前车的检测框;获取每帧目标检测图像中前车的检测框上的第一测距点;针对每帧目标检测图像,基于第一测距点得到前车与自车对应的相对运动参数;在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。根据本公开实施例,能够提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

著录项

  • 公开/公告号CN116012802A

    专利类型发明专利

  • 公开/公告日2023-04-25

    原文格式PDF

  • 申请/专利权人 驭势(上海)汽车科技有限公司;

    申请/专利号CN202211677145.6

  • 申请日2022-12-26

  • 分类号G06V20/56;G06V10/22;

  • 代理机构北京开阳星知识产权代理有限公司;

  • 代理人吴崇

  • 地址 201807 上海市嘉定区城北路1818弄2号

  • 入库时间 2023-06-19 19:30:30

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2023-05-12

    实质审查的生效 IPC(主分类):G06V20/56 专利申请号:2022116771456 申请日:20221226

    实质审查的生效

说明书

技术领域

本公开涉及图像识别技术领域,尤其涉及一种基于单目图像的前车切入检测方法、装置、设备及介质。

背景技术

车辆在行驶中,需要时刻留意两侧车辆是否会进入当前行驶车道,从而影响车辆行驶安全,因此需要在行驶过程中对两侧车辆进行测距检测。

相关技术中,对两侧车辆进行测距检测时,只是根据两侧车辆的检测框底边中心作为测距点进行测距检测,而使用该测距点进行检测并不准确,从而会出现误判断两侧车辆驶入当前行驶车道的情况,影响车辆行驶安全。

发明内容

为了解决上述技术问题,本公开提供了一种基于单目图像的前车切入检测方法、装置、设备及介质。

第一方面,本公开提供了一种基于单目图像的前车切入检测方法,包括:

获取连续的多帧目标检测图像,目标检测图像包括位于相邻车道的前车的检测框;

获取每帧目标检测图像中前车的检测框上的第一测距点,第一测距点为前车的后端底边中心点;

针对每帧目标检测图像,基于第一测距点得到前车与自车对应的相对运动参数,相对运动参数包括前车的相对横向距离和相对横向速度;

在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。

第二方面,本公开提供了另一种基于单目图像的前车切入检测方法,包括:

第一获取模块,用于获取连续的多帧目标检测图像,目标检测图像包括位于相邻车道的前车的检测框;

第二获取模块,用于获取每帧目标检测图像中前车的检测框上的第一测距点,第一测距点为前车的后端底边中心点;

第一处理模块,用于针对每帧目标检测图像,基于第一测距点得到前车与自车对应的相对运动参数,相对运动参数包括前车的相对横向距离和相对横向速度;

第二处理模块,用于在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。

第三方面,本公开提供了一种基于单目图像的前车切入检测装置,包括:

第四方面,本公开提供了另一种基于单目图像的前车切入检测装置,包括:

第五方面,本公开提供了一种基于单目图像的前车切入检测设备,包括:

处理器;

存储器,用于存储可执行指令;

其中,处理器用于从存储器中读取可执行指令,并执行可执行指令以实现第一方面或第二方面的基于单目图像的前车切入检测方法。

第六方面,本公开提供了一种计算机可读存储介质,该存储介质存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现第一方面或第二方面的基于单目图像的前车切入检测方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点:

本公开实施例的基于单目图像的前车切入检测方法、装置、设备及介质,能够获取包括位于相邻车道的前车的检测框的连续的多帧目标检测图像,接着获取每帧目标检测图像中前车的检测框上的第一测距点,该第一测距点为前车的后端底边中心点,并针对每帧目标检测图像,基于第一测距点得到前车与自车对应的包括相对横向距离和相对横向速度的相对运动参数,最后在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势,由此,可以先通过第一测距点得到相对运动参数,即相对横向距离和相对横向速度,并接着在通过相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,获取更新后的第一测距点,最后通过更新后的第一测距点判断前车是否具有切入趋势,从而可以通过第一测距点和更新后的第一测距点对前车进行测距检测,进而提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

附图说明

结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。

图1为本公开实施例提供的一种基于单目图像的前车切入检测方法的流程示意图;

图2为本公开实施例提供的一种目标检测图像的结构示意图;

图3为本公开实施例提供的另一种基于单目图像的前车切入检测装置的结构示意图;

图4为本公开实施例提供的一种基于单目图像的前车切入检测设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

车辆在行驶中,需要时刻留意两侧车辆是否会进入当前行驶车道,从而影响车辆行驶安全,因此需要在行驶过程中对两侧车辆进行测距检测。

相关技术中,对两侧车辆进行测距检测时,只是根据两侧车辆的检测框底边中心作为测距点进行测距检测,当车辆在远处或者正前方时,检测框只包含车辆后端,不含侧边,检测框底边中心点就是车辆后端的中心点,测距结果不会有横向的偏差;而当车辆在两侧时,检测框不仅包含车辆后端,还包含车辆的侧面.如果继续使用检测框底边中心的作为测距点,那么受检测框中车辆侧面的影响,所得测距点就会比真实的车辆后端中心点更加靠近本车,产生靠近和切入的错觉,从而会出现误判断两侧车辆驶入当前行驶车道的情况,影响车辆行驶安全。

为了解决上述问题,本公开实施例提供了一种基于单目图像的前车切入检测方法、装置、设备及介质。下面结合图1对本公开实施例提供的基于单目图像的前车切入检测方法进行详细说明。

图1示出了本公开实施例提供的一种基于单目图像的前车切入检测方法的流程示意图。

在本公开实施例中,该基于单目图像的前车切入检测方法可以由电子设备执行。其中,电子设备可以包括但不限于诸如移动电话、车载设备、整车控制器、平板电脑、可穿戴设备等移动终端。

如图1所示,该基于单目图像的前车切入检测方法可以包括如下步骤。

S110、获取连续的多帧目标检测图像,目标检测图像包括位于相邻车道的前车的检测框。

在本公开实施例中,电子设备可以先获取连续的多帧目标检测图像。

可选地,目标检测图像可以通过对获取的道路图像进行目标检测(objectdetection,OD)后得到的检测图像。其中,目标检测可以为对获取的道路图像中的车辆进行识别并显示检测框的处理。其中,目标检测图像可以包括位于相邻车道的前车的检测框。

例如,包括有电子设备如车载设备的自车在道路行驶的过程中,可以通过如单目摄像头获取到前方连续的多帧道路图像,接着通过车载设备中的计算单元对该多帧道路图像进行目标检测(OD)和车道线检测(Lane)得到对应的连续的多帧目标检测图像,该多帧目标检测图像中可以包括位于相邻车道的前车的检测框,还可以包括对应的车道线等。

图2示出了本公开实施例提供的一种目标检测图像的结构示意图。

如图2所示,包括在相邻车道202上前车201对应的检测框,车道203为自车行驶车道,还包括对应的车道线。

S120、获取每帧目标检测图像中前车的检测框上的第一测距点,第一测距点为前车的后端底边中心点。

在本公开实施例中,电子设备在获取连续的多帧目标检测图像之后,可以获取每帧目标检测图像中前车的检测框上的第一测距点。

可选地,第一测距点可以为用于检测前车与自车之间距离的参照点。其中,第一测距点可以为前车的后端底边中心点。

例如,电子设备在得到连续的多帧目标检测图像之后,可以针对每帧目标检测图像,通过如BEV算法、IPM算法获取目标检测图像中前车的检测框上的第一测距点。具体实施方式在下文进行说明。

S130、针对每帧目标检测图像,基于第一测距点得到前车与自车对应的相对运动参数,相对运动参数包括前车的相对横向距离和相对横向速度。

在本公开实施例中,电子设备在获取每帧目标检测图像中前车的检测框上的第一测距点之后,可以针对每帧目标检测图像,基于对应的第一测距点得到前车与自车对应的相对运动参数。

可选地,相对运动参数可以为用于表征前车相对于自车的运动状态的参数。其中,相对运动参数可以包括相对横向距离和相对横向速度。

可选地,相对横向距离可以为以自车为圆心的空间坐标系中横坐标轴上前车的横向距离;相对横向速度可以为以自车为圆心的空间坐标系中横坐标轴上前车的横向速度。

具体地,电子设备可以针对每帧目标检测图像,通过均值、卡尔曼等滤波方法,对第一测距点进行平滑处理,得到前车与自车对应的前车的相对横向距离,继续根据相对横向距离和图像时间,计算得到对应的相对横向速度,从而得到对应的相对运动参数。

S140、在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。

在本公开实施例中,电子设备在得到每帧目标检测图像中的前车的相对横向距离和相对横向速度之后,可以在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。

可选地,前车具有靠近趋势可以为前车逐渐靠近自车的趋势。

可选地,三平面交点计算可以为用于计算新的第一测距点。

可选地,前车具有切入趋势可以为前车想从相邻车道进入自车行驶车道的趋势。

具体地,电子设备在得到每帧目标检测图像中前车的相对横向距离和相对横向速度之后,可以通过连续多帧目标检测图像的前车的相对横向距离和相对横向速度,在确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算,从而得到更新后的第一测距点,接着根据更新后的第一测距点确定前车是否具有切入趋势。

由此,在本公开实施例中,能够获取包括位于相邻车道的前车的检测框的连续的多帧目标检测图像,接着获取每帧目标检测图像中前车的检测框上的第一测距点,该第一测距点为前车的后端底边中心点,并针对每帧目标检测图像,基于第一测距点得到前车与自车对应的包括相对横向距离和相对横向速度的相对运动参数,最后在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势,由此,可以先通过第一测距点得到相对运动参数,即相对横向距离和相对横向速度,并接着在通过相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,获取更新后的第一测距点,最后通过更新后的第一测距点判断前车是否具有切入趋势,从而可以通过第一测距点和更新后的第一测距点对前车进行测距检测,进而提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

可选地,S120可以具体包括:计算每帧目标检测图像中前车的检测框上的目标端点坐标,目标端点坐标包括第一端点坐标和第二端点坐标,第一端点坐标为前车的检测框底边远离目标车道线的端点坐标,第二端点坐标为前车的检测框底边靠近目标车道线的端点坐标,目标车道线为自车与前车之间的车道线;计算第一端点坐标和第二端点坐标的横坐标差值,得到前车的检测框的第一宽度;通过第一端点坐标、第二端点坐标、第一宽度和第二宽度进行相似计算,得到前车的检测框上的第三端点坐标,第二宽度为前车的真实宽度;获取第三端点坐标与第一端点坐标的中心坐标,得到第一测距点的坐标。

在本公开实施例中,电子设备在获取多帧目标检测图像之后,可以先计算每帧目标检测图像中前车的检测框上的目标端点坐标。

可选地,目标端点坐标可以包括第一端点坐标和第二端点坐标。

可选地,第一端点坐标可以为前车的检测框底边远离目标车道线的端点坐标。

可选地,第二端点坐标可以为前车的检测框底边靠近目标车道线的端点坐标。

可选地,目标车道线可以为自车与前车之间的车道线。

继续参照图2,目标车道线204可以为前车201与自车之间的车道线,在前车201对应的检测框中,第一端点坐标可以为C点的坐标,第二端点坐标可以为D点的坐标。

具体地,电子设备可以先确定车道线的方向,并通过BEV算法分别计算出每帧目标检测图像中前车的检测框上第一端点坐标和第二端点坐标,其中,第一端点坐标可以为前车的检测框底边远离目标车道线的端点坐标,第二端点坐标可以为前车的检测框底边靠近目标车道线的端点坐标。

进一步地,电子设备在得到第一端点坐标和第二端点坐标之后,可以计算该第一端点坐标和第二端点坐标的横坐标差值,得到前车的检测框的第一宽度。

具体地,电子设备可以将第一端点坐标和第二端点坐标的横坐标进行相减,从而得到第一端点坐标和第二端点坐标之间的距离,即前车的检测框对应的第一宽度。

进一步地,电子设备可以通过第一端点坐标、第二端点坐标、第一宽度和第二宽度进行相似计算,得到前车的检测框上的第三端点坐标。

可选地,第二宽度可以为用于表征前车的真实宽度。

可选地,相似计算可以为通过相似关系进行计算。

继续参照图2,将第一宽度记为d1,将第二宽度记为d2,通过C点的坐标(第一端点坐标)、D点的坐标(第二端点坐标)、d1和d2,对应的相似关系可以表示为CF/CD=d2/d1=>CF=d2/d1*CD,从而可以得到检测框中F点的坐标,即第三端点坐标。

进一步地,电子设备在得到第三端点坐标之后,可以获取该第三端点坐标与第一端点坐标的中心坐标,从而得到第一测距点的坐标。

继续参照图2,电子设备在得到第三端点坐标,即F点的坐标之后,可以根据F点的坐标与C点的坐标,计算得到中心点N点的坐标,即第一测距点的坐标。相较于一般的C点和D点的中心点M点,N点更加准确,使用N点进行测距检测误差更小,N点更接近于车辆真实的后端底边中心点。

进一步地,电子设备在获取每帧目标检测图像中前车的检测框上的第一测距点之后,可以针对每帧目标检测图像,基于对应的第一测距点得到前车与自车对应的相对运动参数,即得到相对横向距离和相对横向速度。

由此,在本公开实施例中,能够提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

在一些实施例中,电子设备可以识别目标检测图像中前车的车辆类型;根据前车的车辆类型,确定对应的第二宽度。

在本公开实施例中,电子设备可以通过对目标检测图像进行图像识别,识别该目标检测图像中前车的车辆类型,例如前车为公交类型、小轿车类型、卡车类型等等。

进一步地,电子设备可以根据识别出的前车的车辆类型确定该前车的对应的第二宽度,即对应的真实宽度,如前车为小轿车类型时,第二宽度可以为1.6m、前车为公交类型时,第二宽度可以为5m等,此处不作限定。

进一步地,电子设备可以通过第一端点坐标、第二端点坐标、第一宽度和第二宽度进行相似计算,得到前车的检测框上的第三端点坐标。

可选地,相对运动参数还可以包括前车的相对纵向距离和相对纵向速度。

可选地,相对纵向距离可以为以自车为圆心的空间坐标系中纵坐标轴上前车的纵向距离;相对纵向速度可以为以自车为圆心的空间坐标系中横坐标轴上前车的纵向速度。

其中,电子设备可以针对每帧目标检测图像,通过均值、卡尔曼等滤波方法,对第一测距点进行平滑处理,得到前车与自车对应的前车的相对纵向距离,继续根据相对纵向距离和图像时间,计算得到对应的相对纵向速度,从而得到对应的相对运动参数。

在本公开一些实施例中,电子设备还可以获取前车与自车的相对纵向距离和相对纵向速度,当前车相对纵向距离和相对纵向速度较大时,此时前车与自车之间的真实距离也较大,则电子设备可以不需要进行进一步地的测距检测,此时前车对本车危害较小。

在本公开另一些实施例中,当前车相对纵向距离和相对纵向速度较小时,此时电子设备需要对前车的相对横向距离和相对横向速度进行进一步地判断,电子设备根据连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况。

可选地,S140可以具体包括:在第三端点坐标未超过目标车道线的情况下,若相对横向距离逐渐变小且相对横向速度不为零,则确定前车具有靠近趋势,第三端点坐标为前车后端底边端点坐标;在第三端点坐标超过目标车道线的情况下,确定前车具有靠近趋势。

在本公开一些实施例中,电子设备在得到每帧目标检测图像的前车的相对横向距离和相对横向速度之后,在第三端点坐标未超过目标车道线的情况下,如果该相对横向距离逐渐变小且相对横向速度不为零,则确定前车具有靠近趋势。

可选地,第三端点坐标可以为前车后端底边端点坐标。

继续参照图2,第三端点坐标可以为F点的坐标,电子设备需要先确定该F点的坐标未超过目标车道线204,接着在连续多帧目标检测图像中前车201的相对横向距离在逐渐变小,如连续三帧目标检测图像中前车201的相对横向距离在逐渐变小且前车201的相对横向速度不为零,电子设备可以确定此时前车201具有靠近趋势。

具体地,电子设备在确定前车的检测框上第三端点坐标没有超过目标车道线时,此时电子设备可以继续对前车的相对横向距离和相对横向速度进行判断,如果此时前车的相对横向距离连续多帧在逐渐变小并且前车的相对横向速度不为零,则可以确定前车具有靠近趋势。同理,若前车的相对横向距离连续多帧不逐渐变小,或者前车的相对横向速度为零,则可以确定前车不具有靠近趋势。

在本公开另一些实施例中,电子设备在得到每帧目标检测图像的前车的相对横向距离和相对横向速度之后,如果确定第三端点坐标超过目标车道线的情况下,确定前车具有靠近趋势。

继续参照图2,第三端点坐标可以为F点的坐标,如果电子设备确定该F点的坐标超过目标车道线204时,此处电子设备可以确定前车具有靠近趋势。

具体地,当电子设备确定前车的检测框上第三端点坐标已经超过目标车道线时,此处电子设备不需要再判断前车的相对横向距离和相对横向速度,则可以确定前车具有靠近趋势。

由此,在本公开实施例中,电子设备可以通过第三端点坐标、相对横向距离和相对横向速度综合判断前车是否具有靠近趋势,能够提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

在一些示例中,电子设备在确定前车具有靠近趋势后,需要对第一测距点进行更新,下面进行详细说明。

可选地,S140还可以包括:基于单目深度估计算法,得到深度图像;获取深度图像中前车的侧平面方程和后平面方程;计算侧平面方程、后平面方程和地平面方程的交点,得到更新后的第一测距点。

在本公开实施例中,电子设备在确定前车具有靠近趋势后,可以基于单目深度估计算法,得到目标检测图像的深度图像。

例如,单目深度估计算法可以为MonoDepth2,DPT,Midas算法等,此处不作限定。

具体地,电子设备对每连续的两帧目标检测图像,基于单目深度估计算法,生成对应的深度图像,通过深度图像对应的点云拟合出对应的地平面方程。

例如,地平面方程可以为表示为ax+by+cz+d=0。

进一步地,电子设备对该深度图像中的相机高度进行计算。

其中,对应的计算公式为:

其中,h1代表相机高度。

可选地,电子设备可以通过先验相机高度信息h0和相机高度h1计算对应的点云尺度。其中,点云尺度用于表示深度图像中长度与真实长度之间的比例关系。

进一步地,电子设备可以根据对应的点云获取深度图像中前车的侧平面方程和后平面方程。即获取如图2中ADFG平面和BCFG平面对应的方程。其中,侧平面方程和后平面方程与地平面方程相似,此处不作限定。

进一步地,电子设备可以计算侧平面方程、后平面方程和地平面方程的交点,从而得到更新后的第一测距点,该更新后的第一测距点相较与第一测距点,并没有使用前车的真实宽度信息,即第二宽度,所以更新后的第一测距点更加准确,从而使得测距检测更加准确。

可选地,S140还可以具体包括:在更新后的第一测距点超过目标车道线的情况下,确定前车具有切入趋势。

在本公开实施例中,电子设备在得到更新后的第一测距点之后,如果该更新后的第一测距点超过目标车道线,则电子设备可以确定前车具有切入趋势。

可选地,电子设备在确定前车具有切入趋势之后,可以及时作出对应的响应操作,例如控制车辆的制动系统进行减速,通过声音灯光等提示驾驶人员注意等等,此处不作限定。

图3示出了本公开实施例提供的一种基于单目图像的前车切入检测装置的结构示意图。

如图3所示,该基于单目图像的前车切入检测装置300可以包括第一获取模块310、第二获取模块320、第一处理模块330和第二处理模块340。

该第一获取模块310可以用于获取连续的多帧目标检测图像,目标检测图像包括位于相邻车道的前车的检测框。

该第二获取模块320可以用于获取每帧目标检测图像中前车的检测框上的第一测距点,第一测距点为前车的后端底边中心点。

该第一处理模块330可以用于针对每帧目标检测图像,基于第一测距点得到前车与自车对应的相对运动参数,相对运动参数包括前车的相对横向距离和相对横向速度。

该第二处理模块340可以用于在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势。

由此,在本公开实施例中,能够获取包括位于相邻车道的前车的检测框的连续的多帧目标检测图像,接着获取每帧目标检测图像中前车的检测框上的第一测距点,该第一测距点为前车的后端底边中心点,并针对每帧目标检测图像,基于第一测距点得到前车与自车对应的包括相对横向距离和相对横向速度的相对运动参数,最后在基于连续多帧目标检测图像对应的相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,对多帧目标检测图像中每连续的两帧目标检测图像进行三平面交点计算得到更新后的第一测距点,并基于更新后的第一测距点确定前车是否具有切入趋势,由此,可以先通过第一测距点得到相对运动参数,即相对横向距离和相对横向速度,并接着在通过相对横向距离和相对横向速度确定前车具有靠近趋势的情况下,获取更新后的第一测距点,最后通过更新后的第一测距点判断前车是否具有切入趋势,从而可以通过第一测距点和更新后的第一测距点对前车进行测距检测,进而提高测距检测准确性,减少测距检测误差,提高车辆行驶安全。

在本公开一些实施例中,该第二获取模块320可以包括第一计算单元、第二计算单元、第三计算单元和第一获取单元。

该第一计算单元可以用于计算每帧目标检测图像中前车的检测框上的目标端点坐标,目标端点坐标包括第一端点坐标和第二端点坐标,第一端点坐标为前车的检测框底边远离目标车道线的端点坐标,第二端点坐标为前车的检测框底边靠近目标车道线的端点坐标,目标车道线为自车与前车之间的车道线。

该第二计算单元可以用于计算第一端点坐标和第二端点坐标的横坐标差值,得到前车的检测框的第一宽度。

该第三计算单元可以用于通过第一端点坐标、第二端点坐标、第一宽度和第二宽度进行相似计算,得到前车的检测框上的第三端点坐标,第二宽度为前车的真实宽度。

该第一获取单元可以用于获取第三端点坐标与第一端点坐标的中心坐标,得到第一测距点的坐标。

在本公开一些实施例中,该基于单目图像的前车切入检测装置300可以包括车辆识别模块和宽度确定模块。

该车辆识别模块可以用于识别目标检测图像中前车的车辆类型。

该宽度确定模块可以用于根据前车的车辆类型,确定对应的第二宽度。

在本公开一些实施例中,相对运动参数还可以包括前车的相对纵向距离和相对纵向速度。

在本公开一些实施例中,该第二处理模块340可以包括第一确定单元和第二确定单元。

该第一确定单元可以用于在第三端点坐标未超过目标车道线的情况下,若相对横向距离逐渐变小且相对横向速度不为零,则确定前车具有靠近趋势,第三端点坐标为前车后端底边端点坐标。

该第二确定单元可以用于在第三端点坐标超过目标车道线的情况下,确定前车具有靠近趋势。

在本公开一些实施例中,该第二处理模块340还可以包括深度估计单元、第二获取单元和第四计算单元。

该深度估计单元可以用于基于单目深度估计算法,得到深度图像。

该第二获取单元可以用于获取深度图像中前车的侧平面方程和后平面方程。

该第四计算单元可以用于计算侧平面方程、后平面方程和地平面方程的交点,得到更新后的第一测距点。

在本公开一些实施例中,该第二处理模块340还可以包括第三确定单元。

该第三确定单元可以用于在更新后的第一测距点超过目标车道线的情况下,确定前车具有切入趋势。

需要说明的是,图3所示的基于单目图像的前车切入检测装置300可以执行图1所示的方法实施例中的各个步骤,并且实现图1所示的方法实施例中的各个过程和效果,在此不做赘述。

图4示出了本公开实施例提供的一种基于单目图像的前车切入检测设备的结构示意图。

在本公开一些实施例中,图4所示的基于单目图像的前车切入检测设备可以为用户想要进行基于单目图像的前车切入检测的电子设备。具体地,该电子设备可以包括但不限于诸如移动电话、车载设备、整车控制器、平板电脑、可穿戴设备、智能家居设备等移动终端。

如图4所示,该基于单目图像的前车切入检测设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地,上述处理器401可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器402可以包括用于信息或指令的大容量存储器。举例来说而非限制,存储器402可以包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个及其以上这些的组合。在合适的情况下,存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器402可在综合网关设备的内部或外部。在特定实施例中,存储器402是非易失性固态存储器。在特定实施例中,存储器402包括只读存储器(Read-Only Memory,ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Electrical Programmable ROM,EPROM)、电可擦除PROM(Electrically ErasableProgrammable ROM,EEPROM)、电可改写ROM(Electrically Alterable ROM,EAROM)或闪存,或者两个或及其以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令,以执行本公开实施例所提供的基于单目图像的前车切入检测方法的步骤。

在一个示例中,该基于单目图像的前车切入检测设备还可包括收发器403和总线404。其中,如图4所示,处理器401、存储器402和收发器403通过总线404连接并完成相互间的通信。

总线404包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(ExtendedIndustry Standard Architecture,EISA)总线、前端总线(Front Side BUS,FSB)、超传输(Hyper Transport,HT)互连、工业标准架构(Industrial Standard Architecture,ISA)总线、无限带宽互连、低引脚数(Low Pin Count,LPC)总线、存储器总线、微信道架构(MicroChannel Architecture,MCA)总线、外围控件互连(Peripheral Component Interconnect,PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment,SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus,VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线404可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。

本公开实施例还提供了一种计算机可读存储介质,该存储介质可以存储有计算机程序,当计算机程序被处理器执行时,使得处理器实现本公开实施例所提供的基于单目图像的前车切入检测方法。

上述的存储介质可以例如包括计算机程序指令的存储器402,上述指令可由基于单目图像的前车切入检测设备的处理器401执行以完成本公开实施例所提供的基于单目图像的前车切入检测方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(Random Access Memory,RAM)、光盘只读存储器(Compact Disc ROM,CD-ROM)、磁带、软盘和光基于单目图像的前车切入检测设备等。

需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号