首页> 中国专利> 带有用于车底危险和外来物体检测的先进车辆相机系统的智能车辆

带有用于车底危险和外来物体检测的先进车辆相机系统的智能车辆

摘要

带有用于车底危险和外来物体检测的先进车辆相机系统的智能车辆。用于操作机动车辆的先进驾驶辅助(ADAS)系统的方法包括:车辆控制器从安装到车辆的侧相机和端部相机接收相机信号。控制器确定感兴趣区域(ROI)。分析这些ROI以检测外来物体和/或危险是否存在于车辆的端部和/或侧视图中。响应于检测到外来物体/危险,跟踪外来物体/危险的移动以确定外来物体/危险是否朝向或远离车辆的车底区域移动。如果外来物体/危险移动到车底区域,向车辆的推进系统和/或转向系统传输控制信号,以自动采取防止车辆与外来物体/危险发生碰撞和/或从车底移除外来物体/危险的预防性动作。

著录项

  • 公开/公告号CN113212427A

    专利类型发明专利

  • 公开/公告日2021-08-06

    原文格式PDF

  • 申请/专利号CN202110146919.1

  • 申请日2021-02-03

  • 分类号B60W30/08(20120101);B60W30/09(20120101);B60W50/14(20200101);B60W10/04(20060101);B60W10/18(20120101);B60W10/20(20060101);H04N7/18(20060101);H04N5/247(20060101);

  • 代理机构72001 中国专利代理(香港)有限公司;

  • 代理人邓雪萌;王丽辉

  • 地址 美国密执安州

  • 入库时间 2023-06-19 12:08:44

说明书

技术领域

本公开总体上涉及机动车辆的自动控制系统。更具体地,本公开的方面涉及带有用于自动进行车底危险检测和外来物体保护的控制逻辑的电驱动车辆。

背景技术

当前生产的机动车辆,诸如当今的汽车,初始配备有动力总成,该动力总成操作以推进车辆并为车辆的车载电子器件供电。例如,在汽车应用中,车辆动力总成通常以原动机为代表,该原动机通过自动或手动换挡的动力传输将驱动力传递到车辆的主减速器系统(例如,差速器、半轴、行驶轮等)。历史上,汽车一直由往复活塞式内燃机(ICE)组件提供动力,这是因为其容易可得和相对低廉的成本、重量轻、且整体效率高。作为一些非限制性示例,这样的发动机包括压缩点火(CI)柴油发动机,火花点火(SI)汽油发动机,二冲程、四冲程、和六冲程架构,以及旋转式发动机。另一方面,混合动力电动和全电动(“电驱动”)车辆利用替代的动力源以推进车辆,并因此最小化或消除了为牵引力而对基于化石燃料的发动机的依赖。

俗称为“电动车”的全电动车辆(FEV)是电驱动车辆配置的类型,其完全从动力总成系统移除了内燃机和附随外围部件,仅依靠电牵引电动机用于推进并用于支持附件负载。基于ICE的车辆的发动机组件、燃料供应系统、和排放系统被FEV中的单个或多个牵引电动机、备用牵引电池、以及电池冷却和充电硬件所取代。相比之下,混合动力电动车辆(HEV)动力总成采用多个牵引动力源以推进车辆,最常见的是结合电池动力或燃料电池动力的牵引电动机操作内燃机组件。由于混合动力型电驱动车辆能够从发动机以外的源得到其动力,在由电动机推进车辆时,混合动力电动车发动机可全部或部分地关闭。

高压电气系统管理在牵引电动机与可再充电牵引电池组(也称为“电动车辆电池”)之间的电力转移,该牵引电池组储存并供应用于操作电驱动动力总成需要的电力。牵引电池组包含多个组的单电池,其包封到单独的电池模块中并储存在电池组壳体内侧。一些车辆电池系统采用多个独立可操作的高压电池组,以通过增加的安培小时数来提供较高的电压传递和较大的系统容量。车辆的电气系统可采用前端DC-DC功率转换器,其电连接到车辆的牵引电池组,以便增加对高压主直流(DC)总线和电子功率逆变器模块(PIM)的电压供应。多相电机(诸如永磁同步牵引电动机)的操作和控制可通过使用输出自电池组控制模块(BPCM)的脉宽调制控制信号,利用PIM以将DC电力转换为交流(AC)电力完成。

随着混合动力和电动车辆变得越来越普及,正在开发和部署基础设施以使这样的车辆的日常使用变得可行和方便。用于电驱动车辆再充电的电动车辆供应设备(EVSE)以许多形式出现,包括由车辆所有者购买和操作的住宅电动车辆充电站(EVCS)(例如,安装在所有者的车库中),由公用事业部门或私人零售商提供的公众可及的EVCS(例如,在加油站或市政充电设施处),以及由汽车制造商、经销商、和服务站使用的复杂的高电压、强电流充电站。初始配备有车载牵引电池组的插入式混合动力和电动车辆,例如,可通过将EVCS的充电电缆物理连接到车辆的互补充电端口进行再充电。相较而言,无线电动车辆充电系统(WEVCS)利用电磁场(EMF)感应或其他合适的无线电力传输(WPT)技术以为车辆提供充电能力而不需要充电电缆和电缆端口。不言而喻的是,大规模的车辆电气化继而需要随之建设方便可及的充电基础设施,以既在城市又在乡村的场景下支持用于短距离和长距离车辆续航能力的日常车辆使用。

发明内容

本文中提出了用于车底危险和物体检测的带有辅助控制逻辑和联网的车身上车辆相机的智能车辆系统,用于制造这样的系统的方法和用于使用这样的系统的方法,以及配备有这样的系统以优化自主驾驶和/或无线车辆充电的电驱动车辆。以示例的方式,提出了带有车辆安装的高清(HD)相机的先进停车辅助(APA)系统,这些相机独立地操作,或者如果期望的话与其他车辆传感器和/或基于基础设施的相机结合操作,以获取车辆的车底和驾驶表面的实时透视视图数据。这使得能够对车底的危险和(有生命的或无生命的)外来物体进行检测,以警示驾驶员并自动采取预防性措施以保护车辆和物体。车内全球定位系统(GPS)收发器可检索关于车辆和目标元素(诸如EMF无线充电板)的实时位置的GPS坐标数据。另外,常驻(resident)短程通信部件可与WEVCS无线连接,以确定充电站可用性和兼容性,采用充电和通信协议,以及选择服务、对准、和配对设置。专用或共享的车辆控制器得出路径规划数据,用于操纵车辆到目标元素的目标标记并使预定车辆段与目标元素的目标标记随之对准。使用前述信息,车辆控制器或控制模块的分布式网络或子系统控制器在闭环控制方案中经由车辆的推进、转向、和制动系统管理车辆的速度、前进方向、和行驶距离,以使得能够进行有生命物体保护(LOP)以及车底危险检测和避免。

所公开的构思中的至少一些的辅助优点包括新颖的车辆系统架构,其使得能够进行准确而有效率的车底危险和外来物体检测。先进的基于视觉的APA系统能够监视、识别、和确定车底外来物体和危险的精确位置、形状、和大小数据,并自动执行改善措施以保护车辆和物体。对于无线充电应用,公开的特征帮助优化充电效率,并维持高水平的整体系统鲁棒性。公开的先进驾驶辅助系统消除了在自动驾驶操作期间对用于准确的车底检测和保护的专用传感器、视频处理模块、和硬件加速器的需要。

本公开的方面涉及带有辅助控制逻辑的先进驾驶辅助系统(ADAS),其用于基于相机的车底危险和外来物体检测,例如,用于智能停车辅助和优化的无线车辆充电。在示例中,提出了车辆ADAS系统,该系统包括:一个或多个(前/后)端部相机,其每个安装在靠近车身的相应端部;一个或多个(左/右)侧相机,其每个安装在靠近车身的相应横向侧;以及可选的车底相机,其安装在靠近车身的底盘。每个端部相机可操作以捕获车辆的实时车外面向的向前或向后端部视图,而每个侧相机可操作以捕获车辆的实时车外面向的向左或向右侧视图,并且车底相机可操作以捕获实时车外面向的向下视图。

APA系统采用常驻或远程车辆控制器,其通信地连接到相机以从相机接收相机生成的信号,该信号指示车辆的端部、侧、以及(可选的)底盘视图的实时图像。控制器确定相应的感兴趣区域(ROI),该ROI嵌入其中预期存在外来物体和/或危险的车外面向的车辆视图的每个内。分析这些ROI,以检测外来物体和/或危险是否存在于车辆的车外面向的端部和/或侧视图中。响应于检测到外来物体/危险,控制器跟踪外来物体/危险相对于车辆的移动,以确定外来物体/危险是否朝向或远离车辆的车底区域移动。响应于在车辆的车底区域中检测到外来物体/危险或者以其他方式外来物体/危险移动到车辆的车底区域中,向驾驶员传输警示和/或向车辆的推进、转向、和/或制动系统传输控制信号,以采取校准以防止车辆与外来物体/危险发生碰撞和/或从车底区域移除外来物体/危险的预防性动作。

本公开的额外方面涉及配备有智能车辆系统的车辆,该智能车辆系统提供基于相机的车底危险和外来物体检测。如本文中使用的,术语“车辆”和“机动车辆”可互换且同义地使用以包括任何相关的车辆平台,诸如乘用车辆(ICE、HEV、FEV、燃料电池、完全和部分自主的等)、商用车辆、工业车辆、履带车辆、越野和全地形车(ATV)、摩托车、农用设备、船舶、飞机等。出于本公开的目的,术语“自动”和“自主”可同义且可互换地使用以表示带有辅助和/或全自主驾驶能力的车辆,包括可归类为Society of Automotive Engineers(SAE)2、3、4或5级车辆的车辆平台。

在示例中,电驱动机动车辆包括带有多个行驶轮和其他标准初始设备的车身。车辆推进和动力总成系统(例如,发动机和/或电动机、变速器、主减速器、动力总成控制模块(PCM)等)、车辆制动系统(例如,盘式/鼓式制动器、液压装置、制动系统控制模块(BSCM)等)、转向系统(例如,线控驱动框架)和传感设备网络(例如,雷达、LIDAR、红外、相机、GPS、自动系统控制模块(ASCM)等),也安装到车身。对于电驱动车辆应用,一个或多个电牵引电动机单独操作(例如,对于FEV动力总成)或与内燃机组件结合操作(例如,对于HEV动力总成),以选择地驱动一个或多个行驶轮以由此推进车辆。还安装在车身上的是一个或多个可再充电牵引电池组,其选择地储存和传输电流以为牵引电动机供电。无线充电部件也安装到车身并电连接到电池组,该无线充电部件与无线电动车辆供应设备(WEVSE)系统的无线充电板可操作地联接,以由此生成电流。

继续以上示例的讨论,车辆还包括分别安装在靠近车身的前端部和后端部的前相机和后相机,分别安装在靠近车身的左横向侧和右横向侧的左侧相机和右侧相机,以及操作地连接到相机的分布式网络和无线充电部件的车辆控制器。车辆控制器编程为以从车身上车辆相机接收相机信号,该相机信号指示车辆的车外面向的向前、向后、向左和向右视图的实时图像的;并确定相应的感兴趣区域,该感兴趣区域嵌入在预期存在外来物体和/或危险的每个视图内。分析每个ROI以检测外来物体和/或危险是否存在于车辆视图的一个中;响应于检测到外来物体/危险,控制器跟踪外来物体/危险的移动,以确定外来物体/危险是否朝向或远离车辆的车底区域移动。如果外来物体/危险移动到车身的下部区域,控制器向驾驶员传输警示并向车辆的推进系统和/或转向系统传输控制信号,以采取校准以防止车辆与外来物体/危险发生碰撞和/或从车底区域移除外来物体/危险的预防性动作。

本文中还提出了用于制造和用于操作任何公开的电驱动车辆和/或ADAS系统架构的方法。在示例中,提出了用于操作机动车辆的ADAS系统的方法。该代表性方法包括,以任何顺序地并在与上文和下文公开的任何选项和特征的任何组合中:经由ADAS系统的车辆控制器从安装在靠近车辆的车身的前端部或后端部的端部相机接收相机信号,该相机信号指示车辆的车外面向的向前或向后端部视图的实时图像;经由车辆控制器从安装在靠近车身的左或右横向侧的侧相机接收相机信号,该相机信号指示车辆的车外面向的向左或向右侧视图的实时图像;确定相应的感兴趣区域(ROI),该ROI嵌入其中预期存在外来物体和/或危险的车外面向的端部和侧视图中的每个内;分析ROI以检测外来物体和/或危险是否存在于车辆的车外面向的端部视图和/或车外面向的侧视图中;响应于检测到外来物体/危险,跟踪外来物体/危险的移动以确定外来物体/危险是否朝向或远离车辆的车底区域移动;并且向驾驶员传输警示和/或向推进系统和/或转向系统传输控制信号,以采取校准以防止车辆与外来物体/危险发生碰撞和/或从车底区域移除外来物体/危险的预防性动作。

本发明还提供了以下技术方案:

1. 用于车辆的先进驾驶辅助(ADAS)系统,所述车辆具有车身,所述车身带有相对的前端部和后端部、相对的左侧和右侧、转向系统、和推进系统,所述ADAS系统包括:

端部相机,所述端部相机配置为安装在靠近所述车身的所述端部中的一个,捕获所述车辆的车外面向的端部视图,并生成指示所述端部视图的信号;

侧相机,所述侧相机配置为安装在靠近所述车身的所述侧中的一个,捕获所述车辆的车外面向的侧视图,并生成指示所述侧视图的信号;和

操作地连接到所述端部相机和所述侧相机的车辆控制器,所述车辆控制器编程为:

从所述端部相机和所述侧相机接收相机信号,所述相机信号指示所述车辆的所述车外面向的端部视图和侧视图的实时图像;

定义相应的感兴趣区域(ROI),所述ROI嵌入其中预期存在外来物体和/或危险的所述车外面向的端部视图和侧视图的每个内;

分析所述ROI,以检测所述外来物体和/或危险是否存在于所述车辆的所述车外面向的端视图和/或车外面向的侧视图中;

响应于检测到所述外来物体/危险,跟踪所述外来物体/危险的移动,以确定所述外来物体/危险是否朝向或远离所述车辆的车底区域移动;并且

向驾驶员传输警示并向所述推进系统和/或转向系统传输控制信号,以采取校准以防止所述车辆与所述外来物体/危险发生碰撞和/或从所述车底区域移除所述外来物体/危险的预防性动作。

2. 根据技术方案1所述的ADAS系统,其中,所述侧相机包括左侧相机和右侧相机,所述左侧相机配置为安装在靠近所述车身的所述左侧并捕获所述车辆的车外面向的向左视图,并且所述右侧相机配置为安装在靠近所述车身的所述右侧并捕获所述车辆的车外面向的向右视图。

3. 根据技术方案2所述的ADAS系统,其中,所述端部相机包括前相机和后相机,所述前相机配置为安装在靠近所述车身的所述前端部并捕获所述车辆的车外面向的向前视图,并且所述后端部相机配置为安装在靠近所述车身的所述后端部并捕获所述车辆的车外面向的向后视图。

4. 根据技术方案3所述的ADAS系统,其中,经由所述车辆控制器跟踪所述外来物体和/或危险的所述移动是响应于在向左、向右、向前和向后视图中的任何一个中检测到所述外来物体和/或危险。

5. 根据技术方案3所述的ADAS系统,其中,经由所述车辆控制器跟踪所述外来物体和/或危险的所述移动是响应于在向左、向右、向前和向后视图中的所有中检测到所述外来物体和/或危险。

6. 根据技术方案1所述的ADAS系统,还包括车底相机,所述车底相机配置为靠近所述车身的底盘安装到所述车身,捕获所述车辆的车外面向的向下视图,并生成指示所述向下视图的信号。

7. 根据技术方案6所述的ADAS系统,其中,所述车辆控制器还编程为响应于在所述车辆的所述端部视图和侧视图的所述ROI的任何中检测到所述外来物体和/或危险,分析所述车底相机的向下面向的视图,以确定所述外来物体和/或危险是否位于所述车辆的所述车底区域中。

8. 根据技术方案7所述的ADAS系统,其中,所述车辆控制器还编程为响应于在所述端部视图和侧视图的所述ROI的任何中检测到所述外来物体和/或危险,确定所述外来物体和/或危险是否已经随后从所述ROI消失,其中分析所述车底相机的所述向下面向的视图是响应于所述外来物体和/或危险从所有所述ROI消失。

9. 根据技术方案1所述的ADAS系统,其中,经由所述车辆控制器分析所述ROI以检测在所述车外面向的端部视图和/或车外面向的侧视图中是否存在所述外来物体包括,就多个指定外来物体中的任何扫描所述实时图像,每个所述指定外来物体具有预定目标标记,包括形状、大小、颜色、面部、眼睛、和/或行为模式。

10. 根据技术方案9所述的ADAS系统,还包括存储器设备,所述存储器设备操作地连接到所述车辆控制器,并且在所述存储器设备中储存带有与所述指定外来物体相关联的所述预定目标标记的查找表,其中,所述预定目标标记是经由训练的神经网络得出的,所述车辆控制器还编程为在分析所述ROI之前从所述存储器设备从所述查找表检索所述预定目标标记。

11. 根据技术方案1所述的ADAS系统,其中,定义相应的ROI包括,具体到所述车辆,基于所述车辆的品牌/型号、所述相机的相应安装位置、和/或围绕所述车辆的预定义保护区域校准所述ROI。

12. 根据技术方案1所述的ADAS系统,其中,所述车辆控制器还编程为:

响应于检测到所述外来物体,为所述外来物体分配索引标识(ID)和开始位置;并且

通过就所述索引ID相对于所述开始位置的扫描,在所述车辆的所述车外面向的端部视图和侧视图的所述实时图像的随后帧中监视所述外来物体。

13. 根据技术方案12所述的ADAS系统,还包括车底相机,所述车底相机配置为靠近所述车身的底盘安装到所述车身并捕获所述车辆的向下面向的视图,其中所述车辆控制器还编程为:

确定所述外来物体在所述车外面向的端部视图和侧视图的所述实时图像中是否从所述随后帧消失;并且

响应于所述外来物体从所述随后帧消失,分析由所述车底相机捕获的实时图像,以检测所述外来物体是否存在于所述车辆的所述向下面向的视图中。

14. 电驱动车辆,包括:

车身,所述车身带有附接到所述车身的多个行驶轮;

牵引电动机,所述牵引电动机安装到所述车身并配置为驱动所述行驶轮中的一个或多个以由此推进所述车辆;

牵引电池组,所述牵引电池组安装到所述车身并配置为与所述牵引电动机交换电流;

无线充电部件,所述无线充电部件安装到所述车身,电连接到所述牵引电池组,并配置为与无线电动车辆供应设备(WEVSE)系统的无线充电板可操作地联接,以由此生成电流;

前相机和后相机,所述前相机和后相机分别安装在靠近所述车身的前端部和后端部,并且配置为捕获所述车辆的车外面向的向前视图和向后视图;

左侧相机和右侧相机,所述左侧相机和右侧相机分别安装在靠近所述车身的左横向侧和右横向侧,并配置为捕获所述车辆的车外面向的向左视图和向右视图;和

车辆控制器,所述车辆控制器操作地连接到所述前相机、所述后相机、所述左侧相机和所述右侧相机和所述无线充电部件,所述车辆控制器编程为:

从所述前相机、所述后相机、所述左侧相机和所述右侧相机接收相机信号,所述相机信号指示所述车辆的所述车外面向的向前、向后、向左和向右视图的实时图像;

确定相应的感兴趣区域(ROI),所述ROI嵌入其中预期存在外来物体和/或危险的所述车外面向的视图的每个内;

分析所述ROI,以检测所述外来物体和/或危险是否存在于所述车辆的所述车外面向的端部视图中;

响应于检测到所述外来物体/危险,跟踪所述外来物体/危险的移动,以确定所述外来物体/危险是否朝向或远离所述车辆的车底区域移动;并且

向驾驶员传输警示并向推进系统和/或转向系统控制模块传输控制信号,以采取校准以防止所述车辆与所述外来物体/危险发生碰撞和/或所述从车底区域移除所述外来物体/危险的预防性动作。

15. 用于操作车辆的先进驾驶辅助(ADAS)系统的方法,所述车辆包括推进系统和转向系统,所述方法包括:

经由所述ADAS系统的车辆控制器从安装在靠近所述车辆的车身的前端部或后端部的端部相机接收相机信号,所述相机信号指示所述车辆的车外面向的向前或向后端部视图的实时图像;

经由所述车辆控制器从安装在靠近所述车身的左或右横向侧的侧相机接收相机信号,所述相机信号指示所述车辆的车外面向的向左或向右侧视图的实时图像;

确定相应的感兴趣区域(ROI),所述ROI嵌入其中预期存在外来物体和/或危险的所述车外面向的端部视图和侧视图中的每个内;

分析所述ROI以检测所述外来物体和/或危险是否存在于所述车辆的所述车外面向的端部视图和/或车外面向的侧视图中;

响应于检测到所述外来物体/危险,跟踪所述外来物体/危险的移动以确定所述外来物体/危险是否朝向或远离所述车辆的车底区域移动;并且

向驾驶员传输警示和/或向所述推进系统和/或转向系统传输控制信号,以采取校准以防止所述车辆与所述外来物体/危险发生碰撞和/或从所述车底区域移除所述外来物体/危险的预防性动作。

16. 根据技术方案15所述的方法,其中,所述侧相机包括分别安装在靠近所述车身的所述左横向侧和右横向侧的左侧相机和右侧相机,并且所述端部相机包括安装在靠近所述车身的所述前端部和后端部的前相机和后相机,其中跟踪所述外来物体和/或危险的移动是响应于在向左、向右、向前和向后视图中的任何一个中检测到所述外来物体和/或危险。

17. 根据技术方案16所述的方法,其中,所述ADAS还包括车底相机,所述车底相机安装在靠近所述车身的底盘并配置为捕获所述车辆的车外面向的向下视图,所述方法还包括响应于在所述车辆的所述端部视图和侧视图的任何所述ROI中检测到所述外来物体和/或危险,分析所述车底相机的向下面向的视图,以确定所述外来物体和/或危险是否位于所述车辆的所述车底区域中。

18. 根据技术方案17所述的方法,还包括响应于在所述端部视图和侧视图的任何所述ROI中检测到所述外来物体和/或危险,确定所述外来物体和/或危险是否已经随后从所述ROI消失,其中分析所述车底相机的所述向下面向的视图是响应于所述外来物体和/或危险从所有所述ROI消失。

19. 根据技术方案15所述的方法,其中,所述定义相应的ROI包括,具体到所述车辆,基于所述车辆的品牌/型号、所述相机的相应安装位置、和/或围绕所述车辆的预定义保护区域校准所述ROI。

20. 根据技术方案15所述的方法,还包括::

响应于检测到所述外来物体,为所述外来物体分配索引ID和开始位置;并且

通过就所述索引ID相对于所述开始位置的扫描,在所述车辆的所述车外面向的端部视图和侧视图的所述实时图像中,在随后帧中监视所述外来物体。

以上发明内容并不代表本公开的所以实施例或所有方面。相反,当结合附图和所附权利要求考虑时,根据用于实施本公开的说明性示例和模式的以下详细描述,本公开的上述特征和优点以及其他特征和伴随的优点将变得显而易见。此外,本公开明确地包括上文和下文提出的元件和特征的任何及全部组合和子组合。

附图说明

图1是根据本公开的方面的,配备有有线和无线充电能力二者的并且可操作地联接到代表性电动车辆充电站的代表性机动车辆的部分示意性侧视图。

图2是根据本公开的方面的,用于提供基于视觉的车底危险及外来物体检测和保护的代表性先进驾驶辅助系统(ADAS)架构的示意图。

图3呈现了根据本公开的方面的,由高清车身上前、左侧、右侧和车底相机捕获的机动车辆的向前面向、侧面向、和向下面向的透视视图。

图4是根据公开的构思的方面的,示出了示例基于视觉的车辆对准协议的流程图,其带有车底外来物体检测和自动停车辅助,用于优化无线车辆充电,该协议可对应于由车载或远程控制器、控制逻辑电路、可编程电子控制单元、或其他集成电路(IC)设备或IC设备的网络执行的存储器储存的指令。

图5是根据公开是构思的方面的,示出了示例基于视觉的先进驾驶辅助协议的流程图,其带有车底危险检测,用于自动进行预防性车辆驾驶和驾驶员警示,该协议可对应于由车载或远程控制器、控制逻辑电路、可编程电子控制单元、或其他集成电路(IC)设备或IC设备的网络执行的存储器储存的指令。

具体实施方式

本公开容易具有多种修改和替代形式,并且一些代表性实施例以示例的方式在附图中示出并且将在下文详细描述。然而,应当理解,本公开的新颖方面不限于在以上列举的附图中示出的特定形式。相反,本公开覆盖落入,例如由所附权利要求涵盖的本公开的范围内的所有修改、等同、组合、子组合、排列组合、分组和替代。

本公开易于具有以许多不同形式的实施例。本公开的代表性实施例示出在附图中并且将在本文中详细描述,其中应理解的是这些实施例是作为所公开的原理的举例说明而提供的,而不是对本公开的广泛方面的限制。在此程度上,例如,在说明书摘要、技术领域、背景技术、发明内容和具体实施方式部分中描述了但在权利要求中未明确记载的元件和限制,不应以暗示、推导或其他方式将其单独地或共同地包括到权利要求中。

为了本详细描述的目的,除非另有具体声明:单数包括复数并且反之亦然;词语“和”和“或”应既是并列连接词又是择一连接词;词语“任何”和“所有”二者均应指“任何和所有”;并且词语“包含”、“含有”、“包括”、“具有”等每个均应指“包括但不限于”。此外,表示近似的词语,诸如“约”、“几乎”、“基本上”、“通常”、“大约”等在本文中每个均可在下述含义上使用:例如,“在……处、在……左右、或在……处左右”、或“在……的0-5%内”、或“在可接受的制造公差内”、或其任何逻辑组合。最后,方向性形容词和副词,诸如首、尾、车内、车外、右舷、左舷、竖直、水平、向上、向下、前、后、左、右等,可是相对于机动车辆的,诸如当车辆操作地定向在水平驾驶表面上时机动车辆的向前驾驶方向。

现在参考附图,其中贯穿若干视图,相似的附图标记指代相似的特征,在图1中示出了代表性汽车的示意性图示,该汽车总体上以10指示,并且为了讨论的目的在本文中描绘为轿车型电驱动(混合动力或电动)机动车辆。牵引电池组14封装在汽车10的车身12内,例如在客舱、后备箱、或专用电池舱内,该牵引电池组14电联接到一个或多个电牵引电动机16并为其供电。电动机16继而操作以使车辆的行驶轮18中的一个或多个转动,并由此推进车辆10。示出的汽车10(在本文中也简称为“机动车辆”或“车辆”)仅是通过其可实施本公开的新颖方面的示例性应用。以同样的方式,就在图1中示出的具体电动车辆供应设备(EVSE)的本构思的实施方式也应理解为所公开的构思的示例性应用。由此,将理解,本公开的方面和特征可应用于替代类型的EVSE,实施为用于任何逻辑相关类型的车辆和车辆动力总成,并且用于其他先进驾驶辅助系统(ADAS)操作。此外,已经示出的并且将在本文中更加详细描述的仅是车辆、EVSE和ADAS系统的选择的部件。然而,下文讨论的系统、方法和设备可包括许多额外地和替代的特征以及其他商业上可用的外围部件,例如,以执行本公开的多种协议和算法。

图1是电驱动车辆10的简化图示,该电驱动车辆10停靠在车辆充电站20处并与车辆充电站20可操作地联接用于车载可再充电能量源(诸如高压直流(DC)牵引电池组14)的再充电。牵引电池组14可采取许多合适的配置,包括铅酸、锂离子、或其他可应用类型的可再充电电动车辆电池(EVB)的阵列。为了在牵引电池组14和车辆充电站20之间提供可操作的联接,车辆10可包括安装到车身12的底侧的感应充电部件22,例如,带有集成感应线圈。该感应充电部件22作用为无线充电接口,其与车辆充电站20的无线充电板或平台24(例如,与内EMF线圈)兼容。在示出的示例中,无线充电板/平台24位于在车辆充电站20的地板上,并且根据“目标位置”定位,该“目标位置”可用作为了车辆10的高效率且有效的无线充电目的的期望的停车位置。特别是,图1描绘了车辆10,其停在有助于确保感应充电部件22在横向和纵向尺寸二者上均与无线充电板24基本上或完全对准的位置上。换句话说,认为图1中的车辆10处于与指定目标位置的正确的首-尾对准和正确的左舷-右舷对准中,以完成为车辆10的感应充电事件并最大化在两个设备之间的无线传输的功率百分比。

车辆充电站20可采用迄今为止和以后开发的任何类型的有线和无线充电技术,作为一些非限制性示例,包括感应充电、无线电充电、电容充电、和谐振充电。根据电磁感应充电技术,图1的代表性的无线充电板24可通过电流激活,以靠近感应充电部件22生成交变电磁场。该磁场继而在车辆10的感应充电部件22中感应生成电流。感应电流可由车辆中的电调制电路(例如,牵引功率逆变器模块(TPIM))滤波、降压、和/或相移,以为车辆10的牵引电池组14或任何其他能量源(例如,标准12V铅-酸启动、照明、和点火(SLI)电池,辅助电源模块等)充电。如之前提到的,当感应充电部件22正确定向为与无线充电板24在首-尾(纵向)和右舷-左舷(横向)二者上都根据车辆校准准确性阈值对准时,可获得优化的无线充电性能。

牵引电池组14储存能量,该能量可由电机16使用用于推进并用于操作其他车辆电气系统。牵引电池组14通信地连接(有线或无线地)到调节多种车载车辆系统和部件的操作的一个或多个车辆控制器(在图1中以电子控制单元(ECU)26代表)。例如,由ECU 26控制的接触器可在打开时将牵引电池组14与其他部件隔离,并且在关闭时将牵引电池组14连接到其他部件。ECU 26还通信地连接到电牵引电动机16以控制,例如,在牵引电池组14和每个电动机16之间的双向能量转移。例如,牵引电池组14可提供DC电压,而电动机16可使用三相AC电流操作;在这样的情况下,ECU 26将DC电压转换为三相AC电流以供电动-发电机16使用。在再生模式中,其中牵引电动机16用作发电机,ECU 26可将来自电动-发电机16的三相AC电流转换为与牵引电池组14兼容的DC电压。代表性的ECU 26还示出为与充电部件22通信,例如,以调节从车辆充电站20到电池组14供应的电力,以帮助确保正确的电压和电流水平。ECU 26还可与充电站20对接,例如,以协调向车辆10的电力传递。

图1的车辆充电站20还经由“插入式”电连接器32为电动车辆10提供有线充电,该电连接器32可是许多不同的商业上可用的电连接器类型中的一个。以非限制性示例的方式,电连接器32可是Society of Automotive Engineers(SAE)J1772(类型1)或J1772-2009(类型2)电连接器,其带有在120至240伏特(V)下操作的单相或分相模式并带有直至80安培(A)的峰值电流的交流电(AC),用于传导式车辆充电。此外,充电连接器32还可设计为满足设置在International Electrotechnical Commission(IEC)62196-2和/或62196-3 Fdis中的标准,以及任何其他当前可用的或以后开发的标准。在车身12的外部上可接近的充电端口34是作用为电入口的有线充电接口,电连接器32可插入其中或以其他方式配合。该端口34使得使用者能够容易地将电动车辆10连接到现成可用的AC或DC源/从其断开连接,该AC或DC源诸如经由充电站20的公用事业电网。图1的充电端口34不限于任何特定设计,并且可是使得能够进行传导式或其他类型的电连接的任何类型的入口、端口、连接、插座、插头等。车身12上的铰接的充电端口门(CPD)36可选择性地打开和关闭,以分别使得能够接近和覆盖充电端口34。

作为车辆充电过程的部分,车辆10和站20可单独或协作地监视有线/无线充电可用性、无线电力质量、以及可影响车辆充电的其他相关问题。根据示出的示例,图1的车辆ECU 26与监视系统通信并从其接收传感器信号,该监视系统可包括车辆10的一个或多个车载“常驻”感测设备28和/或车辆充电站20的一个或多个非车载“远程”感测设备30。实际上,该监视系统可包括单个传感器,或者其可包括带有封装在与附图中示出的位置相似的或替代的位置处的多种传感器的分布式传感器架构。由充电端口34安装的CPD传感器38可感测,并由车辆的ECU 26轮询或读取以确定,CPD 36的门状态(打开或关闭)。作为另一选项,帮助物理地将电连接器32附接并稳固到充电端口34的闩锁按钮40可包括内开关(例如,SAE S3型开关),该内开关作用为感测设备以检测电连接器32是否操作地连接到充电端口34。存在还可使用的许多其他类型的感测设备,包括热感测设备(诸如被动热红外传感器)、光学感测设备(诸如基于光和激光的传感器)、声学感测设备(诸如表面声波(SAW)和超声波传感器)、电容感测设备(诸如基于电容的接近传感器)等。

图1的代表性车辆10可初始配备有车辆远程通信和信息(“远程信息处理”)单元42,其与位于远程的或“非车载”的云计算系统44无线通信(例如,经由蜂窝塔、基站、移动交换中心(MSC)等)。既作为用户输入设备又作为车辆输出设备,远程信息处理单元42可配备有电子视频显示设备46和多种输入控制48(例如,按钮、旋钮、开关、触控板、键盘、触摸屏等)。这些远程信息处理硬件部件可至少部分地作用为常驻车辆导航系统,例如,以使得能够辅助和/或自动化车辆导航。远程信息处理单元还可操作为人机界面(HMI),例如,使得用户能够与远程信息处理单元42以及车辆10的其他系统和系统部件通信。可选的外围硬件可包括麦克风,该麦克风为车辆乘员提供输入口头或其他听觉命令的手段;车辆10可配备有编程有计算语音识别软件模块的嵌入式声音处理单元。带有一个或多个扬声器部件的车辆音频系统可向车辆乘员提供听觉输出,并且可是专用于与远程信息处理单元42一起使用的独立设备,或者可是通用音频系统的部分。

继续参考图1,远程信息处理单元42是车载计算设备,其既单独地并且又通过其与其他联网设备的通信提供服务的混合。远程信息处理单元42通常可由一个或多个处理器组成,处理器中的每个可体现为分立式微处理器、专用集成电路(ASIC)、专用控制模块等。车辆10可经由ECU 26提供集中的车辆控制,该ECU 26操作地联接到一个或多个电子存储器设备50,该电子存储器设备50中的每个可采用CD-ROM、磁盘、IC设备、半导体存储器(例如,多种类型的RAM或ROM)等的形式,并带有实时时钟(RTC)。带有远程、非车载联网设备的长程车辆通信能力可经由蜂窝芯片组/部件、导航和位置芯片组/部件(例如,全球定位系统(GPS)收发器)、或无线调制解调器中的一个或多个或全部提供,所有这些共同地以52表示。近程无线连接性可经由短程无线通信设备(例如,BLUETOOTH®单元或近场通信(NFC)收发器)、专用短程通信(DSRC)部件、和/或双天线提供,所有这些共同地以54表示。上文描述的多种通信设备可配置为作为在车到车(V2V)通信系统或车到万物(V2X)通信系统(例如,车到基础设施(V2I)、车到行人(V2P)、车到设备(V2D)等)中的周期性广播的部分以交换数据。

图1的汽车10的操作可需要与指定位置的准确且可靠的车辆对准,即车辆10的具体部段、车辆10的指定部件、和/或车辆10的整体的精确定向和位置与目标位置、定向、物体、地标等(共同地称为“目标元素”或“目标”)对准。如果在该驾驶操作的任何部分期间,车辆10待与之对准的目标元素在驾驶员的视线中受到遮挡,则所需的车辆对准可无法实现。为了减轻这样的操作中的人为错误,公开的智能车辆系统和控制逻辑利用高清(HD)视觉系统自动进行精确的横向和纵向车辆定位。HD视觉系统可典型地表示为具有最小至少约1.0到2.5兆像素(MP)的全片幅分辨率的相机系统,或者对于至少一些实施方式,约50-65MP并带有在大约每秒10至60帧(fps)或更高的4K视频分辨率。HD视觉系统可提供相对于车辆10的向前驾驶方向至少约160°至210°的最小水平视野和至少约100°至150°的最小竖直视野。

分析反馈信号以得出从车辆的选择点、边缘、和/或部段到目标元素的目标中心或其他目标标记的坐标距离(以x、y、z的笛卡尔坐标,以φ、ϴ的天球坐标,以DMS、DMM或DD的GPS)。期望的可是,在目标与车辆之间的距离小于1米(m)时,该距离测量的准确度优于约3.0至约8.0毫米(mm)。使用相机获取的数据,系统能够在距相机系统大约5.0m或更短距离处检测并定义目标元素。内部和外部相机参数(例如,偏航、俯仰、滚动、x-y-z位置坐标等)可用于识别目标,例如,在小于大约三(3)英里每小时(mph)的车辆速度下。公开的车辆对准系统和方法的特征可在于,没有使用专用硬件加速器、视频处理模块(VPM)、传感器、相机和/或运动传感器里程计来提供自动的车辆系统操作。

在图2中示出的是嵌入式智能车辆控制系统100——以下描述为先进停车辅助(APA)系统——用于使得能够进行控制器自动车底危险和外来物体检测,该检测作为机动车辆的选择的车辆操作的部分,诸如车辆驾驶、停车、怠速、充电等。智能车辆系统100通常典型地表示为用于捕获车辆的周围和驾驶表面的实时图像数据的基于视觉的相机传感器系统(CSS)102,用于分析、平滑、融合、和/或合成相机生成的传感器信号的视觉处理系统(VPS)104,以及用于从经处理的传感器信号计算车辆路线数据的带有可选的危险等级检测(HLD)的路径规划系统(PPS)106。CSS 102、VPS 104、和PPS 106与自动系统控制模块(ASCM)112对接以自动选择车辆驾驶操作(例如,作为无线充电控制方案的端口),并与车辆HMI142对接以向车辆乘员传输信息并可选地接收来自车辆乘员的输入。

相机传感器系统102可由任意数量、类型、和布置的图像捕获设备组成,诸如数字视频相机的分布式阵列,该数字视频相机每个构造有互补金属氧化物半导体(CMOS)传感器、充电联接设备(CCD)传感器、或其他合适的主动式像素传感器(APS)。以非限制性示例的方式,在图3中描绘了CCS 102,该CCS 102带有:(1)第一(前)纵向相机120,其靠近车身的前端部安装到车身(例如,在前格栅后面的发动机舱内);(2)第一(左手)侧相机122,其安装在靠近车身的第一横向侧(左舷)(例如,集成到驾驶员侧后视镜组件中);(3)第二(右手)侧相机124,其安装在靠近车身的第二横向侧(右舷)(例如,集成到乘客侧后视镜组件中);以及可选的第二(车底)纵向相机126,其安装在靠近车身的底盘(例如,安装到车架纵梁或横梁)。CCS 102可包括额外的车身上车辆相机传感器,诸如第三(后)纵向相机,其靠近车身的后端部安装到车身(例如,在后保险杠面板或车后盖组件内)。车内相机传感器的分布式阵列的类型、放置、数量、和互操作性可单独地或共同地适应于给定的车辆平台,以实现期望水平的自主车辆操作和车底危险和外来物体检测准确性。

CSS 102中的相机传感器120、122、124和126的分布式阵列(图3)经由带有VPS104的控制器局域网(CAN)总线108(图2),分别通信相应的传感器信号——前、左、右、和车底相机信号

经由控制信号

大多数商业上可用的车辆上市时未配备有用以检测危险的车底状况或在车架下方的外来物体所需的硬件和软件,这些状况或外来物体可对车辆的乘客和/或车底部件产生不利影响。此外,无线电力传输(WPT)车辆充电系统可沿车辆底盘产生磁场,该磁场超过已知的对动物、人类、和电子设备(包括可植入医疗设备(IMD)和半导体印刷电路板组件(PCBA))产生不利影响的水平。过度暴露于由EMF线圈生成的磁场可导致对有生命物体的潜在的不利健康影响或永久损坏暴露的电子设备。在无线充电场景中,现有的在充电板中的带有感应电子器件的基于雷达的LOP系统具有的已知问题在于误报的生成,该误报不必要地中止了充电。类似地,基于电容传感器的LOP系统具有的已知问题在于由于寄生耦合而输出误报触发。

公开的系统、方法、和设备使得能够使用常驻基于视觉的系统进行在车辆下的(有生命和无生命的)外来物体的检测和保护,例如,在驾驶、怠速、停车、点火钥匙接通和断开、动力总成暖机、无线车辆充电等期间。以同样的方式,公开的系统、方法、和设备利用先进车辆相机系统和监督AI学习方法以检测在车身之下的危险状况(例如,升高的水位、结冰、阻塞道路的障碍物、大的碎片、宠物等)并同时警示车辆操作者并采取改善措施,诸如中止车辆运动、变更车辆轨迹或速度、和/或中止无线车辆充电。例如,使用前、左、右、后和(可选的)车底相机并结合基于机器学习的通过训练数据的匹配技术,实现车底危险检测和有生命物体保护。对于带有车底(UB)相机的基于相机的车辆系统,UB相机可用硬化透明盖加以保护,可使用多种方法保持该盖的清洁,诸如集成刮水器系统或超声清洁系统。可训练视觉处理系统以评估危险等级并随之警示车辆操作者潜在的危险或外来物体。

现参考图4的流程图,根据本公开的方面,在200处总体上描述了用于自动车辆对准的带有车辆(诸如图1的电驱动车辆10)的车底外来物体检测的改进的方法或控制策略,其使用了基于相机的控制系统,诸如图2的智能车辆系统100。以同样的方式,图5在300处呈现了根据本公开的方面的用于基于视觉的ADAS车辆控制的带有车底危险检测的改进的方法。在图4和5中示出的以及下文进一步详细描述的操作中的一些或全部可以算法为代表,该算法对应于处理器可执行的指令,该指令存储在,例如,主存储器、辅助存储器、或远程存储器中并且由,例如,车载或远程控制器、处理单元、控制逻辑电路、或其他模块、设备或设备的网络执行,以执行上文和下文描述的与公开的构思相关联的功能中的任何或全部。应当认识到,可改变示出的操作的执行顺序,可添加额外的操作,并且描述的操作中的一些可修改、组合、或取消。

方法200在终端框201处以用于可编程控制器或控制模块或类似合适的处理器或服务器计算机的处理器可执行指令开始,以调用用于自动车辆对准协议的初始化过程。该例程可在正在进行的车辆操作期间实时地、连续地、系统地、零星地和/或以规则的间隔(例如,每100毫秒)等地执行。作为又另一选项,终端框201可响应于接收自任务为自主车辆对准的后端或中间件计算节点的用户命令提示或广播提示信号而初始化。作为在框201处的初始化过程的部分,例如,常驻车辆远程信息处理单元42可执行导航处理代码段,例如,以获得车辆数据(例如,地理空间数据、速度、前进方向、加速度、时间戳等),并可选地向车辆10的乘员显示该数据的选择的方面。乘员可利用任何HMI输入控制48以然后为车辆选择期望的出发地和/或目的地。还设想到的是,ECU 26或远程信息处理单元42的处理器从其他来源接收车辆出发地和车辆目的地信息,该其他来源诸如用于云计算系统44的服务器级计算机提供的数据交换、或在智能电话或其他手持计算设备上操作的专用移动软件应用。

一旦初始化,方法200在数据库框203处提供处理器可执行指令,以为常驻车辆相机中的每个定义单独的感兴趣区域(ROI),该车辆相机用于车底危险/外来物体检测。ROI可以归类为划定的相机帧区域,其嵌入在车辆的相机生成的视图中的每个内,并且已经预定为外来物体和危险可能出现于其中的区域。以示例的并且非限制的方式,第一(首)ROI 121嵌入在由第一(前)相机120捕获的向前车辆视图内,第二(左舷)ROI 123嵌入在由第二(左手)相机122捕获的向左车辆视图内,第三(右舷)ROI 125嵌入在由第三(右手)相机124捕获的向右车辆视图内,并且第四(底盘)ROI 127嵌入在由车底相机126捕获的向下车辆视图内。这些ROI可是具体定义到主题主车的车辆校准特征。例如,ROI可基于车辆的品牌/型号/装饰、相机的相应安装位置、每个相机的视域/shi角、和/或车辆周围的预定义保护区域(例如,距所有外表面20厘米的地理围栏)。可通过以下方式“定义”ROI:从储存在常驻存储器中的查找表中检索参数,在初始车辆校准过程中计算参数,通过可用的基于模型的技术估计参数,或通过任何其他合适的确定过程。

在数据库框203处执行的操作之前、同时、或之后,方法200为预期在数据库框205处进入ROI的外来物体定义预定目标标记。根据示出的示例,经训练的神经网络将实施基于机器学习的通过训练数据的匹配技术,以为每个外来物体得出一个或多个目标标记。预定目标标记可包括,例如,相应的形状、大小、颜色、面部特征、眼型或其他生物特征、以及行为模式。为了最小化车上硬件和处理能力要求,目标标记的生成可在车辆外非车载地执行(例如,经由图1的云计算系统44)并且实时地或在批处理期间检索。对于至少一些优选的实施方式,ROI获取自用于主题相机的像素位置的查找表(LUT)。

方法200从数据库框203和205前进到数据框207,以从一个或多个可用的车身上车辆相机获取图像数据。如上文描述的,主车(例如,图1的汽车10)可初始配备有或改装以包括前相机,其安装在靠近车身的前端部(例如,图3的第一纵向相机120);驾驶员侧和/或乘客侧相机,其每个安装在靠近车身的相应横向侧(例如,第一和第二侧相机122、124);可选的车底(UB)相机,其安装在靠近车身的底盘(例如,第二纵向相机126);以及后相机,其安装在靠近车身的后端部(例如,第三纵向相机)。根据图3中记载的示出的示例,第一纵向(前)相机120捕获机动车辆的实时的向前面向的视图(例如,前保险杠组件的向前指向的车外视野),而第二(车底)纵向相机126捕获实时的向下面向的车辆视图(例如,从底盘朝向前驱动桥指向的车外视野),并且第三纵向相机捕获实时的向后面向的车辆视野(即,顺序的相机帧)。以同样的方式,第一(左手)侧相机122捕获机动车辆的实时的左舷侧视图(例如,相对于驾驶员侧挡泥板组件倾斜的车外视野),而第二(右手)侧相机124捕获机动车辆的实时的右舷侧视图(例如,相对于乘客侧挡泥板组件倾斜的车外视野)。每个相机生成并输出指示其相应视图的信号。这些信号可直接检索自相机或检索自任务为接收、分类和储存这样的数据的存储器设备。

从数据框207前进到子例程框209,图4的方法200就在对应车辆视图的每个的ROI内的已知目标变量而扫描来自获取的图像数据的一个或多个静止帧。例如,常驻或远程车辆控制器可分析实时图像以检测即将到来的危险以及存在于机动车辆的向前面向、侧面向、后面向、和/或向下面向的视图中的有生命/无生命外来物体。该分析可包括就多个目标中的任何而扫描每个图像,该目标每个具有预定的形状、大小、颜色、轮廓和/或标记(共同地称为“目标变量”)。在扫描的图像中隔离并从扫描的图像提取可疑变量,并且匹配引擎尝试将提取的变量与预定义的目标变量中的一个进行匹配。用于目标元素检测的目标变量可使用机器学习概念得出以识别对应于选择的目标位置、物体等的单独的目标特征。在判断框211处,方法200确定是否已经检测到危险/目标物体。如果没有(框211=否),则方法200可从判断框211前进到终端框237并终止,或者替代地可循环回到终端框201或数据框207并以连续循环的方式运行。

响应于在车辆的透视视图中的至少一个ROI内检测到危险/目标物体(框211=是),图4的方法200继续到确定框213、215、217和219,在该确定框213、215、217和219处由可用的相机跟踪检测到的目标物体。根据示出的示例,从前、侧、和后相机继续接收相机传感器信号;这些传感器信号指示车辆的车外面向的向前、左侧、右侧、和后视图的实时图像。在框213处,就目标扫描车辆的前相机的数据图像,例如,以连续或基本上连续的方式。一致地,在框215处,就目标扫描车辆的左侧相机的数据图像;并且在框217处,就目标扫描车辆的右侧相机的数据图像。在框219处,扫描车辆的后相机的数据图像以查看常驻车辆相机是否找到了目标物体。如果任何车辆相机都没有找到危险/目标物体(框213和框215和框217和框219=否),则方法200可循环回到子例程框209。

继续参考图4,方法200通过为危险/外来物体分配索引标识(ID)和开始位置而响应在车辆相机的任何一个中检测到危险/目标物体(框213或框215或框217或框219=是),如在子例程框221处所指示的那样。在常规车辆操作期间,相机将可能在其特定车辆视图内捕获多个物体;车辆控制器将区分无关物体(例如,远处的树、邮箱、道路表面等)和有希望的目标物体(例如,狗、停车块、大的坑洼、黑冰斑块等)。对认为将可能是危险或外来物体的目标物体以对应的索引ID进行标签,并就其在车辆视图或多个车辆视图内的开始位置以坐标进行标记。

此后,方法200前进到处理框223,通过就索引ID相对于开始位置进行扫描,以在车辆的车外面向的端部和侧视图的实时图像的随后帧中监视索引的危险/外来物体。在接续的相机帧中查找分配的索引和有生命物体时,车辆控制器确定该外来物体/危险是否移出在侧相机和端部相机中的帧(即,从车辆视图消失),如在判断框225处指示的那样。如果不是(框225=否),方法200循环回到处理框223,或者替代地循环回到判断框211或在终端框237结束。另一方面,响应于确定索引的外来物体/危险在帧中消失(框225=是),方法200可假设物体/危险已经在车辆下方移动,并且为了证实,在数据框227处执行图像获取过程以取得来自车底相机的车辆的底盘视图的相机帧数据。危险/物体向车辆的车底的移动可是物体/危险移动(例如,暂时的有生命物体或道路碎片)、车辆移动(例如,在停车、高速公路驾驶期间等)或两者的组合的结果。

一旦获取了车底相机的捕获图像帧,图4的子例程框229扫描这些车底相机帧以确定车辆的车底区域中是否存在或不存在目标物体/危险。对于缺少车底相机的替代的智能车辆系统架构,方法200省略了数据框227并修改了子例程框229,以在其他可用相机帧中就消失的外来物体/危险进行扫描。在就消失的、分配了索引的物体/危险在车底相机帧和/或其他可用相机帧中进行扫描之后,方法200在判断框231处确定消失的物体/危险是否已经由常驻车辆的相机定位。一旦确定已经不再定位物体/危险(框231=否),则方法200前进到输入/输出框233并向驾驶员传输警示“不存在物体/危险(OBJECT/HAZARD NOT PRESENT)”,并且可选地向WEVSE的充电系统控制器传输开始充电信号,车辆尝试在该WEVSE处再充电。产生自检测到的和消失的危险/物体的闭环反馈数据可选地可累积并反馈到控制系统用于分析和随后的系统参数调制。然后,方法200可在终端框237处终止。

一旦确定物体/危险已定位并且存在于车辆下方时(框231=是),方法200前进到输入/输出框235并向驾驶员传输警示“存在物体/危险(OBJECT/HAZARD PRESENT)”,并且可选地向WEVSE的充电系统控制器传输推迟充电信号。可提示驾驶员采取改善动作以从车辆下方移除物体/危险(例如,鸣喇叭并打开车灯以吓走有生命物体)。在向驾驶员传输警示之外,或者作为向驾驶员传输警示的替代,向车辆的推进、转向和/或制动系统传输控制信号以采取校准以防止车辆与外来物体/危险发生碰撞和/或从车底区域移除外来物体/危险的预防性动作。产生自检测到车底危险/物体产生的闭环反馈数据可选地可累积并反馈到控制系统用于分析和随后的系统参数调制。方法200可从输入/输出框235前进到终端框237并且终止,或者替代地可循环回到终端框201并以连续的循环运行。

接下来转向图5,方法300在终端框301处以用于可编程控制器或控制模块或类似合适的处理器的处理器可执行指令开始,以调用带有自动预防性车辆驾驶和驾驶员警示能力的用于车底危险检测协议的初始化过程。如上文指出的,图5的方法300可包括上文关于图4的方法200所描述的任何特征、选项、和替代,并且反之亦然。就此,上文描述的与图4的终端框201相关联的特征和选项可单独地或以任何合适的组合地并入到图5的终端框301中。作为又一示例,与用于分别从前、右、左、后和车底相机检索相机传感器信号的相机数据框303、305、307、309和311结合,在数据框313处执行的图像获取和聚合操作在功能上可与在数据框207处执行的操作类似。类似地,在子例程框315处的识别和定义感兴趣区域可与在数据库框203处执行的操作类似或相同。

在图像获取和ROI识别之前、同时或随后,在处理框317处,图5的方法300确定敏感车底车辆部件(例如,高压(HV)推进电动机、HV电池组托盘、动力电子器件模块、制动线路、悬挂和侧翻控制系统等)的轮廓。然后,在IQ统计子例程框319处,车辆控制器将就每个相机确定场景的色温和在场景中的成像器的曝光值。此外,在处理框321处,车辆控制器将确定场景的自动白平衡(AWB)、场景的色调映射值、以及伽马曲线值,以帮助确定雪、水、和其他危险在场景中的存在或接近。

继续参考图5,方法300前进到处理框323,以就即将到来的危险扫描从前、右、左、和后车辆相机接收的相机帧数据。应当理解的是,在图5的处理框323处执行的操作可与在图4的子例程框209处执行的那些类似或相同。与判断框211相比,方法300继续到判断框325以确定是否在任何常驻车辆相机中检测到雪、水、冰或其他潜在危险或外来物体。如果没有(框325=否),则图5的方法300可从判断框325前进到终端框353并终止,或者替代地可循环回到终端框301或处理框323并以连续循环的方式运行。

响应于确定在常驻车辆相机中的至少一个中检测到潜在危险或外来物体(框325=是),方法300继续到处理框327并就危险/物体扫描车辆车底,例如,类似于图4的框227和229。作为另一潜在重叠点,图5的判断框329可在功能上类似于图4的判断框231,在此期间,评估由车底相机捕获的向下车辆视图的实时图像,以确定危险/物体现在是否位于车辆下方。如果不是(框329=否),则方法300可循环回到处理框327或处理框323,或者替代地在终端框353处终止。

响应于确定潜在危险/外来物体位于车辆的车底区域中(框329=是),方法300继续到判断框331,以评估车底相机是否已中断,并且因此车辆可能至少部分淹没或者车辆底盘和/或车底相机可已严重损坏。如果车底相机尚未中断(框331=否),则方法300返回到处理框327或在终端框353终止。相反,一旦确定车底相机已中断(框331=是),方法300在子例程框333处响应地向车辆乘员传输指示车底危险/外来物体的警示(例如,视觉的、听觉的、和/或触觉变暖的)。该事件的发生可加盖时间戳并储存在本地高速缓冲存储器中。作为又另外的选项,在处理框335处,车辆控制器可设置维护检查标志,该标志可伴随有对车辆驾驶员的指示以寻求车辆维护。作为又另外的选项,车辆控制器可向一个或多个车辆动力系统传输一个或多个控制信号,以自动进行设计为保护车辆的预防性措施。

方法300从处理框335前进到判断框337,以确定前端部相机或后端部相机是否也已中断,这提供了车辆可部分淹没(例如,处于浸水危险中)或可已经遭受损坏(例如,来自暂时的外来物体)的进一步指示。如果不是(框337=否),则方法300可返回到处理框323。如果前或后相机已中断(框337=是),则方法300前进到子例程框339并且响应地向车辆乘员传输增强的警示,带有时间戳的危险事件可记录在本地高速缓冲存储器中,可设置维护检查标志,和/或可向车辆动力系统的组合传输控制信号传输到,以自动进行设计为保护车辆的预防性措施。

此后,方法300从子例程框339前进到判断框341,以确定左侧相机或右侧相机是否也已中断,这提供了车辆可受到淹没或损坏的又进一步指示。如果不是(框341=否),则方法300可返回到处理框323。如果前、后、左或右相机中的任何一个已经中断(框341=是),则方法300前进到子例程框343并且响应地向车辆乘员传输高警示,带有时间戳的严重危险事件可记录在本地高速缓冲存储器中,可设置维护检查标志,和/或可向车辆动力系统的组合传输额外的控制信号,以自动进行设计为保护车辆的预防性措施。

处理框345包括处理器可执行指令,以使车辆的外部灯中的一个或多个或所有闪烁并使车辆喇叭系统鸣响。在输入/输出框347处,从GPS服务提供商检索关于主题主车的地理位置坐标数据。然后在判断框349处,方法300确定车辆是否在水体中(例如,提示驾驶员经由远程信息处理单元42进行反馈)。如果是这样(框349=是),则方法前进到输入/输出框351,以向远程车辆安全和应急系统(例如,OnStar®)传输报告。方法300然后在终端框353处终止。

在自动检测车底危险和外来物体以及自动采取补救措施以保护车辆和外来物体之外,公开的特征还可用在其他应用中,包括使用车底相机检测在关键车辆部件附近的腐蚀性流体,该关键车辆部件诸如牵引电动机、车中电子器件、排气系统部件、悬挂部件、转向部件、制动器部件等。此外,外来物体(诸如泥、石头、树枝等)可损害车底部件(诸如转向和制动系统部件)的正常功能,并妨碍无线车辆充电;车辆可自动进行车辆动力总成、转向和制动系统操作以纠正这些问题。另外,在启动或进入/点火之前检测有毒和/或危险的动物(例如,毒蛇、短吻鳄、大型蜘蛛、蝎子等)的存在可避免其在车辆中出现,以保护车辆使用者/乘员。

在一些实施例中,本公开的方面可通过计算机可执行指令程序实施,该计算机可执行指令程序诸如程序模块,一般是指由本文中描述的任何控制器或控制器变型执行的软件应用或应用程序。在非限定性示例中,软件可包括例程、程序、对象、部件、和数据结构,其执行具体任务或实施具体数据类型。软件可形成界面以允许计算机根据输入源作出反应。软件也可与其它代码段合作以响应于接收的数据并结合所接收数据的源以启动多种任务。软件可储存在多种存储介质的任何上,诸如CD-ROM、磁盘、磁泡存储器和半导体存储器(例如,多种类型的RAM或ROM)。

此外,本公开的方面可通过多种计算机系统和计算机网络配置实施,包括多处理器系统、基于微处理器或用户可编程的电子器件、微型计算机、大型计算机等。此外,本公开的方面可在分布式计算环境中实施,其中任务由通过通信网络链接的常驻和远程处理设备进行。在分布式计算环境中,程序模块可位于包括存储器储存设备的本地和远程计算机储存介质二者中。因此本公开的方面可在计算机系统或其它处理系统中与多种硬件、软件或者其组合连接实施。

本文中描述的任何方法可包括机器可读指令,用于由以下项执行:(a)处理器、(b)控制器、和/或(c)任何其他合适的处理设备。本文中公开的任何算法、软件、控制逻辑、协议或方法可体现为存储在有形介质上的软件,该有形介质诸如,例如,闪存、CD-ROM、软盘、硬盘、数字多功能盘(DVD)或其他存储器设备。替代地,整个算法、控制逻辑、协议、或方法,和/或其部分可由控制器之外的设备执行和/或以可用的方式体现在固件或专用硬件中(例如,由专用集成电路(ASIC)、可编程逻辑设备(PLD)、现场可编程逻辑设备(FPLD)、分立式逻辑等实施)。此外,尽管参考本文中描绘的流程图描述了具体算法,但是可替代地使用用于实施示例机器可读指令的许多其他方法。

已经参考示出的实施例详细描述了本公开的方面;然而,本领域技术人员将认识到,可对本公开进行许多修改而不脱离本公开的范围。本公开不限于本文中公开的精确构造和组成;从前述描述显而易见的任何和所有修改、改变、和变型都在由所附权利要求限定的本公开的范围内。而且,本构思明确地包括前述元件和特征的任何和所有的组合和子组合。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号