相关申请的交叉引用
本申请要求于2018年12月11日提交的美国申请第16/215，713号的权益，并且涉及于2018年11月5日提交的题目为用于实施自主车辆的后备行为的系统、律师案卷号XSDV3.0F-2059的共同未决的美国申请第16/180,267号，其全部公开内容通过引用合并于此。
背景技术
自主车辆，诸如不要求人类驾驶员的车辆，可以用于帮助将乘客或货物从一个位置运输到另一个位置。这种车辆可以以完全自主模式或其中人可以提供一些驾驶输入的部分自主模式操作。为了以自主模式操作，车辆可以使用传感器，并使用接收到的传感器信息来执行各种驾驶操作。然而，如果传感器或系统的其他组件发生故障或者遭受性能下降，这可能会对车辆的驾驶能力产生不利影响。
发明内容
该技术涉及用于被配置为在完全或部分自主驾驶模式下操作的车辆中的传感器、计算和电力系统的冗余架构。虽然可能可以具有每个组件和子系统的完全冗余，但这可能是不可行的，特别是对于传感器套件(sensor suite)的大小和位置以及诸如成本的其他限制因素有约束的车辆。因此，该技术的各个方面采用用于部分冗余的后备(fallback)配置。例如，后备传感器配置可以提供车辆周围的一些最小量的视野(FOV)，以及用于感知和规划处理的最小量的计算能力。
根据该技术的各方面，车辆被配置为在自主驾驶模式下操作。该车辆包括驾驶系统、感知系统和控制系统。驾驶系统包括转向子系统、加速子系统和减速子系统，以控制车辆在自主驾驶模式下的驾驶。感知系统具有多个传感器，其被配置成检测关于车辆周围的环境的信息。多个传感器包括与第一操作域相关联的第一组传感器和与第二操作域相关联的第二组传感器。控制系统操作地耦合到驾驶系统和感知系统。控制系统包括与第一操作域相关联的第一计算子系统和与第二操作域相关联的第二计算子系统。第一计算子系统和第二计算子系统中的每一个具有一个或多个处理器。第一计算子系统和第二计算子系统中的每一个被配置成在第一操作模式下从第一组传感器和第二组传感器中的一个或两者接收传感器数据。响应于在第一操作模式下接收到的传感器数据，控制系统被配置成控制驾驶系统以在自主驾驶模式下驾驶车辆。当多个传感器中的一个或多个出现错误状况时，第一计算子系统被配置为处理来自第一操作域中的第一组传感器的传感器数据，并且第二计算子系统被配置为处理来自第二操作域中的第二组传感器的传感器数据。以及响应于错误状况，第一计算子系统或第二计算子系统中的仅一个被配置成以后备驾驶模式控制驾驶系统。
在一个示例中，第一组传感器和第二组传感器中的每一个包括从由激光雷达传感器、雷达传感器、照相机传感器、听觉传感器和定位传感器组成的组中选择的至少一个传感器。这里，第一组传感器和第二组传感器中的每一个可包括相应的激光雷达传感器、雷达传感器和照相机传感器的组，每组提供车辆周围的环境的选定视野。
第一组传感器中的传感器中的每一个可以具有相应的视野，第二组传感器中的传感器中的每一个可以具有相应的视野，并且在这种情况下，第二组传感器的相应视野不同于第一组传感器的相应视野。一个或多个内部传感器可布置在车辆内部。一个或多个内部传感器包括照相机传感器、听觉传感器和红外传感器中的至少一个。
在另一个示例中，后备驾驶模式包括第一后备模式和第二后备模式。第一后备模式包括第一组驾驶操作，并且第二后备模式包括不同于第一组驾驶操作的第二组驾驶操作。在该示例中，第一计算子系统被配置成在第一后备模式下控制驾驶系统，并且第二计算子系统被配置成在第二后备模式下控制驾驶系统。
在又一示例中，该车辆还包括第一配电子系统和第二配电子系统。这里，在后备驾驶模式下，第一配电子系统与第一操作域相关联，以仅向第一操作域的设备供电。同样在后备驾驶模式下，第二配电系统与第二操作域相关联，以仅向第二操作域的设备供电。以及第一操作域和第二操作域彼此电隔离。在这种情况下，第一配电子系统可被配置为在第一操作模式下向第一组基本车辆负载提供电力，并在后备驾驶模式下向第一操作域的设备提供电力，并且第二配电子系统可被配置为在第一操作模式下向不同于第一组基本车辆负载的第二组基本车辆负载提供电力，并且在后备驾驶模式下向第二操作域的设备提供电力。
在另一示例中，感知系统的多个传感器包括操作地耦合到第一计算子系统的第一组后备传感器、操作地耦合到第二计算子系统的第二组后备传感器和一组非后备传感器。在这种情况下，该组非后备传感器可以操作地耦合到第一计算子系统和第二计算子系统中的一个或两者。并且在又一示例中，感知系统的多个传感器包括在后备驾驶模式下操作地耦合到第一计算子系统和第二计算子系统两者的传感器的子集。
根据本技术的另一方面，提供了一种在自主驾驶模式下操作车辆的方法。该方法包括通过车辆的感知系统的多个传感器检测关于车辆周围的环境的信息，多个传感器包括与第一操作域相关联的第一组传感器和与第二操作域相关联的第二组传感器；通过车辆的控制系统接收检测到的关于车辆周围的环境的信息作为传感器数据，控制系统包括与第一操作域相关联的第一计算子系统和与第二操作域相关联的第二计算子系统；响应于在第一操作模式下接收传感器数据，控制系统控制车辆的驾驶系统以在自主驾驶模式下驾驶车辆；检测多个传感器中的一个或多个的错误状况；在检测到错误状况时，第一计算子系统处理仅来自第一操作域中的第一组传感器的传感器数据，并且第二计算子系统处理仅来自第二操作域中的第二组传感器的传感器数据；以及响应于错误状况，第一计算子系统或第二计算子系统中的仅一个以后备驾驶模式控制驾驶系统。
在一个示例中，后备驾驶模式包括：包括第一后备模式和第二后备模式的多个后备模式。在这种情况下，第一后备模式可以包括第一组驾驶操作，并且第二后备模式可以包括与第一组驾驶操作不同的第二组驾驶操作。在这种情况下，在后备驾驶模式下控制驾驶系统可以包括第一计算子系统在第一后备模式下控制驾驶系统；或者第二计算子系统在第二后备模式下控制驾驶系统。
在另一示例中，该方法还包括在后备驾驶模式下，通过车辆的第一配电子系统仅对第一操作域的设备供电；以及通过车辆的第二个配电子系统仅对第二操作域的设备供电。在这种情况下，第一配电子系统可以在第一操作模式下向第一组基本车辆负载提供电力，并在后备驾驶模式下向第一操作域的设备提供电力；并且第二配电子系统可以在第一操作模式下向与第一组基本车辆负载不同的第二组基本车辆负载提供电力，并在后备驾驶模式下向第二操作域的设备提供电力。
在后备驾驶模式期间，感知系统的多个传感器的子集可以向第一计算子系统和第二计算子系统两者提供传感器数据。在后备驾驶模式下控制驾驶系统可包括改变车辆先前规划的轨迹、改变车辆速度或改变车辆的目的地中的至少一个。该方法还可进一步包括在后备驾驶模式期间停止处理来自非后备关键传感器的传感器数据。
附图说明
图1示出了配置为与本技术的各方面一起使用的示例车辆的透视图。
图2示出了图1的示例车辆的顶视图。
图3是根据本技术的各方面的示例车辆的框图。
图4是根据本技术的各方面的示例感知系统的框图。
图5A-5B示出了根据本公开的各方面的车辆周围的区域的示例。
图6示出了根据本公开的各方面的示例传感器视野。
图7示出了根据本公开的各方面的示例传感器组件。
图8示出了根据本公开的各方面的传感器方向的示例。
图9A-9B示出了根据本公开的各方面的重叠传感器视野的示例。
图10A-10B示出了根据技术的各方面的在不同域中操作的示例。
图11A-11D示出了根据本技术的各方面的在不同域中操作的进一步示例。
图12示出了根据本技术的各方面的示例自驾驶系统配置。
图13A-13B示出了根据本技术的各方面的示例配电配置。
图14是根据本技术的各方面的操作方法。
具体实施方式
本文讨论的部分冗余车辆架构与采用不同传感器布置的后备配置相关联，该不同传感器布置可以逻辑地与车辆的不同操作域相关联。每个后备配置可能有不同的触发原因，并可能导致不同类型的后备操作模式。触发条件可能与组件能力的失效、故障或其他下降的类型、当前自主驾驶模式、车辆附近或沿规划路线的环境条件或其他因素有关。
示例车辆系统
图1示出了乘用车100(诸如小型货车、轿车或运动型多用途车)的透视图。图2示出了乘用车100的俯视图。乘用车100可以包括用于获取关于车辆外部环境的信息的各种传感器。例如，车顶壳体102可以包括激光雷达传感器以及各种照相机、雷达单元、红外和/或声学传感器。位于车辆100前端的壳体104和车辆的驾驶员侧和乘客侧的壳体106a、106b可以每个包含激光雷达或其他传感器。例如，壳体106a可以沿着车辆的后侧围板(quarterpanel)位于驾驶员侧的门的前面。如图所示，乘用车100还包括用于雷达单元、激光雷达和/或照相机的壳体108a、108b，其也位于朝向车辆的后车顶部分。附加的激光雷达、雷达单元和/或照相机(未示出)可位于沿车辆100的其他位置。例如，箭头110指示传感器单元(图2中的112)可沿车辆100的后面放置，诸如在保险杠上或靠近保险杠。并且箭头114指示沿车辆的前向方向布置的一系列传感器单元116。在一些示例中，乘用车100还可以包括用于获得关于车辆内部空间的信息的各种传感器。(多个)内部传感器可以包括照相机传感器、听觉传感器和红外传感器中的至少一个。
尽管本公开的某些方面对于特定类型的车辆可能特别有用，但车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公共汽车、休闲车等。
图3示出了框图300，其中示例车辆的各种组件和系统被配置为在完全自主或半自主操作模式下操作。举例来说，对于在部分或完全自主驾驶模式下操作的车辆，可能存在不同程度的自主性。美国国家公路交通安全管理局(U.S.National Highway Traffic SafetyAdministration)和美国汽车工程师学会(Society of Automotive Engineers)已经确定了不同的级别，以指示车辆控制驾驶的程度高低。例如，0级没有自动化，并且驾驶员做出所有与驾驶相关的决策。最低的半自主模式，1级，包括一些驾驶辅助，诸如巡航控制。2级具有某些驾驶操作的部分自动化，而第3级则涉及条件自动化，条件自动化可使驾驶座上的人取得控制以作为保证。相比之下，4级是一个高自动化级别，其中车辆能够在选定的条件下无辅助驾驶。而5级是完全自主的模式，在这种模式下，车辆能够在所有情况下无辅助驾驶。本文描述的架构、组件、系统和方法可以在半自主或完全自主模式(在本文中被称为“自主”驾驶模式)下的任何一种模式(例如，1-5级)下工作。因此，对自主驾驶模式的引用包括部分自主和完全自主二者。
如图3所示，示例车辆包括一个或多个计算设备302，诸如包含一个或多个处理器304、存储器306和通常存在于通用计算设备中的其他组件的计算设备。存储器306存储可由一个或多个处理器304访问的信息，包括可由(多个)处理器304执行或者以其他方式使用的指令308和数据310。当在自主模式下操作时，计算系统可控制车辆的整体操作。
存储器306存储处理器304可访问的信息，包括可由处理器304执行或以其他方式使用的指令308和数据310。存储器306可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘驱动器、存储卡、光盘、固态等。系统可以包括上述的不同组合，指令和数据的不同部分通过上述的不同组合被存储在不同类型的介质上。
指令308可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”、“模块”和“程序”可以在本文互换使用。数据310可由一个或多个处理器304根据指令308来检索、存储或修改。在一个示例中，存储器306的部分或全部可以是事件数据记录器或其它安全数据存储系统，其被配置成存储车辆诊断和/或检测到的传感器数据，该车辆诊断和/或检测到的传感器数据取决于实施方式，可以是在车辆上的或远程的。
处理器304可以是任何传统处理器，诸如商业可用CPU。可替代地，每个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图3在功能上示出了计算设备302的处理器、存储器和其他元件在同一块内，但是这些设备实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以或可以不存储在相同的物理壳体内。类似地，存储器306可以是位于不同于(多个)处理器304的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或可以不并行操作的处理器或计算设备或存储器的集合的引用。
在一个示例中，计算设备302可形成并入车辆100中的自主驾驶计算系统。该自主驾驶计算系统可能够与车辆的各种组件通信。例如，计算设备302可以与车辆的各种系统通信，包括驾驶系统，驾驶系统包括减速系统312(用于控制车辆的制动)、加速系统314(用于控制车辆的加速)，转向系统316(用于控制车轮方向和车辆方向)、信号系统318(用于控制转向信号)、导航系统320(用于将车辆导航到某个位置或周围物体)和定位系统322(用于确定车辆位置)。根据导航系统320和定位系统322，自主驾驶计算系统可以部分地作为规划器操作，例如，用于确定从起点到目的地的路线。
计算设备302还操作地耦合到感知系统324(用于检测车辆环境中的物体)、电力系统326(例如，电池和/或燃气或柴油动力的引擎)和传输系统330，以便在不要求或不需要来自车辆乘客的连续或周期性输入的自主驾驶模式下根据存储器306的指令308控制车辆的运动、速度等。车轮/轮胎328中的一些或全部耦合到传输系统330，并且计算设备302可以能够接收关于轮胎压力、平衡和可能影响自主模式下驾驶的其他因素的信息。电力系统326可以具有多个配电元件327，配电元件327中的每一个可以能够向车辆的选定组件和其他系统供电。
计算设备302可以通过控制各种组件来控制车辆的方向和速度。作为示例，计算设备302可以使用来自地图信息和导航系统320的数据完全自主地将车辆导航到目的地位置。计算设备302可以使用定位系统322来确定车辆的位置，并且使用感知系统324在需要时检测和响应物体以安全到达目的地。为此，计算设备302可使车辆加速(例如，通过增加由加速系统314提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、改变档位和/或通过减速系统312施加制动)、改变方向(例如，通过转向系统316转动车辆100的前轮或其他车轮)，并发出此类变化的信号(例如，通过亮起信号系统318的转向信号灯)。因此，加速系统314和减速系统312可以是动力传动系统或其他类型的传输系统330的一部分，该动力传动系统或其他类型的传输系统330包括车辆的引擎和车轮之间的各种组件。同样，通过控制这些系统，计算设备302还可以控制车辆的传输系统330，以便自主地操纵车辆。
导航系统320可由计算设备302使用以确定并跟随到某个位置的路线。在这方面，导航系统320和/或存储器306可以存储地图信息，例如计算设备302可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以识别道路、车道标记、交叉口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被或其他此类物体和信息的形状和高度。车道标记可包括诸如实的或虚的双车道线或单车道线、实的或虚的车道线、反光镜等特征。给定车道可与左车道线和/或右车道线或定义车道边界的其他车道标记相关联。因此，大多数车道可能由一条车道线的左边缘和另一条车道线的右边缘限定。
感知系统324还包括用于检测车辆外部物体的传感器。检测到的物体可以是其他车辆、道路中的障碍物、交通信号、标志、树木等。如下面将更详细地讨论的，感知系统324被布置成与两个(或更多个)传感器域(诸如如图所示的传感器域A和传感器域B)一起操作。在每个域中，系统可以包括外部传感器套件和内部传感器套件中的一个或两者。如下文所进一步讨论的，外部传感器套件使用一个或多个传感器来检测车辆外部环境中的物体和状况。内部传感器套件可以使用一个或多个其他传感器来检测车辆内(诸如乘客舱内)的物体和状况。
图4示出了感知系统324的一个示例。例如，如图所示，感知系统324的每个域可以包括一个或多个光探测和测距(激光雷达)传感器400、雷达单元402、照相机404(例如，具有或不具有中性密度滤波器(ND)滤波器的光学成像设备)、定位传感器406(例如，陀螺仪、加速计和/或其他惯性组件)、红外传感器408、声学传感器410(例如麦克风或声纳传感器)，和/或记录可由计算设备302处理的数据的任何其他检测设备412。外部传感器套件中的感知系统324的传感器可检测车辆外部的物体及其特征，诸如位置、方向、大小、形状、类型(例如，车辆、行人、骑自行车的人等)，朝向、移动速度等。内部传感器套件的传感器可检测车内物体(例如人、宠物、包裹)以及车内状况(如温度、湿度等)。
来自传感器的原始数据和上述特性可由感知系统324处理和/或随着感知系统324生成数据而周期性地以及连续地被发送到计算设备302以供进一步处理。计算设备302可使用定位系统322来确定车辆的位置，并使用感知系统324在需要时检测和响应物体以安全地到达位置。另外，计算设备302可以执行单个传感器的校准、特定传感器组件中的所有传感器的校准、或者不同传感器组件或其他物理壳体中的传感器之间的校准。
如图1-2所示，感知系统324的某些传感器可并入一个或多个传感器组件或壳体中。在一个示例中，这些可以被布置为集成到车辆上的侧视镜中的传感器塔(sensortower)。在另一示例中，其他传感器可以是车顶壳体102的一部分。计算设备202可以与位于车辆上或以其他方式沿车辆分布的传感器组件通信。每个组件可具有一种或多种类型的传感器，诸如上述传感器。
回到图3，计算设备302可以包括通常与计算设备(诸如，上述处理器和存储器)结合使用的所有组件以及用户接口子系统334。用户接口子系统334可以包括一个或多个用户输入336(例如，鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示设备338(例如，具有屏幕的监视器或可操作以显示信息的任何其他电气设备)。在这方面，内部电子显示器可位于车辆的车厢内(未示出)，并且可由计算设备302用于向车辆内的乘客提供信息。其他输出设备，诸如(多个)扬声器340，也可以位于乘用车内。
乘用车还包括通信系统342。例如，通信系统342还可以包括一个或多个无线网络连接，以便于与其他计算设备(诸如车辆内的乘客计算设备)进行通信，以及在车辆外部的计算设备，诸如在道路上的另一附近车辆或远程服务器系统中。网络连接可以包括短程通信协议，诸如蓝牙、蓝牙低功耗(LE)、蜂窝连接，以及各种配置和协议，包括因特网、万维网、内部网、虚拟专用网、广域网、局域网、使用专有于一个或多个公司的通信协议的专用网络、以太网、WiFi和HTTP以及前述各项的各种组合。
如图3所示，系统可以包括用于传输信息和/或电力的一个或多个总线344。总线能够在各种组件和子系统之间提供直接或间接的连接。例如，数据通信总线可以在感知系统324的照相机和其他传感器与计算设备302之间提供双向通信。电力线可以直接或间接地连接到电力系统326的配电元件327，或者连接到诸如由计算设备302控制的电池之类的独立电源。各种协议可用于单向或双向数据通信。举例来说，可采用使用控制器局域网(CAN)总线架构的协议或基于以太网的技术，诸如100Base-T1(或1000Base-T1或10GBase-T)以太网。也可以使用其他协议，诸如FlexRay。此外，可采用汽车音频总线
示例实施方式
鉴于上述和图中所示的结构和配置，现在将根据本技术的各方面来描述各种实施方式。
部分冗余–传感器后备模式
可以将车辆周围的环境视为具有不同的象限或区域。图5A中示出了这方面的一个示例，其示出了车辆周围的前、后、右侧和左侧区域以及右前、左前、右后和左后区域的相邻区域。这些区域仅仅是示例性的。
各种传感器可以位于车辆周围的不同位置(见图1-2)以从这些区域中的一些或全部收集数据。例如，如图5B所示，图1的三个传感器116可以主要从车辆周围的前、左前和右前区域接收数据。
某些传感器可以具有不同的视野，这取决于它们在车辆周围的放置情况以及它们被设计用来收集的信息的类型。例如，不同的激光雷达传感器可用于近距离(短程)检测车辆附近的物体(例如，小于2-10米)，而其他传感器可用于远距离(远程)检测车辆前方100米(或更多或更少)的物体。也可以采用中程激光雷达。可将多个雷达单元定位于朝向车辆的前部、后部和/或侧面，以用于远程物体检测。可以布置照相机以提供车辆周围良好的可见性。取决于配置，某些类型的传感器可以包括具有重叠视野的多个单独传感器。可替代地，其他传感器可以提供冗余360°视野。
图6提供了与图2中所示的传感器相关的传感器视野的一个示例600。这里，如果车顶壳体102包括激光雷达传感器以及各种照相机、雷达单元、红外和/或声学传感器，则这些传感器中的每一个都可以具有不同的视野。因此，如图所示，激光雷达传感器可以提供360°FOV 602，而布置在壳体102内的照相机可具有单独的FOV 604。车辆前端的壳体104内的传感器具有前向FOV 606，而后端的壳体112内的传感器具有后向FOV 608。车辆驾驶员侧和乘客侧的壳体106a、106b各自可包括具有相应FOV 610a或610b的激光雷达和/或其他传感器。类似地，位于朝向车辆的后车顶部分的壳体108a、108b内的传感器各自具有相应的FOV612a或612b。并且沿着车辆的前向方向布置的一系列传感器单元116可以具有相应的FOV614、616和618。这些视野中的每一个仅仅是示例性的，而不是根据覆盖范围来缩放。
如上所述，多个传感器可以布置在给定的壳体中或作为一个组件。图7中示出了一个示例。该图展示了根据本公开的各方面的传感器组件的示例700。如图所示，传感器组件包括壳体702，壳体702安装在虚线所示的车辆车顶部分704上。壳体702可以是如图所示的圆顶形状、圆柱形、半球形或具有不同的几何形状。在壳体702内，第一传感器706被远程布置或布置在远离车顶的位置，而第二传感器708被靠近车顶布置。传感器706和708中的一个或两者可以是激光雷达或其他类型的传感器。设置在第一传感器706和第二传感器708之间的是成像组件710。成像组件710包括沿其布置的一组或多组照相机。壳体702可以至少沿布置照相机的位置是光学透明的。虽然在图7中未示出，但是可以包括一个或多个处理器(诸如图3的处理器304)作为传感器组件的一部分。处理器可以被配置成处理从照相机组件的各种图像传感器接收到的原始图像，以及从整个传感器组件的其他传感器接收到的信息。
取决于配置，可以布置各种传感器以提供互补和/或重叠的视野。例如，照相机组件710可以包括第一子系统，该第一子系统具有被定位以提供车辆周围整体360°视野的多对图像传感器。照相机组件710还可以包括通常朝向车辆前部的图像传感器的第二子系统，例如以便以大约90°的前视野提供更高的分辨率、不同的曝光、不同的滤波器和/或其他附加特征，例如以便更好地识别前方道路上的物体。该子系统的视野也可以大于或小于90°,例如在60-135°之间.图8提供了第一子系统和第二子系统的各种图像传感器的方向的示例800。图像传感器可以是CMOS传感器，尽管可以使用CCD或其他类型的成像元件。
照相机、激光雷达和/或其他传感器子系统的高度将取决于车辆上各种传感器的放置和车辆类型。例如，如果照相机组件710安装在大型SUV的车顶上或其上方，则该高度通常将高于照相机组件安装在轿车或跑车的车顶上时的高度。此外，由于放置和结构限制，车辆所有区域周围的能见度可能不相等。通过改变照相机组件710的直径和在车辆上的放置，可以获得合适的360°视野。例如，照相机组件710的直径可以从例如0.25到1.0米或更大或更小之间变化。直径可选择为较大或较小，这取决于将要放置照相机组件的车辆类型以及照相机组件将在车辆上的具体位置。
如图8所示，照相机组件的第一子系统的每个图像传感器对可以包括第一图像传感器802和第二图像传感器804。第一图像传感器和第二图像传感器可以是单独照相机元件的一部分，或者可以一起包括在一个照相机模块中。在这种情况下，第一图像传感器802可被设置为自动曝光，而第二图像传感器804可被设置为固定曝光，例如，使用暗或ND滤波器。如图所示，示出了8对图像传感器，尽管可以采用更多或更少的对。第二图像子系统包括图像传感器806，其可具有比第一图像传感器和第二图像传感器的分辨率更高的分辨率。这种增强的分辨率对于面向车辆前部的照相机尤其有利，以便向感知系统324提供尽可能多的车辆前部场景细节。图8示出了第二子系统的3个图像传感器，尽管可以采用更多或更少的图像传感器。在本示例中，总共有19个图像传感器被合并到照相机组件710中，包括来自第二子系统的3个和来自第一子系统的8对。同样，可以在照相机组件中采用更多或更少的图像传感器。
每个图像传感器的确切视野可以变化，例如取决于特定传感器的特征。举例来说，图像传感器802和804可以具有大约50°FOV，例如，49°-51°,而图像传感器806每个可以具有约30°的FOV或者稍微多一些，例如多5-10％。这允许相邻图像传感器的FOV重叠。
选定的重叠量是有益的，因为图像中的接缝或间隙或由各种传感器生成的其他数据是不需要的。此外，所选择的重叠使得处理系统能够避免将图像缝合在一起。虽然图像缝合可以在传统全景图像处理中完成，但是在车辆在自主动驾驶模式下操作的实时情况下进行图像缝合在计算上可能具有挑战性。减少所需的时间和处理资源，大大提高车辆驾驶时感知系统的响应。
图9A-9B示出了相邻传感器区域之间的图像传感器重叠的两个示例。如图所示，对于覆盖车辆前面和右前区域的图像传感器，可以存在0.5-5°之间的重叠900(图9A)，或者可替代地不超过6-10°的重叠。该重叠900可应用于一种类型的传感器，诸如图8的图像传感器802。不同的重叠可应用于另一类型的传感器。例如，可以存在2-8°之间的重叠902(图9B),或者可替代地不超过8-12°的图8的图像传感器804的重叠。取决于例如车辆类型、大小、传感器类型等，也可以为系统设计更大或更小的重叠。
示例场景
如上所述，如果传感器或其他组件出现故障或能力下降，可能会限制车辆的驾驶能力或完全阻止操作。例如，一个或多个传感器可能会遇到由于例如机械或电气失效、由于环境条件(诸如极冷、雪、冰、泥或灰尘阻塞)导致的劣化或其他因素导致的错误。在这种情况下，后备配置被设计为提供至少最小量的传感器信息，以便感知和规划系统能够根据给定的操作模式进行操作。操作模式可包括，例如，在维修前完成当前驾驶活动(例如，乘客在期望位置下车)，改变路线和/或速度(例如，退出高速公路并沿地面街道行驶，将速度降低到路线的最低标示限值等)，或在安全的情况下尽快停车。
举例来说，后备配置可与两个不同的域相关联，例如，域A和域B(参见图3-4)。每个域不需要是另一个域的镜像。例如，某些组的前向传感器可分配给域A，而具有不同能力的不同组的前向传感器可分配给域B。在一个场景中，每种类型的传感器可以包括在每个域中。在另一个场景中，每个域中至少一(组)(多个)前置照相机总是可用于交通灯检测。在进一步的场景下，具有360°视野的至少一个传感器被分配给每个域，用于检测和分类车辆外部的物体。而在另一个场景中，一个或多个传感器可以每个操作性地作为两个域的一部分。因此，基于系统是使用仅域A的传感器、使用仅域B的传感器还是使用域A和B的组合的传感器，在能力上可能存在差异。
例如，考虑在一个场景中图6示出了标准操作模式，其中来自两个(或所有)域的各种传感器正被车辆的感知和规划系统使用。图10A示出了域A操作的一个示例1000。图10B示出了域B操作的一个示例1010。这里，可以看出，不同的传感器或传感器组可以由仅一个域或由全部两个域使用。举例来说，图6的激光雷达传感器仍然可以为全部两个域提供360°FOV。然而，在域A中，它可能只提供在标准操作期间它会提供的垂直分辨率的1/2量的垂直分辨率1002。类似地，在域B中，激光雷达传感器也可以仅提供在标准操作期间它会提供的垂直分辨率的1/2量的垂直分辨率1012。
并且，虽然壳体102(图2)内的照相机具有也可以提供整体360°FOV的单独的视野604，每个域可以采用不同的照相机组。这里，例如，域A可以包括第一图像传感器802(例如，自动曝光)以提供第一图像感测能力1004，而域B可以包括第二图像传感器804(例如，设置为固定曝光)以提供第二图像感测能力1014。然而，域A和域B两者都可以包括图像传感器806。这情况可以是因为图像传感器806可以具有比图像传感器802和804更高的分辨率，并且面向车辆的前部。这种增强的分辨率可能特别有利于检测车辆前方的路灯、行人、骑自行车的人等。因此，如图10A和图10B两者所示，每个域可以具有来自这种增强分辨率图像传感器的图像感测能力1006。在其它示例中，域B可包括图像感测能力1006，其中包括其它前向图像感测能力的域A不包括图像感测能力1006。
图11A-D示出了诸如雷达传感器的其他传感器如何在不同域中被采用。图11A示出了具有相应的单独FOV 1111-1116的一组6个传感器1101–1106的组合FOV 1100。组合FOV1100可以在标准操作模式下可用。在与域A的操作期间，如图11B所示，仅采用传感器1101、1102、1104和1106，得到域AFOV配置1110。并且在与域B的操作期间，如图11C所示，仅采用传感器1101、1103、1105和1106，得到域B FOV 1120。在这些域A和B的示例中，利用全部两个前向传感器二者并提供重叠视野。
在这种场景下，域A或域B配置可以单独地为车辆提供足够的传感器数据以在第一后备模式下操作。例如，车辆可能仍然能够在高速公路上驾驶，但在较慢的车道中，或以最低标示速度，或低于另一个速度阈值。或者，车辆可以能够选择到目的地的替代路线，该路线具有更少的转弯或更少的预期附近物体(例如，更少的汽车)，例如通过走地面街道而不是高速公路。相反，图11D示出了用于第二后备模式的不同场景1120，其中只有前向传感器1101和1106可用。在此后备模式下，系统可能对驾驶操作进行重大更改，因为只有视野1111和1116正向车辆提供传感器输入。这可能包括，例如，选择与计划目的地不同的附近下车点，用信号系统打开危险信号灯等。
虽然上述示例已经讨论了用于不同后备场景的激光雷达、照相机和雷达传感器，但是其他类型的传感器(例如，定位、声学、红外等)也可以在不同域之间分配，以提供足以在给定操作模式下控制车辆的部分冗余。
部分冗余-计算机系统后备模式
该技术的其他方面包括并入计算系统的冗余。在典型操作期间，第一计算系统(例如，规划器子系统)可以生成轨迹并将其发送给第二计算系统，以便根据该轨迹控制车辆。这些计算系统中的每一个可以是计算设备302(图3)的一部分。对于冗余，两个子系统可能各有一个或多个处理器和相关联的存储器。在本示例中，每个子系统都独立供电和操作，但共享传感器数据和资源以处理基本的车辆操作。如果子系统中的其中一个故障，例如，由于CPU崩溃、内核错误、电力失效等，则另一个子系统能够在指定的后备操作状态下控制车辆。
在一种配置中，两个计算子系统都能够在标准操作模式和后备模式下控制车辆。每个子系统经由一个或多个CAN总线或FlexRay总线连接到各自的域。然而，每个域中的传感器套件不必相同、互补或完全重叠。例如，某些“后备”传感器可分配给控制子系统A(例如，图11B的传感器1102、1104和1106)，其他后备传感器可分配给控制子系统B(例如，图11C的传感器1101、1103和1105)，并且其他“非后备”传感器可仅分配给控制子系统A(参见图12)。
与后备传感器不同，非后备传感器不需要分配到任何特定域，也不需要具有任何域独立性或冗余性。这种情况是因为非后备传感器与提供最低可行后备能力无关，而可能仅用于标准操作模式。尽管如此，如果有其他原因(例如，车辆集成)将此类传感器放在一个域或另一个域上，则可以在不影响后备操作的情况下容纳这些传感器。一个示例是，一个域具有比另一个域更多的电源净空，因此该域可以容易地容纳非后备传感器。在另一个示例中，在一个特定域上布线可能更容易，因此非后备传感器可以绑定到该域。
图12示出了自驾驶系统配置的一个示例1200。如图所示，每个域包括一个或多个处理器1202a或1202b，其可以是来自计算系统302的处理器304。每个域还包括相应的操作模式逻辑1204a、1204b，其可以包括供处理器1202a、1202b执行的软件或固件模块。操作模式逻辑1204a、1204b可以包括用于在标准操作模式以及一个或多个后备操作模式下执行的独立组件。不同域的后备模式可涉及以不同方式操作车辆，例如根据与相应域相关联的后备传感器的类型和能力。并且如图12所示，域之一(例如，域A)可以包括不同的计算资源，诸如一个或多个图形处理单元(GPU)1206或其他计算加速器(例如，ASIC、FPGA等)。这里，一组后备传感器与域A相关联，另一组后备传感器与域B相关联，并且一个或多个非后备传感器也与域A相关联，尽管其他配置是可能的，例如，后备传感器被分配到域B，或者其中一个子集被分配给域A并且另一个子集被分配给域B。两个(或更多个)计算域不需要具有相同的性能或相同类型的计算元件，尽管在某些配置中，它们可能具有等效的性能和/或相同类型的计算元件。
仅作为示例，在该配置中，域A可以在标准操作期间支持感知系统(例如，图3-4的感知系统324)，而域B可以在标准操作期间支持规划器(例如，基于图3的导航系统320和定位系统322的路线规划)。(多个)GPU 1206可被配置成在标准操作期间处理从车载传感器中的一些或所有接收的传感器数据。
在一个场景中，每个计算子系统可具有足够的传感器输入和足够的计算能力(例如，处理接收到的传感器数据的处理器和存储器资源)，以在相应的标准和后备操作模式下操作车辆。两个(或更多个)域可以在标准模式下共享信息。这样，各种域和子系统可以用来提供光学FOV覆盖。根据该技术的各方面，可以保留一些计算资源来处理后备操作。并且标准模式下的一些典型操作可能会在后备情况中停止。例如，一个或多个前向高分辨率照相机(例如，图8的照相机806)可被认为是非后备关键传感器。作为结果，如果进入后备模式，可以停止处理来自这些照相机的输入。
部分冗余–配电后备模式
在配电方面，本技术的各方面提供了两个故障独立的电源，每个都有备用电池。举例来说，双电源是操作地隔离的，以使得主要故障仅限于一个域。每个电源可以为特定的一组基本车辆负载服务。图13A示出了示例冗余配电架构1300。如在该场景中所示，每个域具有其自己的独立电源。在这里，每个域的电源和负载都由插入式电子保险丝保护。实际上，在正常操作期间，e-保险丝将是一个闭合电路。如果它检测到过电流、欠电压或过温(或其他异常情况)形式的失效，它将迅速反应以变成开路，从而隔离这两个域。
每个电源都有备用电池，并配置为提供12伏左右的汽车标准(例如，在8-16伏范围内)。每个域具有分离的配电块1302a、1302b，诸如图3的配电元件327。
DC/DC单元是一个电压转换器，它从上游的高压电池组获取电力，并将其转换为低压(例如12V)以为12V电池充电。在e-保险丝架构中，由于e-保险丝的存在，DC/DC单元可以在一切正常工作(无故障)时对系统的两半进行充电，因此不要求2个DC/DC单元。当发生故障时，系统不一定需要使用DC/DC单元，因为电力可以由每个域上的冗余低压备用电池供应。
不需要e-保险丝的电力冗余的另一个示例是双独立DC/DC系统1310，如图13B所示。在这里，每个域由其自己的DC电源服务。在该示例中，每个域具有分离的配电块1312a、1312b。提供系统接地，以便域的回流路径不会呈现单点失效。
可能存在后备关键执行器(actuator)，诸如制动器、转向和/或推进。并且可能存在非后备关键执行器，诸如喇叭、座舱灯、加热和空调系统等。被认为是后备关键的执行器可以是冗余的(例如，2个或更多个分离的执行器)，和/或此类执行器可以从全部两个域接收电力。相反，非后备关键执行器可能没有冗余组件和/或可能仅从单个域接收电力。
车辆的其他子系统也可能存在冗余。例如，可以使得制动和转向子系统是冗余的(除了被冗余供电之外)。类似地，与其他车辆的通信或远程协助可采用多个蜂窝通信链路或其他类型的通信链路。可以使用两个或更多个GPS接收器。甚至雨刮器、喷雾器或其他清洁组件也可以配置为冗余，并且可以在一个或全部两个(或更多个)域上被供电(作为基本负载)。基本车辆负载可包括单独的传感器、传感器套件、计算设备、执行器和/或其它组件，诸如关于图3所讨论的那些组件。
图14示出了根据本技术的各方面操作车辆的方法1400。如块1402所示，由车辆的传感器(例如，激光雷达、雷达、照相机、听觉和/或定位传感器)检测关于车辆的环境的信息。在块1404，检测到的信息由车辆的控制系统接收，诸如图3的(多个)计算系统302或图12的系统1200。根据块1406，响应于在第一操作模式下接收传感器数据，车辆的驾驶系统被自主控制。在块1408，检测车辆的传感器中的一个或多个的错误状况。这可能是由于，例如，传感器能力的失效、故障或其他下降。
在块1410，在检测到错误状况时，第一计算子系统处理来自第一操作域中的第一组传感器的传感器数据，并且第二计算子系统处理来自第二操作域中的第二组传感器的传感器数据。结果，在块1412，响应于错误状况，第一或第二计算子系统中的一个以后备驾驶模式控制车辆的驾驶系统。在一些示例中，在检测错误状况之前，第一计算子系统可以在标准操作模式下操作功能(例如，规划器、感知等)，并且第二计算子系统可以在标准操作模式下操作另一功能。
除非另有说明，否则上述替代示例不是相互排斥的，而是可以以各种组合来实施以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用上述特征的这些和其他变化及组合，因此上述实施例的描述应当通过说明而不是通过限制权利要求所限定的主题来进行。此外，本文所描述的示例的规定以及措辞为“诸如”、“包括”等的语句不应被解释为将权利要求的主题限定于具体示例；而是，示例旨在说明许多可能实施例中的仅一个。此外，不同附图中的相同参考标号可以标识相同或相似的元件。除非本文另有明确指示，否则可以以不同的顺序或同时执行所述过程或其它操作。
机译： 自主车辆冗余硬件系统
机译： 自动车辆的冗余硬件系统
机译： 自治车辆冗余硬件系统
