用于检测交通信号及其关联状态的鲁棒方法

摘要

公开了用于检测交通信号及其关联状态的方法和设备。在一个实施例中，一种示例方法包括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类区域。该方法还可包括在目标区域信息中检测交通信号，确定交通信号的位置，并且确定交通信号的状态。另外，还可确定对交通信号的置信度。例如，可将交通信号的位置与交通信号的已知位置相比较。基于交通信号的状态和对交通信号的置信度，可在自主模式中控制车辆。

说明书

相关申请的交叉引用

本申请要求2012年3月26日递交的序列号为13/430,150的美国专利申 请的优先权，特此通过引用并入该申请的内容。

背景技术

一些车辆被配置为在自主模式中运转，其中车辆在几乎没有或没有来自 驾驶员的输入的情况下导航经过一环境。这种车辆可包括被配置为感测关于 该环境的信息的一个或多个传感器。车辆可使用感测到的信息来导航经过该 环境。

例如，如果传感器的输出指示出车辆正在接近障碍物，则车辆可导航绕 过该障碍物。此外，车辆可感测关于交通标志和交通信号的信息。例如，交 通标志可提供监管信息或警告信息，而位于道路交叉口、人行横道和其他位 置的交通信号可用于控制竞争的交通流。

发明内容

在一个示例方面中，公开了一种方法，其包括利用车辆的一个或多个传 感器扫描目标区域以获得目标区域信息。车辆可被配置为在自主模式中运转 并且目标区域可以是交通信号通常所位于的一类区域。该方法还可包括在目 标区域信息中检测交通信号并且确定交通信号的位置。此外，可确定交通信 号的状态和对交通信号的置信度。确定对交通信号的置信度可包括但不限于 将交通信号的位置与交通信号的一个或多个已知位置相比较。根据该方法， 可基于交通信号的状态和对交通信号的置信度来在自主模式中控制车辆。

在另一示例方面中，公开了一种非暂态计算机可读介质，其中存储有指 令，这些指令可被计算设备执行来使得该计算设备执行功能。这些功能可包 括利用车辆的一个或多个传感器扫描目标区域以获得目标区域信息。车辆可 被配置为在自主模式中运转并且目标区域可以是交通信号通常所位于的一类 区域。这些功能还可包括在目标区域信息中检测交通信号并且确定交通信号 的位置。此外，基于这些功能，可以确定交通信号的状态和对交通信号的置 信度。确定对交通信号的置信度可包括但不限于将交通信号的位置与交通信 号的一个或多个已知位置相比较。根据这些功能，可基于交通信号的状态和 对交通信号的置信度来在自主模式中控制车辆。

在另一示例方面中，公开了一种被配置为在自主模式中运转的示例车辆。 该车辆可包括一个或多个传感器、存储器、处理器以及存储在存储器中并可 被处理器执行的指令。指令可被执行来使得一个或多个传感器扫描目标区域 以获得目标区域信息。目标区域可以包括交通信号通常所位于的一类区域。 指令还可被执行来在目标区域信息中检测交通信号，确定交通信号的位置， 并且确定交通信号的状态。此外，指令可被执行来确定对交通信号的置信度。 确定对交通信号的置信度可包括将交通信号的位置与交通信号的一个或多个 已知位置相比较。指令还可被执行来基于交通信号的状态和对交通信号的置 信度来在自主模式中控制车辆。

前述发明内容只是说明性的，而并不打算以任何方式进行限定。除了以 上描述的说明性方面、实施例和特征以外，通过参考附图和以下详细描述， 另外的方面、实施例和特征将变得清楚。

附图说明

图1是控制车辆的示例方法的框图。

图2A-2C是扫描目标区域的车辆的示例概念图示。

图3A-3B是用于控制车辆的示例流程图和关联状态表。

图4是用于控制车辆的另一示例流程图。

图5A-5C是扫描目标区域的车辆的更多示例概念图示。

图6根据实施例示出了示例车辆。

图7是根据实施例的示例车辆的简化框图。

图8是示出根据本文给出的至少一些实施例布置的包括用于在计算设备 上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的 示意图。

具体实施方式

在以下详细描述中，参考形成描述的一部分的附图。在附图中，相似的 符号通常标识相似的组件，除非上下文另有规定。详细描述、附图和权利要 求中描述的说明性实施例并不欲进行限定。可以利用其他实施例，并且可以 作出其他改变，而不脱离本文给出的主题的范围。容易理解，本文概括描述 的以及附图中示出的本公开的各方面可按许多种不同的配置来布置、替换、 组合、分离和设计，所有这些在这里都已明确设想到。

车辆，例如被配置为自主运转的车辆，可被配置为扫描目标区域以获得 目标区域信息。车辆的一个或多个传感器可扫描目标区域。在一个示例中， 目标区域可以是交通信号通常位于其中的一类区域。例如，关于交通信号通 常出现之处的一般信息，例如接近交叉口、高度范围、接近道路边缘等等， 可用于确定目标区域。在一些示例中，车辆的传感器可连续地扫描目标区域 以找到被临时或永久移动的交通灯，和/或找到新的交通灯，例如没有关于其 的在先信息可得的交通灯。

作为示例，与交通信号的已知位置相关联的数据可指示出给定百分比的 交通灯出现在由地面之上的高度下限和高度上限定义的高度范围内。车辆可 使用该高度范围来扫描即将来到的区域以获得高度下限与高度上限之间的目 标区域信息。

在一些情况中，可在目标区域信息中检测交通信号。在交通信号的地图 暗示出交通信号存在于环境的某一区域中的情况中，车辆可预期在目标区域 信息中找到交通信号。或者，如果交通信号的地图没有在目标区域中指示出 任何交通信号，那么车辆仍可在交通信号实际存在的情况下扫描目标区域。 此外，可以确定与检测到的交通信号相关联的状态。关联状态随后可用于控 制自主模式中的车辆。

在另一情况中，可以基于检测到交通信号的场景来确定检测到的交通信 号和交通信号的关联状态的置信度。例如，车辆可以对于在车辆预期检测到 交通信号的位置中检测到的交通信号的置信度更高，并且对于在车辆未预期 检测到交通信号的位置中检测到的交通信号的置信度更低。因此，在一些示 例中，可基于对交通信号的置信度来修改对车辆的控制。

图1是控制车辆的示例方法100的框图。图1所示的方法100表示例如 可用于本文描述的车辆的方法，并且可由车辆或车辆的组件来执行，或者更 一般而言由服务器或其他计算设备来执行。方法100可包括如方框102-112 中的一个或多个所示的一个或多个操作、功能或动作。虽然这些方框是按先 后顺序示出的，但这些方框可被并行执行，和/或按与本文描述的那些不同的 顺序执行。另外，基于期望的实现方式，各种方框可被组合成更少的方框， 划分成额外的方框，和/或被去除。

此外，对于方法100和本文公开的其他过程和方法，框图示出了所呈现 实施例的一种可能实现方式的功能和操作。在此，每个方框可表示程序代码 的模块、片段或部分，程序代码包括可由处理器执行来实现该过程中的特定 逻辑功能或步骤的一个或多个指令。程序代码可被存储在任何类型的计算机 可读介质上，例如包括盘或硬盘驱动器的存储设备。计算机可读介质可包括 非暂态计算机可读介质，例如像寄存存储器、处理器缓存和随机访问存储器 (Random Access Memory，RAM)那样短时间存储数据的计算机可读介质。 计算机可读介质还可包括非暂态介质，例如次级或永久长期存储装置，比如 只读存储器(read only memory，ROM)、光盘或磁盘以及致密盘只读存储器 (compact-disc read only memory，CD-ROM)。计算机可读介质还可以是任何 其他易失性或非易失性存储系统。计算机可读介质可被认为是例如计算机可 读存储介质、有形存储设备或者其他制品。

此外，对于方法100和本文公开的其他过程和方法，每个方框可表示被 配置为执行该过程中的特定逻辑功能的电路。

如图所示，最初，在方框102，方法100包括利用车辆的一个或多个传 感器扫描目标区域以获得目标区域信息。在一些情况中，车辆可被配置为在 自主模式中运转。参考图6和图7描述的车辆是可被配置为自主运转的车辆 的一个这种示例。在一些情况中，基于交通信号的状态和位置确定的控制命 令可用于辅助车辆的驾驶员或作为输入被提供到车辆的控制系统。

在一个示例中，目标区域可以是交通信号通常位于其中的一类区域。例 如，目标区域可包括对于交通信号来说典型的高度和或宽度的范围。目标区 域可以与车辆的行进方向相对应的即将来到的区域的一部分。在一种情况中， 关于交通信号的已知位置的统计信息可指示出给定百分比的交通信号出现在 地面以上的某一高度范围之间。作为示例，收集的关于交通信号的数据可指 示出90％的交通信号被升高在地面以上的10到16英尺之间。类似地，关于 交通信号的已知位置的信息可指示出给定百分比的交通信号位于行车道或道 路的左侧或右侧的给定量以内。基于关于交通信号的位置的统计资料，可以 选择预定的目标区域。

因此，在一个示例中，车辆可不断地扫描目标区域。在一些情况中，目 标区域可基于车辆或者车辆位于其中的环境的状况而变化。作为示例，可基 于车辆的速度或朝向来加宽或缩窄目标区域。车辆可包括GPS接收器(或其 他地理定位组件)来确定地理位置，并且包括加速度计、陀螺仪或其他加速 度设备来确定与重力的方向有关的俯仰、偏航和滚转(或者其变化)。在一些 情况中，如果车辆在转向，则可加宽目标区域。在另一情况中，当车辆的地 理位置正接近交叉口时，可以扩展目标区域。在一些情况中，可以将车辆的 地理位置与包括关于道路的交叉口的信息的环境的地图相比较来确定车辆接 近交叉口。

车辆的一个或多个传感器可包括成像组件和/或非成像组件。例如，各种 类型的相机可按各种配置被安装到车辆以获得目标区域信息。在一种情况中， 相机可被定位为正对前方并且安装在后视镜后面或附近。此外，相机可利用 具有30度视野的固定镜头来捕捉相机的感兴趣的特定区域，例如2040x1080 区域。可以校准相机来在各种距离检测交通信号以确保合理的刹车距离。在 另一示例中，可以设定相机的增益和快门速度来避免在日间和/或夜间期间交 通灯的饱和。

在另一示例中，一个或多个传感器可包括被配置为确定到目标区域中的 物体的表面的距离的三维(3D)扫描设备。在一种情况中，结构化光投影设 备和相机可用于确定描述目标区域的三维点云。在另一情况中，诸如LIDAR 或激光测距仪之类的激光和/或雷达设备可扫描目标区域以确定到物体的距 离。在其他情况中，立体相机或飞行时间相机可用于距离成像。从而，目标 区域信息可包括二维图像和描述目标区域的三维点云的任何组合。

目标区域信息也可被存储在一个或多个短期或长期存储器中。在方框 104，方法100包括在目标区域信息中检测交通信号。在一些情况中，可在目 标区域信息中识别对于交通信号预期的图案、模板、形状或签名。作为示例， 交通信号分类器可找到具有适当大小和纵横比的红、黄、绿物体的图案，并 且将该图案标记为潜在的交通信号。示例图像处理技术可用于识别图像的与 已知图案匹配的一个或多个部分。模板匹配是一个可能的示例。虽然本公开 是结合具有一组红、黄、绿灯的典型垂直或水平交通信号来描述的，但应理 解这种特定结构只是用作示例。交通信号可能有所变化并且有时候可能有复 杂的几何结构，并且这些额外的几何结构也可被检测。

在目标区域信息包括三维点云的示例中，可以检测3D点云中的可具有 对于交通信号预期的形状的物体。例如，基于3D点云的物体识别系统可用 于识别描述3D点云内的兴趣点的特征。随后可将这些特征与对于一类或多 类交通信号的3D模型预期的特征相比较来识别兴趣点的群组作为3D点云内 的是交通信号的物体。

在方框106，方法100包括确定交通信号的位置。在一些情况中，车辆 的地理位置信息和/或朝向信息可与目标区域信息相关联。例如，在目标区域 信息包括图像的情况中，与图像相关联的元数据可指示出在获得该目标区域 信息时车辆(或者车辆的用于获得目标区域信息的传感器)的地理位置和朝 向。基于车辆和/或车辆的传感器的地理位置和朝向，可以估计检测到的交通 信号的位置。

作为示例，可以基于车辆(或者车辆的传感器)的位置来估计交通信号 的位置。例如，可以对于获得目标区域信息的时刻确定车辆的GPS坐标以及 前进方向或行进方向。车辆的位置和行进方向可与区域的道路线路图相关联， 并且可以识别该道路线路图上的最近的即将来到的交叉口。交通信号的位置 可被确定为是该交叉口的位置。

在另一示例中，可利用三角测量来以3D估计交通信号的位置。为了经 由三角测量来以3D估计位置，可以使用检测到的交通信号的两个或更多个 图像。例如，可在两个或更多个图像中检测一交通信号(或多个交通信号)。 在一些情况中，可以确定第一图像的交通信号是与第二图像中的交通信号相 同的交通信号。在近仿射运动和/或高帧速率的情况中，模板跟踪器可用于关 联后续图像中的检测到的交通信号。

在帧速率较低(例如，4fps)的情况下，可以使用直接运动补偿。如果 对于每个图像已知车辆的确切姿态，则利用描述相机的运动的相机模型来在 图像之间对图像之间的俯仰、偏航和滚转的变化进行校正可能是简单明了的。 然而，对交通信号的位置的估计可能需要考虑到由于车辆的移动(例如，向 前运动)引起的图像之间物体的表观运动。在一个示例中，假定交通灯具有 约0.3米的直径。到具有w的真实宽度和在由具有焦距f的相机拍摄的图像中 具有表观宽度w_a的交通灯的距离d可如下得出：

$d\approx \frac{w}{2\tan \left(\frac{w_a}{2f}\right)}$

此外，可利用相机模型来计算方向向量X＝[u,v]^T，使得交通灯的近似3D位 置为：

y＝sin(arctan(-u))d,

z＝sin(arctan(-v))d,

$x=\sqrt{d^2-y^2-z^2}.$

继续，如果T₁和T₂是用于从车辆的帧到局部平滑坐标帧的两个不同时 间的4x4变换矩阵，则交通信号从一个图像到另一个图像的相对运动可被校 正为：

${\hat{x}}_1={\mathrm{CT}}_2{T_1}^{-1}{C}^{-1}{x}_1$

其中C是从车辆帧到相机坐标帧的变换。在一些示例中，可以进一步调整图 像坐标以考虑到径向失真。

在一种情况中，如果来自第一图像的交通信号的经运动校正的位置落在 第二图像的交通信号的关联距离内，则有可能检测到的交通信号对应于同一 物体。如果确定了第一图像中检测到的交通信号对应于第二图像中检测到的 交通信号，则可以使用最小二乘三角测量来基于交通信号在第一和第二图像 中的位置以及在获得图像时对于第一和第二图像的相机朝向来估计交通信号 的3D位置。

在一些示例中，也可识别交通信号适用的实际车道。例如，一些交通信 号可适用于左转或右转车道。这个信息可用于基于车辆的当前车道来确定车 辆应当服从哪个(哪些)交通信号。基于估计的交通信号朝向或位置、平均 交叉口宽度和平均车道宽度的简单试探可用于作出对交通信号与车道之间的 关联的估计。

在一个示例中，交通信号的位置也可被存储在存储器中。任何目标区域 信息或其他情境信息(例如，速度、位置、朝向、时间、日期等等)也可与 交通信号的位置一起被存储。在一种情况中，存储的信息可用于为一区域更 新交通信号的位置的地图。

在方框108，方法100包括确定交通信号的状态。在于目标区域信息中 检测到多个交通信号的情况中，可确定与车辆的车道相对应的交通信号的状 态。确定交通信号的状态可包括确定交通信号的图像的红、黄、绿物体的图 案中的哪个物体被照明。在一种情况中，可以使用成像处理方法来确定红、 黄、绿物体的亮度之间的区别以确定具有最高亮度的物体。可以假定具有最 高亮度的物体是开启的，例如指示出交通信号的状态。在一个示例中，如果 红、黄和绿物体之间的相对区别不清楚，则可以假定黄物体被照明。类似地， 对于观察到的明亮绿物体的置信度可随着时间的流逝而被降低，并且如果在 预定时间范围内没有再次检测到绿物体则默认假定交通信号是黄色的。

在确定交通信号的3D位置的情况中，可以使用对于交通信号应当出现 在后续图像中的何处的预测来确定交通信号的另一图像。例如，基于对相对 于3D位置的车辆的位置的估计，预测位置可被投影到车辆的相机的图像帧 中。在一个示例中，预测位置可以是选择图像的一部分的轴对齐的定界框。 然而，其他示例区域或形状也是可能的，并且预测位置的几何结构可基于交 通信号的朝向或几何结构来确定。然后可分析预测位置内的图像部分来确定 交通信号的状态。例如，可以处理预测位置来识别颜色明亮的红或绿物体， 并且预测位置可随着车辆的位置接近交通信号而变化。

在方框110，方法100包括确定对交通信号的置信度。当作出关于交通 信号的存在和随后对于交通信号的状态估计的结论时，车辆的计算系统的处 理器可确定对该结论的置信度。作为示例，所确定的置信度可以是：与在没 有预期有交通信号的位置中相比，对于在预期有交通信号的位置中检测到交 通灯的置信度可以更高。在一种情况中，如果车辆的位置接近交叉口(例如， 在交叉口的预定阈值内，例如150米内)，则对于该位置可预期有交通信号。 在一种情况中，通过将车辆的位置与环境的地图上的交叉口或节点的位置相 比较，可以确定到交叉口的距离。例如，k维树(“k-d树”)可用于组织交叉 口的节点以促进最近邻居搜索。

在另一情况中，确定对交通信号的置信度可包括将交通信号的位置与交 通信号的一个或多个已知位置相比较。例如，车辆可能够访问存储在车辆本 地或远程的交通信号的已知位置的地图。基于车辆的地理位置，可以确定在 附近的交通信号的一个或多个已知位置。在一些情况中，k-d树可用于组织交 通信号的已知位置以促进最近邻居搜索。

在方框112，方法100包括基于交通信号的状态和对交通信号的置信度 来控制自主模式中的车辆。交通信号的状态和/或位置在一些场景中可用于辅 助车辆，或者车辆的驾驶员或乘客。

当车辆被用户驾驶时，可以提供关于交通信号的状态的信息。例如，可 以提供指出灯为红、黄或绿的视觉或听觉指示。在其他情况中，可以向用户 提供指令或警告，例如“踩刹车，红灯了”。也可在交通信号的状态变化之后 提供视觉或听觉指示。

当车辆自主运转时，车辆的控制系统可基于交通信号的状态和所确定的 置信度来决定车辆的路线。例如，如果在的交通信号的预期位置中对于该交 通信号检测到了绿物体，则车辆可穿过交通交叉口。如果在交通信号的非预 期区域中对于交通信号检测到了黄物体，则车辆可减小其速度并且确定关于 该区域的额外信息以便确认交通信号的存在和估计状态。

从而，示例方法100可使得车辆能够确定在预期位置和/或非预期位置中 交通信号的位置和状态。方法100的若干个示例实现方式在下文中联系图 2A-5C来描述。

为了说明，描述了若干个示例实现方式。然而，要理解，示例实现方式 只是说明性的，而并不欲进行限定。其他示例实现方式也是可能的。

图2A-2C是扫描目标区域的车辆200的示例概念图示。例如，图2A-2C 示出了扫描目标区域的车辆200的侧视图和两个透视图。即使对于一位置没 有预期有交通信号，车辆200也可扫描目标区域。例如，图2B示出了车辆 200扫描不接近交叉口的目标区域，而图2C示出了车辆200扫描接近交叉口 的目标区域。在一些示例中，扫描目标区域可使得车辆200能够获得关于交 通信号通常位于的区域的类型的目标区域信息。

如图2A所示，车辆200对于即将来到的区域可以扫描地面以上的第一 高度202与第二高度204之间的区域。在一个示例中，可以对车辆前方的预 定距离(例如，100米)确定地面以上的第一高度202和第二高度204。在一 种情况中，第一高度202和第二高度204对于出现在与车辆200的距离小于 预定距离处的物体可形成更小的目标区域(例如，更窄的高度范围)，并且对 于出现在大于预定距离的距离处的物体可形成更大的目标区域(例如，更高 的高度范围)。

在一种情况中，车辆200的成像组件和/或雷达组件可用于获得关于目标 区域的目标区域信息。成像组件和雷达组件可安装在后视镜后面或邻近后视 镜，使得在车辆200包括驾驶员和/或(一个或多个)乘客的场景中，成像组 件或雷达组件最低限度地妨碍驾驶员和/或(一个或多个)乘客的视野。

在一些示例中，也可获得关于目标区域之上、之下和/附近的区域的额外 信息。例如，成像组件可以是被配置为捕捉目标区域信息的一个或多个图像 的相机，并且这一个或多个图像可包括关于不是目标区域的一部分的区域的 信息。在一种情况中，处理组件可分析目标区域信息，同时忽略额外信息。 在其他示例中，可以修改相机的视野和/或焦距以使得相机只捕捉关于目标区 域的信息。

此外，目标区域信息可包括关于从车辆起的任何距离范围的信息。例如， 成像组件的焦点可以是固定的或可变的。在一种情况中，成像组件可包括测 距组件，其被配置为检测到视野中的物体的距离并且相应地调整成像组件的 焦点。在另一示例中，成像组件的焦点可基于车辆的速度而变化。例如，当 速度是第一速度时可在更大的距离检测交通信号，而当速度低于第一速度时 可在更短的距离检测交通信号。

图3A-3B是用于控制车辆的示例流程图300和关联状态表314。如图3A 所示，最初在方框302，可扫描目标区域。例如，可以扫描交通信号通常位 于的一类区域以获得目标区域信息。在一个示例中，在方框304可检测交通 信号。例如，目标区域信息可包括指示出交通信号的存在的信息。

在方框306，可确定交通信号的位置。在一种情况中，可基于车辆的位 置和/或朝向来确定交通信号的位置，并且交通信号的位置可以是二维位置 (例如，由纬度和经度描述的位置)或三维位置(例如，由纬度、经度和地 面以上的高度描述的位置)。

此外，根据流程图300，在方框308，可以确定到交通信号的已知位置的 最小距离。在一个示例中，可将交通信号的已知位置可存储在k-d树内，并 且可执行最近邻居搜索来确定在车辆的位置和/或检测到的交通信号的所确 定位置附近的交通信号的已知位置。在一种情况中，可计算车辆的位置与交 通信号的已知位置之间的距离，并且可确定最小距离。在另一情况中，可计 算检测到的交通信号的所确定位置与交通信号的已知位置之间的距离，并且 可确定最小距离。同时，在方框310，可确定检测到的交通信号的状态。

在一个示例中，可以确定最小距离与预定阈值之间的关系(例如，最小 距离与预定阈值的接近度或者对于最小距离是大于还是小于预定阈值的判 定)。在方框312，基于所确定的关系和所确定的交通信号的状态，可以确定 对于车辆的控制命令。图3B所示的示例状态表314描述了可如何确定控制命 令的一个示例。

如图3B所示，基于交通信号的状态，以及最小距离和预定阈值之间的 关系，可以选择各种控制命令。在一些情况中，最小距离与预定阈值之间的 关系可暗示出对于检测到的交通信号的置信度。

在第一情况316中，交通信号的状态可以为红，并且最小距离可大于预 定阈值。状态表314示出了可以选择第一控制命令318。第一情况316可暗 示出交通信号是非预期的。因此，第一控制命令318指示刹车并且确定关于 交通信号的存在和交通信号的随后状态的额外信息。在一个示例中，确定额 外信息可涉及监视交通信号的状态以及附近的交通和/或交叉车流的行为。

图4是用于控制车辆的另一示例流程图400。如图所示，在方框402，可 以判定是否预期有交通信号。在一个示例中，该判定可基于车辆的位置是否 接近交叉口或者先前地图是否暗示在车辆的位置附近(例如在车辆正在行进 的方向上)存在交通信号来作出。

基于该判定，如果未预期有交通信号，则在块404，车辆可扫描目标区 域以获得目标区域信息。随后，在方框406可判定是否在目标区域信息中检 测到交通信号。如果未检测到交通信号，则流程图过程可重启。如果判定检 测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命令。

如果在方框402判定预期有交通信号，则车辆在410可扫描目标区域以 获得目标区域信息。在一个示例中，目标区域可以就是在方框404扫描的那 同一个目标区域。在另一示例中，目标区域可不同于在方框404扫描的目标 区域。在在已知位置处预期有交通信号的情况中，在方框410扫描的目标区 域可以是围绕该已知位置的区域。

随后，在方框412，判定在目标区域信息中是否检测到交通信号。如果 检测到交通信号，则在方框408和410可分别确定交通信号的状态和控制命 令。在一个示例中，控制命令对于预期有交通信号的情况和未预期有交通信 号的情况可以不同。如果未检测到交通信号，则车辆可减速，并且在方框414 可确定额外信息。例如，车辆可确定关于交通和附近的交叉车流的行为的信 息或者向车辆的乘客或驾驶员请求更多信息。在方框416，可调整目标区域。 例如，可以将目标区域加宽，并且在方框410可以重扫描目标区域。在一些 情况中，加宽目标区域可使得能够检测到临时迁移位置的交通信号和或在风 中摇摆的交通信号。

图5A-5C是扫描目标区域的车辆500的更多示例概念图示。在一些示例 中，车辆500可扫描多个目标区域。如图5A所示，车辆500可扫描第一目 标区域502和第二目标区域504。在一种情况中，除了道路上方以外还扫描 邻近道路的一个或多个区域可使得能够检测更多交通信号或者除了交通信号 以外的物体。例如，可以检测由于人行横道、施工警告、铁路道口而闪烁的 交通信号或其他信息。

如图5B所示，在已知关于交通信号的预期位置的更精确信息的情况中， 除了目标区域502以外还可扫描子区域506。如图5C所示，在预期交通信号 的位置已被移动的情况中，在子区域506内可能检测不到交通信号。然而， 扫描更大的目标区域502可促进对新位置中的交通信号的检测。

现在将更详细描述以上示例方法的示例实施例可在其中实现的系统。一 般地，示例系统可实现在车辆中或采取车辆的形式。车辆可采取若干种形式， 例如包括汽车、轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割 草机、挖土机、雪地机动车、休旅车、游乐园车辆、农场设备、施工设备、 电车、高尔夫球车、火车和有轨电车。其他车辆也是可能的。

另外，另一示例系统可采取非暂态计算机可读介质的形式，其上存储有 程序指令，这些程序指令可被至少一个处理器执行来提供本文描述的功能。 示例系统也可采取包括这种其上存储有这种程序指令的非暂态计算机可读介 质的车辆或车辆的子系统的形式。

图6根据实施例示出了示例车辆600。具体地，图6示出了车辆600的 右侧视图、前视图、后视图和顶视图。虽然车辆600在图6中被示为轿车， 但其他实施例是可能的。例如，车辆600可表示卡车、厢式货车、半挂卡车、 摩托车、高尔夫球车、越野车或者农场车辆，以及其他示例。如图所示，车 辆600包括第一传感器单元602、第二传感器单元604、第三传感器单元606、 无线通信系统608和相机610。

第一、第二和第三传感器单元602-606中的每一个可包括全球定位系统 传感器、惯性测量单元、无线电检测和测距(radio detection and ranging， RADAR)单元、激光测距仪、光检测和测距(light detection and ranging， LIDAR)单元、相机和声学传感器的任何组合。其他类型的传感器也是可能 的。

虽然第一、第二和第三传感器单元602被示为安装在车辆600上的特定 位置中，但在一些实施例中，传感器单元602可安装在车辆600上的别处， 在车辆600内部或外部。另外，虽然只示出了三个传感器单元，但在一些实 施例中，车辆600中可包括更多或更少的传感器单元。

在一些实施例中，第一、第二和第三传感器单元602-606中的一个或多 个可包括一个或多个可移动底座，传感器可以可移动地安装在这些底座上。 可移动底座可包括例如旋转平台。安装在旋转平台上的传感器可被旋转以使 得传感器可获得来自车辆600周围的每个方向的信息。替换地或额外地，可 移动底座可包括倾斜平台。安装在倾斜平台上的传感器可在特定的角度和/或 方位范围内被倾斜以使得传感器可获得来自各种角度的信息。可移动底座也 可采取其他形式。

另外，在一些实施例中，第一、第二和第三传感器单元602-606中的一 个或多个可包括一个或多个致动器，其被配置为通过移动传感器和/或可移动 底座来调整传感器单元中的传感器的位置和/或朝向。示例致动器包括电机、 气动致动器、液压活塞、继动器、螺线管和压电致动器。其他致动器也是可 能的。

无线通信系统608可以是被配置为直接地或者经由通信网络来无线地耦 合到一个或多个其他车辆、传感器或其他实体的任何系统。为此，无线通信 系统608可包括天线和芯片集，用于直接地或经由通信网络与其他车辆、传 感器或其他实体通信。一般来说芯片集或无线通信系统608可被布置为根据 一个或多个其他类型的无线通信(例如，协议)来通信，例如蓝牙、IEEE 802.11 (包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(例如GSM、 CDMA、UMTS、EV-DO、WiMAX或LTE)、Zigbee、专用短程通信(dedicated  short range communication，DSRC)以及射频识别(radio frequency  identification，RFID)通信，等等。无线通信系统608也可采取其他形式。

虽然无线通信系统608被示为位于车辆600的顶盖上，但在其他实施例 中，无线通信系统608可以完全或部分地位于别处。

相机610可以是被配置为捕捉车辆600所位于的环境的图像的任何相机 (例如，静止相机、视频相机等等)。为此，相机610可被配置为检测可见光， 或者可被配置为检测来自光谱的其他部分的光，例如红外或紫外光。其他类 型的相机也是可能的。相机610可以是二维检测器，或者可具有三维空间范 围。在一些实施例中，相机610可以例如是测距器，其被配置为生成指示出 从相机610到环境中的若干个点的距离的二维图像。为此，相机610可使用 一个或多个测距技术。例如，相机610可使用结构化光技术，其中车辆600 利用预定的光图案——例如网格或棋盘格图案——来照射环境中的物体，并 且使用相机610来检测该预定光图案从物体的反射。基于反射的光图案中的 失真，车辆600可确定到物体上的点的距离。预定的光图案可包括红外光， 或者另一波长的光。作为另一示例，相机610可使用激光扫描技术，其中车 辆600发射激光并且扫描环境中的物体上的若干个点。在扫描物体的同时， 车辆600使用相机610来对于每个点检测激光从物体的反射。基于激光在每 个点处从物体反射所花的时间长度，车辆600可确定到物体上的这些点的距 离。作为另一示例，相机610可使用飞行时间技术，其中车辆600发射光脉 冲并且使用相机610来检测在物体上的若干个点处光脉冲从物体的反射。具 体地，相机610可包括若干个像素，并且每个像素可检测光脉冲从物体上的 一点的反射。基于光脉冲在每个点处从物体反射所花的时间长度，车辆600 可确定到物体上的这些点的距离。光脉冲可以是激光脉冲。其他测距技术也 是可能的，包括立体三角测量、片光三角测量、干涉法以及编码孔径技术， 等等。相机610也可采取其他形式。

在一些实施例中，相机610可包括如上所述的被配置为通过移动相机610 和/或可移动底座来调整相机610的位置和/或朝向的可移动底座和/或致动器。

虽然相机610被示为安装在车辆600的前挡风玻璃内部，但在其他实施 例中，相机610可安装在车辆600上的别处，在车辆600内部或外部。

除了所示出的那些以外，或者取代所示出的那些，车辆600可包括一个 或多个其他组件。

图7是根据实施例的示例车辆700的简化框图。车辆700例如可类似于 以上联系图6描述的车辆600。车辆700也可采取其他形式。

如图所示，车辆700包括推进系统702、传感器系统704、控制系统706、 外围设备708和包括处理器712、数据存储装置714和指令716的计算机系 统710。在其他实施例中，车辆700可包括更多、更少或不同的系统，并且 每个系统可包括更多、更少或不同的组件。此外，可按任意数目的方式来组 合或分割所示出的系统和组件。

推进系统702可被配置成为车辆700提供动力运动。如图所示，推进系 统702包括引擎/电机718、能量源720、传动装置722和车轮/轮胎724。

引擎/电机718可以是或者包括内燃引擎、电动机、蒸汽机和斯特林引擎 的任何组合。其他电机和引擎也是可能的。在一些实施例中，推进系统702 可包括多种类型的引擎和/或电机。例如，气电混合动力车可包括汽油引擎和 电动机。其他示例是可能的。

能量源720可以是完全或部分地为引擎/电机718提供动力的能量的来 源。也就是说，引擎/电机718可被配置为将能量源720转换成机械能量。能 量源720的示例包括汽油、柴油、丙烷或者其他基于压缩气体的燃料、乙醇、 太阳能电池板、电池和其他电力来源。(一个或多个)能量源720可以额外地 或替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。在一些实施例中， 能量源720也可以为车辆700的其他系统提供能量。

传动装置722可被配置为把机械动力从引擎/电机718传送到车轮/轮胎 724。为此，传动装置722可包括变速箱、离合器、差速器、驱动轴和/或其 他元件。在传动装置722包括驱动轴的实施例中，驱动轴可包括被配置为耦 合到车轮/轮胎724的一个或多个轴。

车辆700的车轮/轮胎724可配置为各种形式，包括单轮车、两轮车/摩托 车、三轮车或者轿车/卡车的四轮形式。其他车轮/轮胎形式也是可能的，例如 包括六个或更多个车轮的那些。在任何情况下，车辆700的车轮/轮胎724可 被配置为相对于其他车轮/轮胎724差速地旋转。在一些实施例中，车轮/轮胎 724可包括固定地附着到传动装置722的至少一个车轮和耦合到车轮的边缘 的可与驱动面接触的至少一个轮胎。车轮/轮胎724可包括金属和橡胶的任何 组合，或者其他材料的组合。

推进系统702可以额外地或替换地包括除了所示出的那些以外的组件。

传感器系统704可包括被配置为感测关于车辆700所位于的环境的信息 的若干个传感器，以及被配置为修改传感器的位置和/或朝向的一个或多个致 动器736。如图所示，传感器系统的传感器包括全球定位系统(Global  Positioning System，GPS)726、惯性测量单元(inertial measurement unit，IMU) 728、RADAR单元730、激光测距仪和/或LIDAR单元732以及相机734。传 感器系统704也可包括额外的传感器，包括例如监视车辆700的内部系统的 传感器(例如，O₂监视器、燃油量表、机油温度，等等)。其他传感器也是可 能的。

GPS 726可以是被配置为估计车辆700的地理位置的任何传感器。为此， GPS 726可包括被配置为估计车辆700相对于地球的位置的收发器。GPS 726 也可采取其他形式。

IMU 728可以是被配置为基于惯性加速度来感测车辆700的位置和朝向 变化的传感器的任何组合。在一些实施例中，传感器的组合可包括例如加速 度计和陀螺仪。传感器的其他组合也是可能的。

RADAR单元730可以是被配置为利用无线电信号来感测车辆700所位 于的环境中的物体的任何传感器。在一些实施例中，除了感测物体以外， RADAR单元730还可额外地被配置为感测物体的速度和/或前进方向。

类似地，激光测距仪或LIDAR单元732可以是被配置为利用激光来感测 车辆700所位于的环境中的物体的任何传感器。具体地，激光测距仪或LIDAR 单元732可包括被配置为发射激光的激光源和/或激光扫描仪和被配置为检测 激光的反射的检测器。激光测距仪或LIDAR单元732可被配置为在相干(例 如，利用外差检测)或非相干检测模式中操作。

相机734可以是被配置为捕捉车辆700所位于的环境的图像的任何相机 (例如，静止相机、视频相机，等等)。为此，相机可采取上述任何形式。

传感器系统704可以额外地或替换地包括除了所示出的那些以外的组 件。

控制系统706可被配置为控制车辆700及其组件的操作。为此，控制系 统706可包括转向单元738、油门740、刹车单元742、传感器融合算法744、 计算机视觉系统746、导航或路线控制系统748以及障碍物避免系统750。

转向单元738可以是被配置为调整车辆700的前进方向的机构的任何组 合。

油门740可以是被配置为控制引擎/电机718的运转速度并进而控制车辆 700的速度的机构的任何组合。

刹车单元742可以是被配置为将车辆700减速的机构的任何组合。例如， 刹车单元742可使用摩擦力来减慢车轮/轮胎724。作为另一示例，刹车单元 742可将车轮/轮胎724的动能转换为电流。刹车单元742也可采取其他形式。

传感器融合算法744可以是被配置为接受来自传感器系统704的数据作 为输入的算法(或者存储算法的计算机程序产品)。该数据可包括例如表示在 传感器系统704的传感器处感测的信息的数据。传感器融合算法744可包括 例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法744还可 被配置为基于来自传感器系统704的数据来提供各种评价，包括例如对车辆 700所位于的环境中的个体物体和/或特征的评估、对特定情形的评估和/或基 于特定情形对可能影响的评估。其他评价也是可能的。

计算机视觉系统746可以是被配置为处理和分析由相机734捕捉的图像 以便识别车辆700所位于的环境中的物体和/或特征的任何系统，所述物体和 /或特征包括例如交通信号和障碍物。为此，计算机视觉系统746可使用物体 识别算法、运动中恢复结构(Structure from Motion，SFM)算法、视频跟踪 或其他计算机视觉技术。在一些实施例中，计算机视觉系统746可以额外地 被配置成为环境绘制地图、跟踪物体、估计物体的速度，等等。

导航和路线控制系统748可以是被配置为确定车辆700的驾驶路线的任 何系统。导航和路线控制系统748可以额外地被配置为在车辆700处于运转 中的同时动态地更新驾驶路线。在一些实施例中，导航和路线控制系统748 可被配置为结合来自传感器融合算法744、GPS 726和一个或多个预定地图的 数据以为车辆700确定驾驶路线。

障碍物避免系统750可以是被配置为识别、评估和避免或者以其他方式 越过车辆700所位于的环境中的障碍物的任何系统。

控制系统706可以额外地或替换地包括除了所示出的那些以外的组件。

外围设备708可被配置为允许车辆700与外部传感器、其他车辆和/或用 户交互。为此，外围设备708可包括例如无线通信系统752、触摸屏754、麦 克风756和/或扬声器758。

无线通信系统752可采取上述形式中的任何一种。

触摸屏754可被用户用来向车辆700输入命令。为此，触摸屏754可被 配置为经由电容感测、电阻感测或者表面声波处理等等来感测用户的手指的 位置和移动中的至少一个。触摸屏754可能够感测在与触摸屏表面平行或共 面的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动， 并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏754可由一个或 多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏754 也可采取其他形式。

麦克风756可被配置为从车辆700的用户接收音频(例如，语音命令或 其他音频输入)。类似地，扬声器758可被配置为向车辆700的用户输出音频。

外围设备708可以额外地或替换地包括除了所示出的那些以外的组件。

计算机系统710可被配置为向推进系统702、传感器系统704、控制系统 706和外围设备708中的一个或多个发送数据和从它们接收数据。为此，计 算机系统710可以通过系统总线、网络和/或其他连接机构(未示出)通信地 链接到推进系统702、传感器系统704、控制系统706和外围设备708中的一 个或多个。

计算机系统710还可被配置为与推进系统702、传感器系统704、控制系 统706和/或外围设备708的一个或多个组件交互并控制这些组件。例如，计 算机系统710可被配置为控制传动装置722的操作以提高燃料效率。作为另 一示例，计算机系统710可被配置为使得相机734捕捉环境的图像。作为另 外一个示例，计算机系统710可被配置为存储并执行与传感器融合算法744 相对应的指令。作为又一个示例，计算机系统710可被配置为存储并执行用 于在触摸屏754上显示出显示屏的指令。其他示例也是可能的。

如图所示，计算机系统710包括处理器712和数据存储装置714。处理 器712可包括一个或多个通用处理器和/或一个或多个专用处理器。就处理器 712包括多于一个处理器来说，这种处理器可以单独工作或者组合工作。数 据存储装置714进而可包括一个或多个易失性和/或一个或多个非易失性存储 组件，例如光、磁和/或有机存储装置，并且数据存储装置714可以全部或部 分与处理器712集成。

在一些实施例中，数据存储装置714可包含指令716(例如，程序逻辑)， 指令716可被处理器712执行来执行各种车辆功能，包括以上联系图1描述 的那些。另外，数据存储装置714可包含对于车辆700的约束760，约束760 可采取上述任何形式。数据存储装置714也可包含额外的指令，包括向推进 系统702、传感器系统704、控制系统706和外围设备708中的一个或多个发 送数据、从推进系统702、传感器系统704、控制系统706和外围设备708中 的一个或多个接收数据、与推进系统702、传感器系统704、控制系统706和 外围设备708中的一个或多个交互和/或控制推进系统702、传感器系统704、 控制系统706和外围设备708中的一个或多个的指令。

计算机系统702可以额外地或替换地包括除了所示出的那些以外的组 件。

如图所示，车辆700还包括电源710，其可被配置为向车辆700的一些 或所有组件提供电力。为此，电源710可包括例如可再充电锂离子或铅酸电 池。在一些实施例中，一个或多个电池组可被配置为提供电力。其他电源材 料和配置也是可能的。在一些实施例中，电源710和能量源720可一起实现， 如一些全电动车中那样。

在一些实施例中，推进系统702、传感器系统704、控制系统706和外围 设备708中的一个或多个可被配置为与其各自系统内和/或外的其他组件以互 连的方式工作。

另外，除了所示出的那些或者取代所示出的那些，车辆700可包括一个 或多个元件。例如，车辆700可包括一个或多个额外的接口和/或电源。其他 额外的组件也是可能的。在这种实施例中，数据存储装置714还可包括可被 处理器712执行来控制这些额外组件和/或与这些额外组件通信的指令。

此外，虽然每个组件和系统被示为集成在车辆700中，但在一些实施例 中，可以利用有线或无线连接将一个或多个组件或系统可移除地安装在车辆 700上或者以其他方式(机械地或电气地)连接到车辆700。

车辆700也可采取其他形式。

在一些实施例中，公开的方法可实现为以机器可读格式编码在非暂态计 算机可读存储介质上或者其他非暂态介质或制品上的计算机程序指令。图8 是示出根据本文给出的至少一些实施例布置的包括用于在计算设备上执行计 算机过程的计算机程序的示例计算机程序产品800的概念性部分视图的示意 图。

在一个实施例中，利用信号承载介质802来提供示例计算机程序产品 800。信号承载介质802可包括一个或多个编程指令804，这些编程指令804 在被一个或多个处理器执行时可提供以上参考图1-7描述的功能或功能的部 分。

在一些实施例中，信号承载介质802可包含计算机可读介质806，例如 但不限于硬盘驱动器、致密盘(Compact Disc，CD)、数字视频盘(Digital Video  Disk，DVD)、数字磁带、存储器，等等。另外，在一些实施例中，信号承载 介质802可包含计算机可记录介质808，例如但不限于存储器、读/写(R/W) CD、R/W DVD，等等。此外，在一些实施例中，信号承载介质802可包含通 信介质810，例如但不限于数字和/或模拟通信介质(例如，光缆、波导、有 线通信链路、无线通信链路，等等)。从而，例如，信号承载介质802可由无 线形式的通信介质810来传达。

一个或多个编程指令804可以例如是计算机可执行和/或逻辑实现的指 令。在一些示例中，例如图7的计算系统710那样的计算系统可被配置为响 应于编程指令804被计算机可读介质806、计算机可记录介质808和/或通信 介质810中的一个或多个传达到计算系统710而提供各种操作、功能或动作。

应当理解，本文描述的布置只是用于示例的。这样，本领域技术人员将 会明白，可以改为使用其他布置和其他元件(例如，机器、接口、功能、顺 序和功能的群组，等等)，并且根据期望的结果可以完全省略一些元件。另外， 所描述的元件中的许多是可实现为分立或分布式组件或者可按任何适当的组 合和位置与其他组件结合实现的功能实体。

虽然本文已公开了各种方面和实施例，但本领域技术人员将清楚其他方 面和实施例。本文公开的各种方面和实施例是用于说明的，而并不打算进行 限定，真实和范围和精神由所附权利要求指示。