用于自主车辆的短语识别模型

摘要

本公开的各方面涉及训练和使用短语识别模型来识别图像中的短语。作为示例，可以接收包括多个短语的选择的短语列表252。多个短语中的每个短语包括文本。可以接收初始的多个图像。可以通过识别包括来自选择的短语列表的一个或多个短语的包含短语的图像来从初始的多个图像中选择训练图像集。训练图像集中的每个给定的包含短语的图像可以被标记有信息，该信息识别来自包括在给定的包含短语的图像中的选择的短语列表中的一个或多个短语。可以基于训练图像集来训练模型，使得模型被配置为响应于接收到输入图像，输出指示多个短语中的短语是否被包括在输入图像中的数据。

说明书

相关申请的交叉引用

本申请要求2018年6月26日提交的申请序列号16/018,490的权益，其公开内容通过引用并入本文。

背景技术

自主车辆(诸如在自主驾驶模式下操作时不需要人类驾驶员的车辆)可用于帮助将乘客或物品从一个位置运输到另一位置。自主车辆的重要组件是感知系统，该感知系统允许车辆使用相机、雷达、LIDAR传感器和其他类似设备感知并解释其周围环境。当自主车辆处于运动时，感知系统执行许多决策，例如是否加速、减速、停止或转弯。自主车辆还可以使用相机、传感器和全球定位设备来收集和解释(interpret)关于其周围环境(例如，停放的汽车、树木、建筑物等)的图像和传感器数据。

发明内容

本公开的一个方面提供了一种训练用于识别(identify)图像中的短语的短语识别模型(phrase recognition model)的方法。该方法包括：由一个或多个服务器计算设备接收包括多个短语的选择的短语列表，其中多个短语中的每个短语包括文本；由一个或多个服务器计算设备接收初始的多个图像；由一个或多个服务器计算设备通过识别包含短语的图像来从初始的多个图像中选择训练图像集，其中所述包含短语的图像包括来自选择的短语列表的一个或多个短语，其中每个给定的包含短语的图像被标记有识别给定的包含短语的图像中所包括的来自选择的短语列表的一个或多个短语的信息；以及由一个或多个服务器计算设备使用训练图像集训练短语识别模型，使得短语识别模型被配置为响应于接收到输入图像，输出指示多个短语中的短语是否被包括在输入图像中的数据。

在一个示例中，训练短语识别模型还基于包括在训练图像集中的上下文信息，该上下文信息对应于训练图像集中的图像内的对象的边缘。在另一示例中，选择训练图像集包括：在训练图像集中包括来自初始的多个图像中的不包括来自选择的短语列表中的任何短语的一个或多个图像。在另一示例中，短语识别模型还被配置为输出针对输出数据的置信度得分。在另一示例中，所述多个短语中的至少一些文本包括提供车辆在道路上操纵时应遵循的规则的一个或多个单词。在另一示例中，输出数据还识别包括在输入图像中的所述多个短语中的短语。在另一示例中，所述多个短语中的至少一些文本包括提供车辆在道路上操纵时应遵循的规则的短语。在另一示例中，训练短语识别模型，使得短语识别模型被配置为提供输出数据，而无需对输入图像进行逐个字符识别分析。在另一示例中，使用提供用于短语识别模型的模型参数值的神经网络来执行所述训练。在另一示例中，该方法还包括：将短语识别模型发送到具有自主驾驶模式的车辆，以使车辆的一个或多个计算设备能够使用短语识别模型来为所述车辆做出驾驶决策。

本公开的另外的方面提供了一种用于控制具有自主驾驶模式的车辆的方法。该方法包括：由车辆的一个或多个计算设备接收车辆的外部环境的图像；由一个或多个计算设备使用短语识别模型处理图像，以便识别图像中的包括在选择的短语列表中的文本；由一个或多个计算设备识别所识别的文本的语义含义；以及由一个或多个计算设备基于所识别的语义含义在自主驾驶模式下控制车辆。

在一个示例中，短语识别模型被配置为仅识别包括在选择的短语列表中的文本。在另一示例中，该方法还包括在控制车辆之前，使用逐个字符识别分析方法来验证短语识别模型，并且其中，控制车辆还基于该验证。在另一示例中，使用短语识别模型包括将图像输入到短语识别模型中并接收输出数据，并且输出数据包括一个或多个条目的列表，每个条目对应于选择的短语列表中的短语，并识别该短语被包括在图像中的置信度得分。在另一示例中，使用短语识别模型包括将图像输入到短语识别模型中并接收输出数据，并且输出数据包括识别文本的边界框和一个或多个条目的列表，每个条目对应于选择的短语列表中的短语，并识别该短语被包括在边界框中的置信度得分。在另一示例中，使用图案识别模型处理图像，以确定图像中是否包括具有第二语义含义的特定图案，确定第二语义含义是否与该语义含义匹配，并且第二语义含义是否与该语义含义匹配的确定被进一步用于控制车辆。在另一示例中，当第二语义含义与所述语义含义不匹配时，标示图像以进行进一步处理。附加地或替选地，该方法还包括将协助请求发送到包括图像的远程计算设备。在另一示例中，该方法还包括：使用短语识别模型处理图像，以便确定文本在图像上的位置；使用图案识别模型处理图像，以便基于文本的位置确定上下文信息，并且确定的上下文信息还被用于控制车辆。在另一示例中，该方法还包括：确定文本是未被识别的短语的一部分；使用逐个字符识别方法来确定未被识别的短语的至少一部分，并且所确定的未被识别的短语的至少一部分还被用于控制车辆。

附图说明

图1是根据示例实施例的示例车辆的功能图。

图2是根据本公开的方面的示例系统的功能图。

图3是根据本公开的方面的图2的系统的示意图。

图4是根据本公开的方面的车辆的示例外部视图。

图5是根据本公开的方面的示例流程图。

图6是根据本公开的方面的示例图像。

图7是根据本公开的方面的示例图像。

图8是根据本公开的方面的示例处理后图像。

图9是根据本公开的方面的示例处理后图像。

图10是根据本公开的方面的示例流程图。

具体实施方式

概述

本技术一般地涉及文本和短语的有效检测和分析，例如在道路标志或车辆(例如校车或警车)上呈现的文本和短语。这对于可能需要准确且快速地检测道路状况和规则以安全驾驶的自主和半自主车辆尤其重要。尽管可以通过识别公认的彩色形状(例如，橙色三角形(交通锥)、红色八边形(停车标志)、红色三角形(让行标志)、或大型黄色车辆(校车))来检测由施工对象或道路标志代表的某些道路状况和规则，其他可能需要识别文本信息。例如，施工标志、行人标志和指示危险或其他紧急状况的标志可能没有公认的形状或颜色，或者可能取决于地区而变化。例如，停止标志可能由于损坏而改变其形状，校车可能是白色的，或者手工制作的施工标志可能具有任意的形状或颜色。对于包括文本信息(例如，速度限制、停车限制或路线更改指示)的标志，对于车辆的计算设备而言识别标志上的文本信息可能是至关重要的。

用于识别文本的典型方法可以包括使用逐个字符识别，例如光学字符识别(OCR)，以及随后的语义分析。但是，此类方法是计算密集的(computationally intensive)，并且可能花费几秒钟长的时间来处理单个图像中的所有文本。这样，这些方法可能不适用于必须实时使用此类信息来做出驾驶决策的自主车辆的计算设备，其中甚至十分之几秒的处理延迟可能会导致这种方法不切实际。此外，逐个字符识别方法与字符的数量成线性地比例(scale)，这使得这种方法在识别带有长单词或短语的标志时不切实际。长单词或短语上的OCR的另一个问题可能是拼写检查。如果每个字符都被独立识别，则很有可能一个字符是错误的，然后需要进行拼写校正，这反过来可能需要更多的处理能力和时间。

为了解决这些问题，可以使用手动选择的短语列表来训练短语识别模型。例如，预选择的短语列表可以包括诸如单词、短语、数字和/或其他文本的集合的项，这些项对于做出驾驶决策特别有利。该短语列表可以至少在最初由操作员手动识别，以便专注于文本，所述文本对于自主车辆而言能够做出智能和安全的驾驶决策是最重要的。

另外，对于短语列表中的每个项，操作员还可以识别该项的语义含义。这种语义含义对于允许车辆不仅识别短语列表的项而且还对该项做出响应而无需进一步分析上下文等是至关重要的。

为了选择训练图像集，可以接收、检索或以其他方式识别初始的多个图像。初始的多个图像可以包括由自主车辆的感知系统捕获的图像，以便提供可能出现在那些图像中的标志的最相关的上下文和朝向。

从该初始的多个图像中，可以通过识别包括来自选择的短语列表中的一个或多个短语的图像来选择训练图像集。为了这样做，可以使用已知的逐个字符识别方法处理初始的图像集以识别包括文本的那些图像，然后对其进一步处理以识别包括文本的图像。然后可以分析这些处理后图像(processed images)以识别包含来自选择的短语列表中的一个或多个短语的图像，以便产生训练图像集。

然后，训练图像集可以用于训练短语识别模型，该短语识别模型响应于接收输入图像，将输出包括指示在输入图像中是否以及在何处存在多个短语中的短语的预测以及针对该指示的一个或多个置信度得分的数据。

短语识别模型以及识别短语列表的项与语义含义之间的关系的信息可以被发送到车辆并本地存储在车辆上，以便允许该车辆的计算设备确定由车辆的相机捕获到图像是否包含来自选择的短语列表中的任何短语。例如，车辆的一个或多个计算设备可以使用短语识别模型来确定由车辆捕获的图像包含选择的短语列表中的一个或多个短语。

然后可以将该置信度得分与阈值进行比较，以确定车辆是否应响应所识别短语的语义含义。如果该置信度满足或大于阈值，则车辆的计算设备可以从识别短语列表的项与语义含义之间的关系的信息中识别语义含义。车辆的计算设备然后可以控制车辆以便对所识别的语义含义做出反应。

这可以允许车辆的计算设备以数十毫秒而不是几秒的数量级进行这种确定。这样，短语识别模型可能能够处理来自位于车辆上的不同位置的多个相机的图像。因此，这可以允许车辆的计算设备基于这种确定实时地做出驾驶决策。

一个或多个附加图像识别模型可以用于验证和/或增强短语识别模型。为了验证短语识别模型，可以使用图案识别模型来确定图像包含一个或多个特定图案，其中每个特定图案与语义含义相关联。可以将使用图案识别模型检测到的特定图案的语义含义与使用短语识别模型检测到的特定短语的语义含义进行比较。如果两个含义匹配，则短语识别模型可以由图案识别模型验证，反之亦然。因此，对于使用短语识别模型确定的短语所识别的语义含义和/或对于使用短语识别模型确定的特定图案所识别的语义含义的置信度可以增加，并且可以用于在自主驾驶模式下控制车辆。当两个含义不匹配时，于是可以挖掘该示例以进行进一步的标记或训练工作。

字符识别模型也可以用于增强短语识别模型。例如，车辆的计算设备可以基于短语识别模型确定特定短语是未被识别的短语的一部分，然后使用字符识别模型来确定未被识别的短语的其余部分。然后可以将结果用于在自主驾驶模式下相应地控制车辆。由于更加计算密集的字符识别模型仅用于确定特定短语(而不是整个图像)旁边的字符，因此该过程仍可以允许车辆做出及时的驾驶决策。

本文描述的特征可以提供有效的车载短语识别模型。首先，离线训练短语识别模型并将该模型加载到车辆上使得可以使用非常大量的训练图像以比在车辆上更快地实现具有期望的高准确度的模型。其次，短语识别模型比逐个字符分析更有效，该短语识别模型检测可包括一个或多个单词或数字的整个短语。因此，这些特征降低了车载计算设备所需的处理能力，这可以降低车辆的总体成本和能耗，同时使得能够以更低的延迟(例如，数十毫秒)检测道路状况和规则，这也可以改善车辆的整体安全性。该技术还提供了将短语识别模型与其他车载图像识别模型(例如，图案识别模型或字符识别模型)结合使用，这可以进一步提供其他模型对确定的确认、附加信息以及改进的安全性，而不会极大地牺牲了处理时间。

示例系统

如图1所示，根据本公开的一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是该车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。该车辆可以具有一个或多个计算设备，例如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或以其他方式使用的指令134和数据132。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算设备可读介质或其他存储可借助电子设备读取的数据的介质，例如硬盘、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

指令134可以是将由处理器直接执行(例如，机器代码)或间接执行(例如，脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的集合或脚本。指令的例程、方法和功能将在下面更详细地说明。

数据132可以由处理器120根据指令134检索、存储或修改。例如，尽管所要求保护的主题不受任何特定数据结构的限制，但是该数据可以存储在计算设备寄存器中，存储在关系数据库中作为具有多个不同字段和记录的表、XML文档或平面文件。数据也可以以任何计算设备可读格式来格式化。

一个或多个处理器120可以是任何常规处理器，例如可商购的CPU或GPU。替选地，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解处理器、计算设备或存储器实际上可包括可以存放在同一物理外壳内或可以不存放在同一物理外壳内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110可以包括通常与计算设备结合使用的所有组件(例如上述处理器和存储器)，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154以提供信息或视听体验。就这一点而言，内部电子显示器152可以位于车辆100的座舱内，并且可以由计算设备110用来向车辆100内的乘客提供信息。

计算设备110还可以包括一个或多个无线网络连接156，以促进与其他计算设备的通信，例如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短距离通信协议，例如蓝牙、低功耗蓝牙(LE)、蜂窝连接，以及各种配置和协议，包括因特网、万维网、内联网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网络、以太网、WiFi和HTTP，以及前述的各种组合。

在一个示例中，计算设备110可以是并入车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各个组件进行通信，以便在自主驾驶模式下控制车辆。例如，返回到图1，计算设备110可以与车辆100的各种系统通信以便在自主驾驶模式下根据存储器130的指令134控制车辆100的移动、速度等，各种系统诸如减速系统160、加速系统162、转向系统164、信号系统166、导航系统168、定位系统170和感知系统172。动力系统174可以用多种不同燃料中的任何一种来运转。再者，尽管这些系统被示出为在计算设备110的外部，但实际上，这些系统也可以并入计算设备110中，再次作为用于控制车辆100的自主驾驶计算系统。

作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164，以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，诸如汽车或卡车，则转向系统可以包括用以控制车轮的角度来使车辆转弯的组件。计算设备110可以使用信号系统166，以便例如在需要时通过点亮转弯信号或刹车灯来向其他驾驶员或车辆发信号通知车辆的意图。

计算设备110可以使用导航系统168，以便确定并遵循到达一位置的路线。就这一点而言，导航系统168和/或数据132可以存储详细的地图信息，例如，高度详细的地图，其识别道路的形状和高程(elevation)、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、靠边停车点(pull over spots)、植被(vegetation)或其他此类对象和信息。如下面进一步讨论的，这些靠边停车点可以是“手动”选择或识别的区域，在这些区域中，车辆能够合法地停下并停放某一时间段，例如路肩区域(shoulder areas)、停车位、停车场、紧急靠边停车点等。

计算设备110可以使用定位系统170，以便确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统170可以包括GPS接收机，以确定设备的纬度、经度和/或高度定位。其他定位系统，例如基于激光的定位系统、惯性辅助GPS或基于相机的定位，也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，例如纬度、经度和高度，以及相对位置信息，例如相对于紧接其周围的其他汽车的位置，其通常可以用比绝对地理位置小的噪声来确定。

定位系统170还可以包括与计算设备110通信的其他设备，例如加速度计、陀螺仪或其他方向/速度检测设备，以确定车辆的方向和速度或其改变。仅作为示例，加速设备可以相对于重力方向或与其垂直的平面确定其俯仰(pitch)、偏航(yaw)或滚转(roll)(或其改变)。该设备还可以跟踪此类改变的速度和方向的增加或减少。如本文阐述的设备的位置和朝向(orientation)数据的提供可以被自动地提供给计算设备110、其他计算设备以及前述的组合。

感知系统172还包括一个或多个组件，用于检测车辆外部的对象，例如其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录可由计算设备110处理的数据的任何其他检测设备。车辆可以包括安装在车顶或其他方便的位置上的激光器或其他传感器。

计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自详细的地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置以及在需要时使用感知系统172来检测对象并对对象做出响应以安全到达位置。为了这样做，计算设备110可以使车辆加速(例如，通过由加速系统162向发动机供应燃料或其他能量)，减速(例如，通过减少供应给发动机的燃料，改变档位，和/或通过减速系统160施加制动)，改变方向(例如，通过转向系统164转动车辆100的前轮或后轮)，以及发信号通知这样的变化(例如，通过点亮信号系统166的转弯信号)。因此，加速系统162和减速系统160可以是传动系统的一部分，该传动系统包括在车辆的发动机和车辆的车轮之间的各种组件。再者，通过控制这些系统，计算设备110也可以控制车辆的传动系统，以便自主地操纵车辆。

车辆100的计算设备110还可以从其他计算设备接收信息或向其传送信息。图2和图3分别是示例系统200的示意图和功能图，该示例系统包括经由网络260连接的多个计算设备210、220、230、240和存储系统250。系统200还包括车辆100和车辆100A，车辆100A可以与车辆100类似地被配置。尽管为简单起见仅描绘了几个车辆和计算设备，但是典型的系统可以包括显著更多。

如图3所示，计算设备210、220、230、240中的每个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134来配置。

网络260和中间节点可以包括各种配置和协议，包括短距离通信协议，诸如蓝牙、蓝牙LE、因特网、万维网、内联网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP，以及前述的各种组合。能够向和从其他计算设备发送数据的任何设备(例如调制解调器和无线接口)可以促进这种通信。

在一个示例中，一个或多个计算设备110可以包括服务器，其具有多个计算设备，例如负载均衡服务器群(load balanced server farm)，所述多个计算设备与网络的不同节点交换信息以用于从其他计算设备接收数据、处理数据以及向其他计算设备发送数据的目的。例如，一个或多个计算设备210可以包括一个或多个服务器计算设备，其能够通过网络260与车辆100的计算设备110或车辆100A的类似计算设备、以及计算设备220、230、240通信。例如，车辆100和100A可以是可以由服务器计算设备调度到各个位置的车辆车队的一部分。就这一点而言，车队的车辆可以周期性地发送由车辆的各个定位系统提供的服务器计算设备位置信息，并且一个或多个服务器计算设备可以跟踪车辆的位置。

此外，服务器计算设备210可以使用网络260在计算设备220、230、240的诸如显示器224、234、244的显示器上向用户(例如用户222、232、242)发送并呈现信息。在这方面，计算设备220、230、240可被视为客户端计算设备。

如图3所示，每个客户端计算设备220、230、240可以是旨在供用户222、232、242使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理器(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、显示器(例如，显示器224、234、244)(例如，具有屏幕的监视器、触摸屏、投影仪、电视或其他可操作以显示信息的设备)、以及用户输入设备226、236、246(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备、以及用于将这些元件彼此连接的所有组件。

另外，客户端计算设备220和230还可以包括用于确定客户端计算设备的位置和朝向的组件228和238。例如，这些组件可以包括用于确定设备的纬度、经度和/或高度的GPS接收器，以及上面关于车辆100的定位系统170所描述的加速度计、陀螺仪或其他方向/速度检测设备。

尽管客户端计算设备220、230和240每个可以包括全尺寸的个人计算设备，但是它们可以替选地包括能够通过诸如因特网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备220可以是移动电话，或诸如无线使能的PDA、平板PC、可穿戴计算设备或系统、或作为能够经由因特网或其他网络获得信息的上网本的设备。在另一个示例中，客户端计算设备230可以是可穿戴计算系统，如图2所示被示出为手表。作为示例，用户可以使用小键盘、键区、麦克风、利用相机使视觉信号或触摸屏来输入信息。

在一些示例中，客户端计算设备240可以是礼宾(concierge)工作站，该礼宾工作站由管理员使用以向诸如用户222和232的用户提供礼宾服务，以及根据需要对来自车辆100和100A的援助请求的响应。例如，礼宾人员242可以使用礼宾工作站240以通过用户各自的客户端计算设备或车辆100或100A经由电话呼叫或音频连接与用户通信，以便于车辆100和100A的安全操作和用户的安全性，如下面进一步详细描述的。尽管在图2和图3中仅示出了单个礼宾工作站240，但是在典型的系统中可以包括任何数量的这样的工作站。

存储系统250可以存储各种类型的信息，如下面更详细描述的。该信息可以由服务器计算设备(例如一个或多个服务器计算设备210)检索或以其他方式访问，以便执行本文所述的一些或全部特征。例如，存储系统可以存储选择的短语列表252以及选择的短语列表的短语的语义含义254。该预选择的短语列表可以包括诸如单词、短语、数字和/或其他文本的集合的项，这些项对于做出驾驶决策特别有利。该选择的短语列表可以至少在最初由操作员手动识别，以便专注于文本，所述文本对于自主车辆而言能够做出智能和安全的驾驶决策是最重要。这样，选择的短语列表可以包括与用于控制车辆的规则有关的单词和短语、或者换句话说，为了在道路上安全合法地操纵车辆应当遵循的规则。因此，选择的短语列表可以包括与施工(例如，“construction(施工)”、“detour(绕道)”、“zone(区域)”、“do notenter(请勿进入)”)、紧急车辆(例如，“ambulance(救护车)”、“fire(消防车)”、“police(警车)”)、学校(例如，“school(学校)”、“bus(公交车)”、“district(区)”、“zone(区域)”)、一般道路规则(例如，“slow(慢速)”、“stop(停止)”、“left(左)”、“lane(车道)”、“end(终点)”、“slow(慢速)”、“U turn(掉头)”)、可能是速度限制的数字(例如，“25”、“45”、“55”)、或其他有用的术语(例如“do not enter(请勿进入)”、“school bus(校车)”、“wrong way(错路)”、“no passing(禁止驶过)”、“no parking(禁止停车)”、“fire lane(消防通道)”等)有关的单词或短语。

此外，对于短语列表中的每个短语，操作员还可以识别该短语的语义含义或该短语做什么或如何对其作出响应的指示。该语义含义对于允许车辆不仅识别短语列表的项而且还对该项作出响应而不需要在每种情况下对上下文进行进一步分析是至关重要的。短语列表的项与语义含义之间的关系可以以各种方式(例如，表、数据库等)存储。

存储系统250还可以存储多个图像256。该多个图像可以包括由自主车辆的感知系统捕获的图像，以便提供那些图像中可能出现的标志的最相关的上下文和朝向。例如，多个图像可以是由安装在诸如车辆100或100A的一个或多个车辆上的静止和/或视频相机捕获的图像或帧，并且经由网络260上传或以其他方式发送到存储系统250以进行存储。因此，图像可以从车辆的相机或感知系统的角度准确反映道路和各种对象的感知。这些图像中的至少一些可以与OCR数据以及标记相关联，如下面进一步讨论的。

存储系统250以及车辆100的数据132可以存储一个或多个模型258以及每个此类模型的模型参数值270。例如，存储系统可以存储短语识别模型、图案识别模型和光学字符识别模型。另外，存储系统250可以包括神经网络子系统272，其可用于训练短语识别模型，如下文进一步讨论的。

与存储器130一样，存储系统250可以是能够存储服务器计算设备210可访问的信息的任何类型的计算机存储装置，例如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写只读存储器。另外，存储系统250可以包括分布式存储系统，其中数据被存储在物理上可以位于相同或不同地理位置处的多个不同存储设备上。如图2所示，存储系统250可以经由网络260连接到计算设备，和/或可以直接连接到或并入到计算设备110、210、220、230、240等中的任一个中。

车辆100还包括感知系统172的传感器。图4是车辆100的示例配置。在此示例中，车顶上(roof-top)外壳420和圆顶(dome)外壳422可以包括LIDAR传感器以及各种相机和雷达单元。另外，位于车辆100的前端的外壳430和在车辆的驾驶员侧和乘客侧的外壳440、442可以各自存放LIDAR传感器。例如，外壳440位于驾驶员车门460的前面。车辆100还包括也位于车辆100的车顶上的用于雷达单元和/或相机的外壳450、452。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端处和/或在沿车顶或车顶上外壳420的其他位置处。这些雷达、相机和激光传感器或设备中的每一个可以作为感知系统172的一部分与处理来自这些设备的数据的处理组件相关联，并将传感器数据提供给计算设备110。

示例方法

除了上面描述和附图中示出的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序执行。而是，可以以不同的顺序或同时地处理各个步骤，并且还可以添加或省略步骤。

为了能够使用短语识别模型来识别短语并做出驾驶决策，可以首先“离线”(即，提前和/或在远程计算设备处)训练短语识别模型，之后经由网络260和无线网络连接156将其发送到车辆100。例如，服务器计算设备210中的一个或多个可以通过首先选择训练图像集来生成短语识别模型。

为了选择训练图像集，可以接收、检索或以其他方式识别初始的多个图像。例如，服务器计算设备可以检索存储系统250的多个图像256中的图像。如上所述，初始的多个图像可以包括由车辆100的感知系统172的相机捕获的图像，以便提供那些图像中可能出现的标志的最相关的上下文和朝向。

从该初始的多个图像中，可以通过识别包括来自选择的短语列表中的一个或多个短语的图像来选择训练图像集。为了这样做，可以由一个或多个服务器计算设备210在多步骤过程中处理初始图像集。首先，可以对图像进行处理，以识别哪些图像包括文本，以及对于包括文本的那些图像，识别包括文本的图像内的区域的一个或多个边界框或多边形的位置、形状和大小(尺寸)以及针对该一个或多个边界框的置信度得分。这些边界框可以包括一行或多行文本。

其次，然后可以通过诸如OCR技术的字符识别方法使用已知字符来处理一个或多个边界框，以生成用于边界框的OCR标记以及输出文本的置信度。最后，然后分析图像和标记以识别包含来自选择的短语列表中的一个或多个短语的图像。那些图像还可以标记有一个或多个短语的识别以及对于一个或多个短语的识别的置信度得分。

被识别为包含来自选择的短语列表中的一个或多个短语的图像及其标记可以被包括在训练图像中。就这一点而言，每个这样的图像可以标记有一个或多个边界框、针对一个或多个边界框中的每一个的置信度得分、选择的短语列表中的一个或多个短语、以及针对一个或多个短语中的每一个的置信度得分。这样的置信度得分可以在任何范围或标度内，例如0到1，其中1将为高置信度以及0将为低置信度，或0％至100％，其中100％将为高置信度以及0％将为低置信度。另外，来自初始多个图像中的不包括来自选择的短语列表的任何短语的一个或多个图像也可以包括在训练图像集中。

然后，可以将标记的训练图像用于训练短语识别模型，该短语识别模型响应于接收到输入图像，将输出指示多个短语中的短语是否包括在输入图像中的预测以及针对该指示的一个或多个置信度得分。该模型可以被配置为这样做而无需对输入图像进行逐个字符识别分析。为了这样做，可以使用多种不同类型的机器学习模型中的任何一种，例如，分类模型、神经网络、决策树、增强树等。

例如，在神经网络的情况下，可以使用神经网络子系统272执行训练。就这一点而言，神经网络子系统可以包括可以实现神经网络的每一层的操作的软件，所述神经网络被设计为从输入的传感器数据做出对象预测并确定对象属性。训练神经网络子系统包括具有软件或硬件模块的多个计算设备，所述软件或硬件模块根据神经网络的体系结构来实现一个或多个神经网络的每一层的相应操作。

训练神经网络子系统272可以包括使用存储在模型参数值的集合中的当前参数值的神经网络的每一层的操作。尽管图示为逻辑上分开的，但是执行操作的模型参数值和软件或硬件模块实际上可以位于同一计算设备或同一存储设备上。

训练神经网络子系统272可以接收训练图像集以及任何标记作为输入。如上所述，短语识别模型还可将诸如图像中的附近的形状、颜色、边缘和其他特征的上下文信息视为指示相对于其他此类特征，选择的短语列表的文本可能出现在何处的信号。另外，为了生成考虑上下文信息的短语识别模型，训练图像集中的图像可以是完整图像，而不是将图像裁剪为仅包括具有最小边界区域的文本。

训练神经网络子系统272可为训练图像集中的每个图像生成一个或多个短语预测，其中每个短语预测识别选择的短语列表中的短语以及该短语在图像中的位置和朝向。例如，朝向可以指示标志是颠倒的还是正面朝上的(例如，拿着临时停车标志的指挥交通的某个人)。训练引擎分析对象预测并将对象预测与训练图像集中的标记进行比较。如果两者不同，则指示误差。然后，训练引擎通过使用适当的更新技术来生成更新后的模型参数值。例如，可以通过计算相对于单个模型参数的误差梯度来更新模型参数。为了减少误差贡献，可以从参数的当前值中减去或向其添加从梯度得出的值。这称为反向传播的随机梯度下降。本领域已知的其他技术也可以用于更新模型参数。然后，训练引擎可以使用更新后的模型参数值来更新模型参数值的集合。在训练完成后，训练系统可以为模型提供最终的模型参数值集，并将此信息作为模型258和模型参数值集270存储在存储系统250中。

再者，使用最终的模型参数值集，可以将得到的短语识别模型配置为输入图像并输出指示选择的短语列表中的哪些短语(如果有的话)的预测以及针对该指示的一个或多个置信度得分。例如，第一置信度得分可以指示图像包含任何文本的可能性，并且第二置信度得分可以指示图像包含选择的短语列表中的特定短语的可能性。替选地，得到的模型可以被配置为输出针对选择的短语列表中的每个短语的置信度得分，其指示关于选择的短语列表中的每个短语是否包含在图像中的可能性。作为另一示例，输出数据可以是识别在何处检测到图像中的文本的边界框，以及对于每个边界框，基于该短语出现在边界框中的可能程度在边界框中识别的选择的短语列表中的每个短语的置信度得分。

图5是根据本公开的方面的示例流程图500，其可以由一个或多个计算设备的一个或多个处理器(例如，服务器计算设备210的处理器)执行，以训练用于识别图像中的短语的短语识别模型。在该示例中，在框510，接收选择的短语列表。选择的短语列表包括多个短语，其中多个短语中的每个短语包括文本。在框520，接收初始的多个图像。在框530，通过识别包括来自选择的短语列表中的一个或多个短语的包含短语的图像，从初始的多个图像中选择训练图像集。每个给定的包含短语的图像被标记有下述信息，该信息识别给定的包含短语的图像中所包括的来自选择的短路列表中的一个或多个短语。然后在框540使用训练图像集来训练短语识别模型。该短语识别模型被配置为使得响应于接收到输入图像，输出指示多个短语中的短语是否被包括在输入图像中的数据。

可以例如经由网络260将短语识别模型、最终的模型参数值集以及识别短语列表的项与语义含义之间的关系的信息发送到车辆100的计算设备110，或将该信息加载到计算设备110中。然后，该信息可以存储在计算设备110的存储器130中，以便允许计算设备使用短语识别模型为车辆100做出驾驶决策。

例如，一个或多个计算设备110可以从车辆的感知系统接收车辆的外部环境的图像。该图像可能包含或者可能不包含文本。例如，车辆100的感知系统172的相机可以捕获诸如图6的图像600的图像，并将该图像发送到计算设备110以进行处理。在该示例中，车辆100正在接近交叉路口610。图像600包括交叉路口中和周围的各种特征，例如对应于停止线620、车道线622、路缘624和人行横道626，以及交通信号灯630、行人640(当前穿越人行横道626中的交叉路口610)和标志650的道路特征。尽管可以使用感知系统172的LIDAR传感器和相机容易地检测这些特征中的每一个，但是可能需要附加的处理以确定标志650的文本的语义含义。

作为另一个示例，车辆100的感知系统172的相机可以捕获诸如图7的图像700的图像，并将该图像发送到计算设备110进行处理。在该示例中，车辆100在车道720中行驶并且接近在车道722中停止的车辆710(这里是校车)。图像700包括交叉路口中和周围的各种特征，例如对应于路缘730、车道线740和标志750的道路特征。再者，尽管可以使用感知系统172的LIDAR传感器和相机容易地检测这些特征中的每一个，但可能需要附加的处理以确定车辆710和标志750文本的语义含义。

然后，一个或多个计算设备110可以使用短语识别模型来处理图像，以便识别图像中包括在选择的短语列表中的任何文本。例如，计算设备110可以将图像600用作对处理该图像的短语识别模型的输入。短语识别模型然后可以提供输出数据，该输出数据包括预测，该预测指示图像包括具有特定置信度得分的边界框以及该边界框内的选择的短语列表中的一个或多个短语，其中每个短语具有特定的置信度得分。再者，执行使用短语识别模型的这样的图像处理，而无需输入图像的逐个字符识别分析。

作为一个示例，短语识别模型可以输出指示特定短语以特定置信度得分被包括在图像中的数据，诸如短语“stop here(在这里停止)”以90％置信度得分被包括在图像中。替选地，短语识别模型可以提供包括一个或多个条目的列表的输出数据，每个条目对应于选择的短语列表的短语并识别该短语被包括在图像中的置信度得分。

作为另一个示例，输出数据可以是识别图像中的文本在何处被检测到的边界框，以及对于每个边界框，针对对应于该短语出现在边界框中的可能程度的选择的短语列表中的每个短语的置信度得分。图8提供了与图像600对应的处理后图像800。在该示例中，标志650分别包括边界框850、852、854、856。边界框850、852、856中的每一个可以与选择的短语列表中的一个或多个短语以及一个或多个短语出现在边界框中的置信度相关联。作为简化示例，边界框850列表可以以97％的置信度得分与短语“no”相关联，边界框852可以以98％的置信度得分与短语相关联，并且边界框856可以以98％的置信度得分与短语“red”相关联。图9提供了与图像700对应的处理后图像900。在该示例中，车辆710包括边界框910，而标志750包括边界框950。边界框910和950中的每一个可以与选择的短语列表中的短语的列表中的一个或多个以及一个或多个短语出现在边界框中的置信度相关联。作为简化示例，边界框910可以以98％的置信度得分与短语“school bus”相关联，并且边界框950可以以97％的置信度得分与短语“stop”相关联。

然后，可以将这些置信度得分与阈值进行比较，以确定车辆是否应当响应选择的短语列表中的任何识别的短语的一个或多个语义含义。如果置信度得分满足或大于阈值，则计算设备110可以从识别短语列表的项与语义含义之间的关系的信息中识别语义含义。作为示例，阈值可以是75％、80％、85％或更大或更小。在某些情况下，阈值对于不同的短语可能是不同的。可以使用精确召回曲线(即，基于较高的召回率还是较高的精度是优选的)来优化这些阈值。

计算设备110可以忽略不满足或低于阈值的任何识别的短语。换句话说，短语识别模型不需要能够识别预选择的短语列表中的短语之外的短语。这样，未在预选择的短语列表中的短语将“未被识别”，因为它不满足预选择的短语列表中的任何短语的阈值。在这种情况下，车辆可能会简单地忽略未被识别的短语，或者反而不采取任何进一步的分析动作，例如使用OCR技术，在做出驾驶决策时依赖于未被识别的短语等。

返回到上面的“stop here”示例，90％的置信度得分大于80％的阈值。因此，计算设备110将从本地存储在存储器130中的识别短语列表的项与语义含义之间的关系的信息中识别短语“stop here”的语义含义。返回到上面的图8的示例，97％和98％的置信度得分大于80％的阈值。因此，计算设备110将从本地存储在存储器130中的识别短语列表的项与语义含义之间的关系的信息中识别短语“no(禁止)”、“turn(转弯)”和“red(红灯)”的语义含义。返回到上面的图9的示例，98％和97％的置信度得分大于80％的阈值。因此，计算设备110将从本地存储在存储器130中的识别短语列表的项与语义含义之间的关系的信息中识别短语“school bus(校车)”和“stop”的语义含义。

计算设备110然后可以基于图像是否包括选择的短语列表中的短语并且基于针对该短语的识别的语义含义来在主驾驶模式下控制车辆100。例如，如果车辆要对“stophere”的语义含义进行反应，则计算设备可以在继续进行之前将车辆停在文本的位置附近。

这些短语的语义含义也可以例如在更大的场景的背景中一起组合或考虑。例如，理解场景可以包括将在单个标志内或某个小距离(例如，几英寸或更多或更少)内的满足所有边界框的阈值的所有短语彼此组合。这样，“no”、“turn”和“red”可以组合在一起。在一个示例中，可以从本地存储在存储器130中的识别短语列表的项与语义含义之间的关系的信息中识别组内的各个短语中的每一个的语义含义。例如，“no”、“turn”和“red”中的每一个的语义含义都将被单独地(individually)识别。此后，可以一起考虑该组的语义含义。附加地或替选地，可以从本地存储在存储器130中的识别短语列表的项与语义含义之间的关系的信息中识别短语组合的语义含义。在这种情况下，一起识别“no”、“turn”和“red”中的每一个的语义含义。就这一点而言，在识别包括短语“no”、“turn”和“red”的组的语义含义的信息中可以存在单个语义含义。附加地或替选地，每个短语的各个语义含义。参考图8的示例，尽管在交通信号灯630为红色时行人没有妨碍车辆右转弯的事实，但是在给出“no”、“turn”和“red”的一个或多个语义含义的情况下，计算设备110可以在交叉路口610处右转弯之前等待，直到交通信号灯630为绿色。

短语识别模型可以允许计算设备110在数十毫秒的量级上做出针对车辆100的这种驾驶决策，而不是使用针对所有识别的文本的光学字符识别技术的几秒钟。因此，这可以允许计算设备基于这样的确定实时地做出驾驶决策。另外，短语识别模型能够被实现以处理由位于车辆上不同位置的多个相机捕获的图像，这可以向计算设备110提供关于车辆的周围环境的更准确的信息。

短语识别模型可以用于验证或增强一个或多个附加图像识别模型。例如，短语识别模型可以被计算设备110用来确定图像是否包括来自选择的短语列表中的特定短语。图案识别模型可以被计算设备110用来确定相同的图像是否包含一个或多个特定图案，并且如果是，则确定那些特定图案是否与语义含义相关联。特定图案的示例可以包括几何图案、形状、颜色、特定图形，例如箭头或图等。

例如，转到图7的图像700，使用图案识别模型，计算设备110可以确定图像包含与控制车辆以使其停止的语义含义相关联的红色八边形(或者换句话说，停车标志的形状)，或者，该图像700包含黄色公共汽车(即，校车)，这与具有始终给公共汽车让路的语义含义相关联。可以将使用图案识别模型检测到的特定图案的语义含义与使用短语识别模型检测到的特定图案的语义含义进行比较。如果两个含义匹配(例如，文本“stop”和红色八边形的语义含义或文本“school bus”和黄色公共汽车的语义含义)，则可以通过短语识别模型来验证图案识别模型。当两个含义不匹配时(例如，对于“go(通行)”和红色八边形)，则可以对图像进行挖掘以进行进一步标记或训练工作。替选地，图案识别模型可以用于以类似方式验证短语识别模型。

作为另一示例，图案识别模型可以被计算设备110用来确定在车辆的左侧有开放车道并且在车辆的右侧没有开放车道。短语识别模型可以被计算设备110用来确定短语“lane closed(车道封闭)”处于图像中。由于“lane closed”的语义含义与“no open lane(无开放车道)”的语义含义匹配，因此可以验证图案识别模型的结果。因此，计算设备110可以决定控制车辆，以便改变到左边的车道或以其他方式避开右边的车道。

另外，特定短语在图像上的位置和朝向可以由计算设备110使用短语识别模型来确定，并且特定图案在图像上的位置可以由计算设备110使用图案识别模型独立地确定。这样，仅当特定短语和特定图案的位置重叠时，可以比较语义含义。例如，如果特定短语(例如，“stop”)位于红色八边形处或附近，例如，在红色八边形内部或紧接在红色八边形外部，则可以比较语义含义以验证图案识别模型。但是，如果特定短语(“stop”)与特定图案(红色八边形)位于图像的对角，则不会比较语义含义。再者，替选地，图案识别模型可以用于以类似方式验证短语识别模型。

另外，当两个语义含义匹配时，计算设备110可以具有检测到特定道路状况或规则的两个独立的确定，并且因此与单独使用任一模型相比可以以更高的置信度基于这些确定做出决策。当两个含义不匹配时，则计算设备110可以标示(flag)图像以用于进一步处理。这可以包括标示图像以用于立即或稍后查看(例如，由人类操作员操作)、标示车辆的驾驶员或乘客的干预(如果需要的话)、标示以标记图像以用作新的训练图像、和/或标示以使用逐个字符光学识别技术进一步分析图像。如果图像被标示以用于立即查看，则可以在对协助请求中将图像自动发送到诸如礼宾工作站240的远程计算设备，以供诸如礼宾人员242的人类操作员查看，该人类操作员可以通过提供到计算设备110的指令关于是否以及如何响应图像中的标志或其他对象做出响应。然后，计算设备110可以使用指令来控制车辆。这可以允许增加一层安全性。

另外，当图像包含特定短语的置信度得分低于第一阈值(例如，80％或更大或更小)且高于第二阈值(例如，30％或更大或更小)时，车辆的计算设备可以被配置为标示图像以进行进一步处理。例如，如果图像包含“stop”的置信度得分为50％，则很大可能存在停止标志(因为置信度得分高于30％)，并且非常怀疑该标志不是停止标志(因为置信度得分低于80％)。因此，车辆的计算设备可以使用字符识别模型来确定特定短语的位置处的字符是否为“s-t-o-p”。另外，如上所述，进一步的处理还可以包括标示图像以用于立即或稍后查看、标示车辆的驾驶员或乘客的干预(如果需要的话)、标示以标记图像以用作新的训练图像、和/或标示以使用逐个字符的光学识别技术进一步分析图像。

字符识别模型也可以用于增强短语识别模型。例如，车辆的计算设备可以基于短语识别模型确定特定短语是未被识别的短语的一部分，然后使用字符识别模型来确定未被识别的短语的其余部分。例如，计算设备110可以基于短语识别模型确定图像包含短语“Uturn”，并且可以进一步基于短语识别模型确定图像包含“U turn”旁边的附加文本。然后，计算设备110可以使用字符识别模型来确定未被识别的短语的其余部分为“no”和“7am–10am Mon.–Fri.(周一至周五上午7点至上午10点)”。因此，通过使用两个独立的图像识别模型，整个标志的内容可以由计算设备110确定为“No U turn 7am–10am Mon.–Fri.(周一至周五上午7点至上午10点禁止掉头)”。假定计算设备能够查找该短语的语义含义，因为更加计算密集的字符识别模型仅用于确定特定短语(而不是整个图像)旁边的字符，因此该过程仍可以允许车辆做出及时的驾驶决策。

短语识别模型也可以以其他方式使用。例如，短语识别模型可用于离线分析和创建图像中的标记，以改善训练图像集，帮助建立标记管线以在图像中生成标记，或通过为操作员创建标记建议帮助操作员为自主车辆生成地图数据。在另一个示例中，短语识别模型的边界框和文本可用于确定标志的朝向，例如临时停止标志，其也可有助于标记工作。

除了选择的短语列表之外，短语识别模型还可以被训练为单个字符识别模型以识别单个字母。例如，可以使用标记有单个字母或数字(a到z、0到9等)的图像来训练短语识别模型，使得短语识别模型还可以预测边界框内部存在单个字符的可能性或置信度得分。这种类型的字符识别可能不一定识别单个字符位于边界框内部的位置或顺序，这是标准OCR模型执行要慢得多的过程。例如，如果边界框包含单词STOP或POTS，则针对各个字符的置信度得分的输出将相同。当然，短语预测模型仍可以将STOP与POTS区别开，附加的单独字符分析可能对识别选择的短语列表之外的短语是有用的。作为另一个示例，如果有一个停止标志，例如典型的红色和白色八边形，带有文本“Stop for hamburgers(停止来吃汉堡)”，则检测到边界框中存在来自选择的短语列表中的除了“stop”之外的单独字符的高可能性对于确定车辆是否应响应停止标志是有用的。

图10是根据本公开的方面的示例流程图800，其可以由一个或多个计算设备的一个或多个处理器(例如，计算设备110的处理器120)执行，以在自主驾驶模式下控制车辆。在框1010，接收车辆的外部环境的图像。在框1020，使用短语识别模型对图像进行处理，以便识别图像中的包括在选择的短语列表中的文本。在框1030，识别所识别的文本的语义含义。在框1040，然后在自主驾驶模式下基于所识别的语义含义控制车辆。

再者，上述特征可以提供有效的车载短语识别模型。首先，离线训练短语识别模型并将该模型加载到车辆上使得可以使用非常大量的训练图像比在车辆上更快地实现具有期望的高准确度的模型。其次，短语识别模型比逐个字符分析更有效，该短语识别模型检测可包括一个或多个单词或数字的整个短语。因此，特征降低了车载计算设备所需的处理能力，这可以降低车辆的总体成本和能耗，同时使得能够更快速地检测道路状况和规则，例如毫秒级，这也可以改善车辆的整体安全性。该技术还提供了将短语识别模型与其他车载图像识别模型(例如，图案识别模型或字符识别模型)结合使用，这可以进一步提供确定的确认、附加信息以及改进的安全性，而不会极大地牺牲了处理时间。

除非另有说明，否则前述替选示例不是互相排斥的，而是可以以各种组合实现以实现独特的优点。由于可以在不背离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施例的前述描述应通过说明的方式而不是通过限制权利要求所限定的主题的方式进行。另外，在此描述的示例的提供以及用短语表达为“诸如”、“包括”等的用语不应被解释为将权利要求的主题限制于特定示例；而是，这些示例仅旨在说明许多可能的实施例之一。此外，不同附图中的相同附图标记可以识别相同或相似的元件。