确定图像数据是否在图像分析软件被配置以分析的预定范围内

摘要

一种用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的系统。该系统包括相机和电子处理器。该电子处理器被配置成从相机接收图像数据，并且生成关于图像数据的预测以及与该预测相关联的置信度值。该电子处理器还被配置成使用扰动值扰动图像数据，并且生成关于受扰动的图像数据的预测以及与该预测相关联的置信度值。该电子处理器被进一步配置成比较置信度值，并且当与关于图像数据的预测相关联的置信度值和与关于图像数据的预测相关联的置信度值之间的差异小于预定阈值时，禁用车辆的自主功能。

说明书

相关申请

本申请要求于2018年12月31日提交的美国临时专利申请第62/786,590号的优先权，其全部内容由此通过引用并入本文。

发明内容

图像传感器是自主和部分自主驾驶系统中的重要组件。然而，在一些情况下，来自图像传感器的图像数据可能会被错误地分析。例如，在诸如恶劣的天气条件（例如，下雨）、弱光和来自太阳的直射光之类的情况下，图像分析软件可能会错误地生成关于图像中对象的存在、图像中对象的位置、图像中道路标记的存在、图像中道路标记的位置，或上述各项的组合的预测。图像分析软件在一些情况下做出错误确定的原因是因为图像分析软件没有被配置成分析在这些情况下获得的图像数据。因此，在一些实施例中，当在图像分析软件未被配置以分析的情况下获得从相机接收到的图像数据时，忽略该图像数据是合期望的。在一些实施例中，当在图像分析软件未被配置以分析的情况下获得从相机接收到的图像数据时，禁用车辆的至少一些自主功能是合期望的。本文中的实施例描述了一种用于检测接收到的图像数据是否是在图像分析软件未被配置以分析的情况下获得的方法和系统。

一个实施例提供了一种用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的系统。该系统包括相机和电子处理器。该电子处理器被配置成从相机接收图像数据，并且使用图像分析软件生成关于图像数据的预测以及与关于图像数据的预测相关联的置信度值。该电子处理器还被配置成使用扰动值扰动图像数据，并且使用图像分析软件生成关于受扰动的图像数据的预测以及与关于受扰动的图像数据的预测相关联的置信度值。该电子处理器被进一步配置成将与关于受扰动的图像数据的预测相关联的置信度值和与关于图像数据的预测相关联的置信度值进行比较，以及当与关于图像数据的预测相关联的置信度值和与关于图像数据的预测相关联的置信度值之间的差异小于预定阈值时，禁用车辆的自主功能。

另一个实施例提供了一种确定图像数据是否在图像分析软件被配置以分析的预定范围内的方法。该方法包括：利用电子处理器，从相机接收图像数据；以及使用图像分析软件，生成关于图像数据的预测和与关于图像数据的预测相关联的置信度值。该方法还包括：使用扰动值扰动图像数据，并且使用图像分析软件，生成关于受扰动的图像数据的预测以及与关于受扰动的图像数据的预测相关联的置信度值。该方法进一步包括：利用电子处理器，将与关于受扰动的图像数据的预测相关联的置信度值和与关于图像数据的预测相关联的置信度值进行比较。该方法还包括：当与关于图像数据的预测相关联的置信度值和与关于图像数据的预测相关联的置信度值之间的差异小于预定阈值时，使用来自替代传感器的数据来生成预测以控制车辆的自主功能。

通过考虑详细描述和附图，其他的方面、特征和实施例将变得显而易见。

附图说明

图1是根据一些实施例的用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的系统的框图。

图2是根据一些实施例的图1的系统的电子控制器的框图。

图3是根据一些实施例的使用用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的图1的系统的方法的流程图。

具体实施方式

在详细解释任何实施例之前，要理解到，本公开不意图将其应用限制于在以下描述中阐述或在以下附图中图示的构造和组件布置的细节。实施例能够具有其他配置，并且能够以各种方式实践或执行。

多个基于硬件和软件的设备，以及多个不同结构的组件可以用来实现各种实施例。此外，实施例可以包括硬件、软件和电子组件或模块，出于讨论的目的，可以将它们图示和描述为好像大多数组件仅以硬件实现一样。然而，本领域普通技术人员基于对本详细说明的阅读将意识到，在至少一个实施例中，本发明的基于电子的方面可以以可由一个或多个处理器执行的软件（例如，存储在非暂时性计算机可读介质上的软件）实现。例如，说明书中描述的“控制单元”和“控制器”可以包括一个或多个电子处理器、一个或多个包括非暂时性计算机可读介质的存储器模块、一个或多个输入/输出接口、一个或多个专用集成电路(ASIC)，以及连接各种组件的各种连接（例如，系统总线）。

图1图示了用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的系统100。系统100包括车辆105。车辆105虽然被图示为四轮车辆，但可以涵盖各种类型和设计的车辆。例如，车辆105可以是汽车、摩托车、卡车、公共汽车、半拖拉机等等。在所图示的示例中，车辆105包括电子控制器110、相机115、转向系统120、加速器125和制动器130。车辆105的组件可以具有各种构造，并且可以使用各种通信类型和协议。

电子控制器110可以经由各种有线或无线连接与相机115、转向系统120、加速器125和制动器130通信连接。例如，在一些实施例中，电子控制器110经由专用线直接耦合到车辆105的上面列出的组件中的每一个。在其他实施例中，电子控制器110经由诸如车辆通信总线（例如，控制器局域网(CAN)总线）或无线连接之类的共享通信链路通信耦合到一个或多个组件。

车辆105的每一个组件可以使用各种通信协议与电子控制器110通信。图1中图示的实施例仅提供车辆105的组件和连接的一个示例。然而，这些组件和连接可以以与本文中说明和描述的方式不同的其他方式来构造。例如，应当理解，电子控制器110可以包括一个或多个相机，而不是图1中图示的单个相机115，并且包括在车辆105中的相机可以安装在车辆105的内部和外部上的不同位置处。

图2是车辆105的电子控制器110的框图。电子控制器110包括：向电子控制器110内的组件和模块提供电力、操作控制和保护的多个电气和电子组件。电子控制器110除了别的之外包括电子处理器200（诸如可编程电子微处理器、微控制器或类似设备）、存储器205（例如，非暂时性机器可读存储器）和输入/输出接口210。电子处理器200通信连接到存储器205和输入/输出接口210。电子处理器200与存储器205和输入/输出接口210协作，其被配置成除了别的之外实现本文中描述的方法。

如下文将进一步详细描述的，存储器205包括：计算机可执行指令（或软件），用于除了别的之外确定图像数据是否在图像分析软件被训练以分析的（在某种情况下获得的）预定范围内。在图2中图示的示例中，存储器205包括：图像分析软件215，其包括卷积神经网络(CNN) 220（或更广泛地是机器学习软件）和自主功能软件225。CNN 220被训练成进行与对从相机115接收到的图像数据中的对象、道路标记、道路标志等等进行检测和分类有关的预测。自主功能软件225依赖于由图像分析软件215（例如，CNN 220）使用来自相机115的图像数据做出的预测，以通过控制转向系统120、加速器125和制动器130除了别的之外向车辆105提供自主功能。自主功能软件225可以是例如自动巡航控制(ACC)、自动制动系统、自动停车系统等等。应当理解到，存储器205可以包括比图2中图示的软件组件更多、更少或不同的软件组件。虽然在本文中被描述为包括CNN，但是应当注意，图像分析软件215可以包括不同类型的机器学习软件，例如，决策树或贝叶斯网络。在一些实施例中，图像分析软件215可以不包括机器学习软件。

电子控制器110可以在几个独立控制器（例如，可编程电子控制器）中实现，每个独立控制器被配置成实行特定功能或子功能。附加地，电子控制器110可以包含子模块，这些子模块包括附加的电子处理器、存储器或专用集成电路(ASIC)，用于处置输入/输出功能、信号的处理和下面列出的方法的应用。在其他实施例中，电子控制器110包括附加的、更少的或不同的组件。

图3图示了用于确定图像数据是否在图像分析软件被配置以分析的预定范围内的方法300的示例。方法300由执行图像分析软件215的电子处理器200实行。应当理解到，虽然下面根据被训练成分析图像数据的CNN来描述示例方法300，但是方法300更一般地适用于被配置成分析图像数据的图像分析软件。在步骤305处，电子处理器200从相机115接收图像数据。在步骤310处，电子处理器200计算特定于CNN 220和接收到的图像数据的扰动值。扰动值是当被添加到图像数据时会更改图像数据、有效地在图像数据中产生噪声的值。电子处理器200使用CNN 220的成本函数的梯度来计算扰动值。在一些实施例中，成本函数被定义为

在步骤325处，电子处理器200还执行CNN 220以生成关于图像数据的预测（将图像数据分类为多个类别之一），并且确定与关于图像数据的预测相关联的置信度值。应当注意到，虽然步骤325在图3中被图示为与步骤310-320并行实行，但在一些实施例中，这些步骤可以顺序实行。

在步骤330处，电子处理器200将与基于受扰动的图像数据做出的预测相关联的置信度值和与基于未受扰动的图像数据做出的预测相关联的置信度值进行比较。在步骤335处，当置信度值之间的差异小于预定阈值时，电子处理器200确定从相机115接收到的图像数据位于CNN 220被训练以分析的预定范围之外。当从相机115接收到的图像数据位于CNN220被训练以分析的预定范围之外时，电子处理器200确定由CNN 220做出的预测是不可靠的。在一些实施例中，当从相机115接收到的图像数据位于CNN 220被训练以分析的预定范围之外，并且自主功能软件225依赖于由CNN 220生成的预测时，电子处理器200禁用由自主功能软件225控制的车辆105的自主功能。

在其他实施例中，当从相机115接收到的图像数据位于CNN 220被训练以分析的预定范围之外时，不是禁用自主功能软件225，而是电子处理器200忽略（无视）来自相机115的图像数据。在电子处理器200忽略来自相机115的图像数据的情况下，电子处理器200使用来自替代传感器的数据以利用CNN 220（或其他类型的软件）生成预测，并且执行自主功能软件225的自主功能。来自替代传感器的数据的示例包括：来自其他相机的图像数据、或来自诸如雷达传感器、LIDAR传感器、超声波传感器等等的传感器的数据。

应当理解到，图像分析软件215可以包括多于一个CNN，并且每个CNN可以被训练成检测接收到的图像数据中的不同内容。例如，一个CNN可以被训练成检测道路标记（例如，车道标记），而另一个CNN被训练成检测诸如人、动物和车辆之类的对象。在一些实施例中，当图像数据被确定为在CNN被训练以分析的预定范围之外时，无论自主功能软件225是否依赖于CNN基于图像数据做出的预测，都禁用由自主功能软件225控制的自主功能。

在前述说明书中，已经描述了具体实施例。然而，本领域普通技术人员领会到，在不脱离如所附权利要求中阐述的本发明的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而非限制性的，并且所有这些修改都意图被包括在本教导的范围内。

在本文档中，诸如第一和第二、顶部和底部等等的关系术语可以单独用于将一个实体或动作与另一个实体或动作区分开来，而不必要求或暗示这样的实体或动作之间的任何实际的这种关系或次序。术语“包括（comprises）”、“包括（comprising）”、“具有（has）”、“具有（having）”、“包括（includes）”、“包括（including）”、“包含（contains）”、“包含（containing）”或其任何其他变体意图涵盖非排他性的包括，诸如包括、具有、包括、包含元素列表的过程、方法、物品或装置不仅包括那些元素，而是还可以包括未明确列出或者是这种过程、方法、物品或装置固有的其他元素。以“包括……一个”、“具有……一个”、“包括……一个”或“含有……一个”开头的元素在没有更多约束的情况下不排除在包括、具有、包括、包含该元素的过程、方法、物品或装置中存在附加的相同元素。除非本文中另行明确陈述，否则术语“一”和“一个”被定义为一个或多个。术语“大体上”、“基本上”、“近似”、“大约”或其任何其他版本被定义为接近本领域普通技术人员所理解的，并且在一个非限制性实施例中，该术语被定义为在10%以内，在另一个实施例中在5%以内，在另一个实施例中在1%以内，并且在另一个实施例中在0.5%以内。本文中使用的术语“耦合”被定义为连接，尽管不一定是直接连接也不一定是机械连接。以某种方式“配置”的设备或结构至少以这种方式配置，但也可以以未列出的方式配置。

在所附权利要求中阐述了各种特征、优点和实施例。