智能汽车最优决控模型构建及求解方法、装置和存储介质

摘要

本公开提供的智能汽车最优决控模型构建及求解方法、装置和存储介质，包括：构建智能汽车的最优决控模型，以最小化自车的路径跟踪性能和预测跟踪误差之和作为最优决控模型的目标函数，分别以自车动力学模型、自车与周围交通参与者的距离、自车与道路的距离和自车与信号灯的距离作为最优决控模型的运动约束和安全约束，以评价函数和策略函数作为最优决控模型的输出；建立学习型罚函数方法处理安全约束，在探索过程中监测不安全的驾驶状态并对违反约束的策略施加惩罚，使得策略朝着满足约束的方向迭代，最终输出最优决控模型的最优策略函数和最优评价函数。本公开具有高安全性和强智能性，突破了现有决控求解器独立优化且依赖人工规则的瓶颈。

说明书

技术领域

本发明属于智能汽车自主决控领域，特别涉及智能汽车最优决控模型的构建及求解方 法和装置。

背景技术

智能化是汽车技术变革的方向之一，在减少交通事故、降低油耗、提高通行效率等方 面有巨大潜力。面对交叉路口等复杂城市场景的决控能力是衡量驾驶智能水平的核心要素， 需要考虑交通场景的动态性和随机性。目前，传统的分层式方案将决控问题分成一系列子 优化问题并采用在线优化方法分别求解，导致其泛化能力低且难以满足复杂场景下控制指 令计算的实时性。随着人工智能技术的快速发展，具备自学习能力和强泛化能力的学习型 求解方法有望突破高级别自动驾驶面临的决控难题。对汽车而言，其优化求解需要考虑道 路、行人、自行车及周围机动车的通行状态，保障车辆行驶的安全性，其次需要考虑交通 规则、红绿灯、多样化道路结构等物理条件的限制，具备较高的智能性。

现有的决控问题的学习型求解方法，其过程基于从无到有的探索试错过程，通过交互 数据不断迭代产生更好的驾驶策略。一方面没有考虑道路中心线、车辆动力学等有效先验 知识，易于收敛至局部最优解，难以获得具有强智能性的最优策略。另一方面，学习过程 基于车辆在驾驶环境中的探索试错过程，通过获得的奖惩信号调节驾驶策略，无法完全保 证算法的安全性，难以真正在实车上应用。

发明内容

本公开旨在解决上述问题之一。

为此，本公开第一方面实施例提供的一种具有高安全性和强智能性的智能汽车最优决 控模型的构建及求解方法，包括：

构建智能汽车的最优决控模型，以最小化自车的路径跟踪性能和预测跟踪误差之和作 为所述最优决控模型的目标函数，以自车动力学模型作为所述最优决控模型的运动约束， 以自车与周围交通参与者的距离、自车与道路的距离和自车与信号灯的距离作为所述最优 决控模型的安全约束，以用于从候选路径集中选择最优路径的评价函数和用于确定与所述 最优路径对应的最优自车控制指令的策略函数作为所述最优决控模型的输出；其中，所述 路径跟踪性能表征自车在未来预测时域内与候选路径的差异及自车在跟踪过程中的稳定 性和能量消耗，所述预测跟踪误差用于评价对不同路径进行跟踪的优劣；

建立学习型罚函数方法处理所述安全约束，在探索过程中监测不安全的驾驶状态并对 违反约束的策略施加惩罚，使得策略朝着满足约束的方向迭代，最终输出所述最优决控模 型的最优策略函数和最优评价函数。

本公开第一方面实施例提供的智能汽车最优决控模型构建及求解方法，具有以下特点 及有益效果：

本公开提出的模型构建及求解方法综合考虑非线性的车辆动力学和不同类型交通参 与者的安全约束，通过不断惩罚违反约束的状态直到获得严格满足约束的最优策略，因此， 该求解方法可有效保证驾驶策略的安全性。

本公开提出的求解方法同时优化评价函数和策略函数，分别用于选择最优路径和产生 控制指令，突破了现有决控求解器独立优化且依赖人工规则的瓶颈，保证了决控过程的智 能性。

在一些实施例中，所述智能汽车的最优决控模型的数学表达式如下：

x

x

x

g

g

g

其中：

式(1)为所述最优决控模型的目标函数，J

式(2)为自车的动力学模型，F

式(3)为周围交通参与者的运动模型，F

式(4)为与自车行驶相关的道路状态，F

式(5)为周围交通参与者的安全约束，g

式(6)为道路安全约束，g

式(7)为红灯的安全约束，g

在一些实施例中，所述最优决控模型的最优策略函数和最优评价函数通过以下步骤获得：

2-1)初始化评价函数参数w和策略函数参数θ，设置评价函数学习率为β

2-2)构建初始驾驶状态

2-3)以初始驾驶状态为起点，令J

2-4)更新评价函数V

2-5)增大惩罚因子，即令ρ＝cρ，同时令t＝t+1；

2-6)不断执行步骤2-2)～2-5)，直到获得最优的评价函数参数w

在一些实施例中，步骤2-3)具体包括：

2-3-1)令J

2-3-2)计算得到τ时刻对应的跟踪代价l(τ)和安全约束性能g

2-3-3)计算累积的跟踪性能与累积的安全约束性能：

J

2-3-4)令τ＝τ+1，重复2-3-1)～2-3-3)直至τ＝t+T，得到初始驾驶状态s

在一些实施例中，按照下式分别设置各所述安全约束对应的惩罚函数：

其中，

在一些实施例中，按照下式对所述评价函数V

其中，V

在一些实施例中，按照下式更新策略函数参数θ，优化期望累积跟踪性能J

J

其中，J

本公开第二方面实施例提供的智能汽车最优决控模型构建及求解装置，包括：

最优决控模型构建模块，用于以最小化自车的路径跟踪性能和预测跟踪误差作为所述 最优决控模型的目标函数，以车辆动力学作为所述最优决控模型的运动约束，以自车与周 围交通参与者的距离、自车与道路的距离和自车与信号灯的距离作为所述最优决控模型的 安全约束，以用于从候选路径集中选择最优路径的评价函数和用于确定与所述最优路径对 应的最优自车控制指令的策略函数作为所述最优决控模型的输出；其中，所述路径跟踪性 能表征自车在未来预测时域内与候选路径的差异及自车在跟踪过程中的稳定性和能量消 耗，所述预测跟踪误差用于评价对不同路径进行跟踪的优劣；

最优决控模型求解模块，用于建立学习型罚函数方法处理所述安全约束，在探索过程 中监测不安全的驾驶状态并对违反约束的策略施加惩罚，使得策略朝着满足约束的方向迭 代，最终输出所述最优决控模型的最优策略函数和最优评价函数。

本公开第三方面实施例提供的计算机可读存储介质，所述计算机可读存储介质存储计 算机指令，所述计算机指令用于使所述计算机执行所述的智能汽车最优决控模型构建及求 解方法。

附图说明

图1是本公开第一方面实施例提供的智能汽车最优决控模型的构建及求解方法的整体 流程框图。

图2是本公开第二方面实施例提供的智能汽车最优决控模型的构建及求解装置的结构 示意图。

图3是本公开第三方面提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本 申请进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本申请，并 不用于限定本申请。

相反，本申请涵盖任何由权利要求定义的在本申请精髓和范围上做的替代、修改、等 效方法以及方案。进一步，为了使公众对本申请有更好的了解，在下文对本发明的细节描 述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述 也可以完全理解本申请。

参见图1，本公开第一方面实施例提供的智能汽车最优决控模型构建及求解方法，包括：

构建智能汽车的最优决控模型，以最小化自车的路径跟踪性能和预测跟踪误差之和作 为最优决控模型的目标函数，以车辆动力学模型作为最优决控模型的运动约束，以自车与 周围交通参与者的距离、自车与道路的距离和自车与信号灯的距离作为最优决控模型的安 全约束，以用于从候选路径集中选择最优路径的评价函数和用于确定与该最优路径对应的 最优自车控制指令的策略函数作为最优决控模型的输出；其中，路径跟踪性能表征自车在 未来预测时域内与候选路径的差异及自车在跟踪过程中的稳定性和能量消耗，预测跟踪误 差用于评价对不同路径进行跟踪的优劣；

建立学习型罚函数方法处理安全约束，在探索过程中监测不安全的驾驶状态并对违反 约束的策略施加惩罚，使得策略朝着满足约束的方向迭代，最终输出最优决控模型的最优 策略函数和最优评价函数。

在一些实施例中，构建的智能汽车的最优决控模型的数学表达式如下：

x

x

x

g

g

g

其中：

式(1)为最优决控模型的目标函数，J

式(2)为自车的动力学模型，F

式(3)为周围交通参与者的运动模型，其中，F

式(4)为与自车行驶相关的道路状态，其中，F

式(5)为周围交通参与者的安全约束，其中，g

式(6)为道路安全约束，其中，g

式(7)为红灯的安全约束，其中，g

在一些实施例中，对智能汽车的最优决控模型进行求解，具体包括以下步骤：

2-1)初始化评价函数参数w和策略函数参数θ，设置评价函数学习率为β

2-2)从驾驶环境中采样t时刻的自车状态x

2-3)以初始驾驶状态为起点，令J

2-3-1)令J

2-3-2)计算得到τ时刻对应的跟踪代价l(τ)和安全约束性能g

其中，

2-3-3)计算累积的跟踪性能与累积的安全约束性能：

2-3-4)令τ＝τ+1，重复2-3-1)～2-3-3)直至τ＝t+T，得到初始驾驶状态s

2-4)更新评价函数V

更新策略函数π

J

其中，J

策略函数的更新方式为：

2-5)增大惩罚因子，即令ρ＝cρ，同时令t＝t+1。

2-6)不断执行步骤2-2)～2-5)，直到获得最优的评价函数参数w

为了更好地理解本申请，以下详细阐述本申请针对城市交叉路口场景最优决控模型的 问题及求解方法的应用实例。

本实施例应用于有信号灯的双向六车道十字路口，智能汽车(简称自车)的行驶目标 为安全、高效地通过该路口，这是一类典型的人车混杂交通场景，行人、自行车和周围车辆(简称周车)均按照交通指示灯规定的通行权行驶。以左转为例，根据道路拓扑的特点，自车行驶的候选路径集包括3条不同的路径，分别对应于不同的目标车道的中心线。自车可通过自身传感器感知得到道路以及周围交通参与者的信息，以道路、交通灯、周车、行人、自行车等为约束条件，构造二次型性能指标的约束型最优跟踪问题,其跟踪代价函数为：

其中，τ时刻的自车状态为x

本实施例采用基于圆心距的安全约束构建方法。每个车辆都被两个先后分布的圆所代 表，τ时刻自车前圆的圆心位置选取为

其中，λ(·,·)表示两个点之间的距离度量，

其中，

此外，行人用单圆法表示，其圆心为行人τ时刻的位置O

其中，O

道路边缘约束即自车位置与道路边缘O

其中，O

红绿灯约束为停止线中心点O

其中，O

以上针对交叉路口场景构建的约束型最优决控问题，本实施例提出的近似求解方法可 用于离线求解最优的评价函数和策略函数，具体包括以下步骤：

2-1)初始化评价函数参数w和策略函数参数θ,设置评价函数学习率为β

2-2)从驾驶环境中采样t时刻的初始驾驶状态s

2-3)以初始驾驶状态为起点，令J

2-3-1)令J

2-3-2)计算得到τ时刻对应的跟踪性能l(τ)，根据式14)～18)构建约束并根据式8)计算 安全约束对应的惩罚函数

2-3-3)根据式9)更新累积的跟踪性能J

2-3-4)令τ＝v+1，重复2-3-1)～2-3-3)直至τ＝t+T，得到初始驾驶状态s

2-4)根据式10)更新评价函数V

2-5)更新罚因子ρ，令ρ＝cρ，同时令t＝t+1。

不断执行步骤2-2)～2-5)，直到获得最优的评价函数参数w

本公开第二方面实施例提供的一种智能汽车最优决控模型的构建及求解装置，其结构 参见图2，包括：

最优决控模型构建模块，用于以最小化自车的路径跟踪性能和预测跟踪误差作为最优 决控模型的目标函数，以车辆动力学模型作为最优决控模型的运动约束，以自车与周围交 通参与者的距离、自车与道路的距离和自车与信号灯的距离作为最优决控模型的安全约束， 以用于从候选路径集中选择最优路径的评价函数和用于确定与该最优路径对应的最优自 车控制指令的策略函数作为最优决控模型的输出；其中，路径跟踪性能表征自车在未来预 测时域内与候选路径的差异及自车在跟踪过程中的稳定性和能量消耗，预测跟踪误差用于 评价对不同路径进行跟踪的优劣；

最优决控模型求解模块，用于建立学习型罚函数方法处理安全约束，在探索过程中监 测不安全的驾驶状态并对违反约束的策略施加惩罚，使得策略朝着满足约束的方向迭代， 最终输出最优决控模型的最优策略函数和最优评价函数。

为了实现上述实施例，本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，用于执行上述实施例的自动驾驶汽车静态路径规 划方法。

下面参考图3，其示出了适于用来实现本公开实施例的电子设备100的结构示意图。其中，需要说明的是，该电子设备100中包括自动驾驶汽车的决控系统，其中，本 公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接 收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、 车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、服务 器等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功 能和使用范围带来任何限制。

如图3所示，电子设备100可以包括处理装置(例如中央处理器、图形处理器等)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储装置108加载到 随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM 103 中，还存储有电子设备100操作所需的各种程序和数据。处理装置101、ROM 102以 及RAM 103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。

通常，以下装置可以连接至I/O接口105：包括例如触摸屏、触摸板、键盘、鼠标、 摄像头、麦克风等的输入装置106；包括例如液晶显示器(LCD)、扬声器、振动器 等的输出装置107；包括例如磁带、硬盘等的存储装置108；以及通信装置109。通信 装置109可以允许电子设备100与其他设备进行无线或有线通信以交换数据。虽然图 3示出了具有各种装置的电子设备100，但是应理解的是，并不要求实施或具备所有示 出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括承载在计算机可读介质 上的计算机程序，该计算机程序包含用于执行流程图中所示方法的程序代码。在这样 的实施例中，该计算机程序可以通过通信装置109从网络上被下载和安装，或者从存 储装置108被安装，或者从ROM 102被安装。在该计算机程序被处理装置101执行时， 执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是—— 但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意 以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多 个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器 (ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只 读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在 本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以 被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读 信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机 可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、 光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质 以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由 指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含 的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设 备执行时，使得该电子设备：构建智能汽车的最优决控模型，以最小化自车的路径跟踪性 能和预测跟踪误差之和作为最优决控模型的目标函数，以车辆动力学模型作为最优决控模 型的运动约束，以自车与周围交通参与者的距离、自车与道路的距离和自车与信号灯的距 离作为最优决控模型的安全约束，以用于从候选路径集中选择最优路径的评价函数和用于 确定与该最优路径对应的最优自车控制指令的策略函数作为最优决控模型的输出；其中， 路径跟踪性能表征自车在未来预测时域内与候选路径的差异及自车在跟踪过程中的稳定 性和能量消耗，预测跟踪误差用于评价对不同路径进行跟踪的优劣；建立学习型罚函数方 法处理安全约束，在探索过程中监测不安全的驾驶状态并对违反约束的策略施加惩罚，使 得策略朝着满足约束的方向迭代，最终输出最优决控模型的最优策略函数和最优评价函数。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机 程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、 C++、python，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计 语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为 一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在 远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意 种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者， 可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上 述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、 结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外， 在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示 例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对 重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的 特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义 是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段 或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或 讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能， 这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中， 以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以 从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系 统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、 存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系 统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包 括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)， 随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM 或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机 可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对 纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理 来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上 述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行 的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本 领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑 功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可 编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤， 可以通过程序来指令相关的硬件完成，所开发的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成 的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模 块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一 个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请 的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、 替换和变型。