可运动物体的运动轨迹的预测方法、计算机设备及车辆

摘要

本发明提供了一种可运动物体的运动轨迹的预测方法，可运动物体的运动轨迹的预测方法包括：获取环境数据和可运动物体数据；将环境数据和可运动物体数据添加至对抗神经网络模型；计算在环境数据和可运动物体数据的条件下对抗神经网络模型的模型分数；判断模型分数是否是标准分数；当模型分数不是标准分数时，调整对抗神经网络模型的参数至模型分数达到标准分数；当模型分数是标准分数时，获取对抗神经网络模型输出可运动物体的运动轨迹。本发明还提供了一种计算机设备及一种自动驾驶车辆。上述可运动物体的运动轨迹的预测方法通过对抗神经网络模型实现快速准确的对可运动物体的运动轨迹进行预测的效果。

说明书

技术领域

本发明涉及自动驾驶领域，尤其涉及一种可运动物体的运动轨迹的预测方法、计算机设备及车辆。

背景技术

随着社会的发展和科技的进步，汽车走进千家万户并导致交通事故的逐渐增多，因此，自动驾驶车辆的研究也日益重要。自动驾驶技术的提出，在一定程度上降低了交通事故的发生并减轻了驾驶员的驾驶疲劳，提升了驾驶员的操作方便性，代表着未来汽车技术的战略制高点。在自动驾驶系统中，准确的理解和预测周围的驾驶环境和交通参与者，对于自动驾驶车辆或自主车辆做出准确且安全的决策而言是非常重要的。现有技术中的自动驾驶预测，意图预测大多数采用贝叶斯推理或者深度学习，轨迹预测采用机遇车道序列生成的方式，这些方法可以输出障碍物车辆的未来的行驶轨迹，若有多条预测轨迹时，会输出每条轨迹的概率。但这些预测方法也有一定的缺点：(1)目前规划无法使用意图预测中的概率，因为自动驾驶以安全为前提，即使概率非常小，也会当作正常的预测轨迹做规划；(2)往往根据深度学习的预测，其意图预测无法覆盖每个场景，尤其在路口形状变化较大时，其意图预测更加不准确。(3)预测不仅仅需要结合语义地图，还需要结合交通规则等信息。

因此，提供一种基于对抗神经网络模型来实现快速准确的对可运动物体的运动轨迹进行预测是亟需解决的问题。

发明内容

本发明提供一种可运动物体的运动轨迹的预测方法、计算机设备及自动驾驶车辆，通过对抗神经网络模型实现快速准确的对可运动物体的运动轨迹进行预测的效果。

第一方面，本发明实施例提供一种可运动物体的运动轨迹的预测方法，可运动物体的运动轨迹的预测方法包括：

获取环境数据和可运动物体数据；

将环境数据和可运动物体数据添加至对抗神经网络模型；

计算在环境数据和可运动物体数据的条件下对抗神经网络模型的模型分数；

判断模型分数是否是标准分数；

当模型分数不是标准分数时，调整对抗神经网络模型的参数至模型分数达到标准分数；或者

当模型分数是标准分数时，获取对抗神经网络模型输出生成可运动物体轨迹。

第二方面，本发明实施例提供一种计算机设备，计算机设备包括：

存储器，用于存储可运动物体的运动轨迹的预测方法的程序指令；

处理器，用于执行程序指令以使计算机设备实现上述的可运动物体的运动轨迹的预测方法。

第三方面，本发明实施例提供一种自动驾驶车辆，自动驾驶车辆包括上述的计算机设备，以使智自动驾驶车辆实现上述的可运动物体的运动轨迹的预测方法。

上述可运动物体的运动轨迹的预测方法、计算机设备及车辆通过获取当前的环境数据和可运动物体数据，计算在环境数据和可运动物体数据的条件下对抗神经网络模型的模型分数。当模型分数不是标准分数时，调整对抗神经网络模型的参数至模型分数达到标准分数。检测对抗神经网络模型的准确性，确保输出的生成可运动物体轨迹使接近真实的，对真实的可运动物体有预测效果的。当模型分数是标准分数时，获取对抗神经网络模型输出生成可运动物体轨迹，此时对抗神经网络模型能够实现快速准确的对可运动物体轨迹进行预测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明第一实施例提供的可运动物体的运动轨迹的预测方法的流程图。

图2为本发明第一实施例提供的可运动物体的运动轨迹的预测方法的第一子流程图。

图3为本发明第一实施例提供的可运动物体的运动轨迹的预测方法的第二子流程图。

图4为本发明第一实施例提供的可运动物体的运动轨迹的预测方法的第三子流程图。

图5为本发明第一实施例提供的可运动物体的运动轨迹的预测方法的第四子流程图。

图6为本发明第二实施例提供的可运动物体的运动轨迹的预测方法的子流程图。

图7为本发明第一实施例提供的十字路口模型和真实的十字路口示意图。

图8为本发明第一实施例提供的行人模型和真实的行人的示意图。

图9为本发明第一实施例提供的计算机设备内部结构示意图。

图10为本发明第一实施例提供的自动驾驶车辆示意图。

900 计算机设备 901 存储器

902 处理器 903 总线

904 显示组件 905 通信组件

100 自动驾驶车辆 200 十字路口模型

210 真实的十字路口 300 行人模型

310 真实的行人 101 车身

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请结合参看图1，其为本发明第一实施例提供的可运动物体运动轨迹的预测方法。第一实施例提供的可运动物体运动轨迹的预测方法具体包括下面步骤。

步骤S101，获取环境数据和可运动物体数据。环境数据包括地图、交通规则和静态物体。可运动物体数据包括行人、摩托车、自行车、普通车辆、自动驾驶车辆本身和其他可以在道路上运动的物体。具体地，自动驾驶车辆100通过车载传感器、高精地图以及V2X等自动驾驶获取外部环境的技术获取当前的环境数据和当前可运动物体数据。车与任何事物的联系(Vehicle to everything，V2X)主要包括车与车(vehicletovehicle，V2V)，车与基础设施(vehicle to infrastructure，V2I)，车与人(vehicle to people，V2P)，车与云(vehicle to network，V2N)。进一步地就是自动驾驶车辆通过传感设备，网络通讯技术与其它周边车、人、物进行通讯交流，并收集信息的一项技术。例如，自动驾驶车辆通过高精地图获取当前位置为十字路口的左转待转车道。自动驾驶车辆根据车载的激光雷达、毫米波雷达和摄像机获取周围环境中有多少车辆以及行人。自动驾驶车辆根据V2X获取所行驶道路前方是否出现堵车情况。

步骤S102，将环境数据和可运动物体数据添加至对抗神经网络模型。一般的对抗神经网络模型包括两个机器学习模型，分别为生成模型和鉴别模型。生成模型(Generative)为学习到的是对于所观察数据的联合分布比如2-D：p(x,y)。鉴别模型为学习到的是条件概率分布p(y|x),即学习到的是观察变量x的前提下的非观察变量的分布情况。通俗的说，想通过生成模型来从数据中学习到分布情况，来生成新的数据。比如从大量的图片中学习，然后生成一张新的图片。而对于鉴别模型，最经典的应用，比如监督学习，那么对于分类问题，当输入x，输出y的情况，那么y的值可以理解为数据的标签。而其中的对抗神经网络模型就是由一个鉴别模型(Discriminative,D)和一个生成模型(Generative,G)组成的。

具体地，将自动驾驶车辆当前的所在十字路口的道路情况，以及周围其他车辆和行人的数据添加至对抗神经网络模型。其中，对抗神经网络模型包括环境模型和可运动物体模型。环境模型为具有相同特征的一种或者一类的环境的模型，例如，十字路口模型，丁字路口模型等。环境模型是真实的自动驾驶车辆所处的环境的一种整体性的，缺乏细节的模型。可运动物体模型为具有相同特征的一种或者一类的可运动物体的模型，例如，行人，在本实施例中，行人模型设定为1.7米。这里的距离仅作示例，不作限定，实际应用中可以根据地区居民的真实身高设定模型身高。具体请结合参看图2，其为本发明第一实施例提供的步骤S102的子步骤流程图，具体包括下面步骤。

步骤S1021，根据环境数据获取与环境模型中已有的环境数据有差异的环境差异数据。环境差异数据表示真实的环境与模型之间存在差异数据。请结合参看图7，真实的十字路口210的宽度为35米，而十字路口模型200的宽度为30米。宽度5米(35米-30米＝5米)就是环境差异数据。

步骤S1022，根据可运动物体数据获取与可运动物体模型中已有的可运动物体数据有差异的可运动物体差异数据。可运动物体差异数据表示真实的可运动物体与模型之间存在差异数据。请结合参看图8，实际在路口准备过马路的真实的行人310身高为1.8米，而行人模型300的身高为1.7米，1.7米的行人的走路速度为1.4米每秒。0.1米(1.8米-1.7米＝0.1米)就是可运动物体差异数据。因为不同身高的行人走路的速度是不同的，可以根据可运动物体差异数据调节行人模型300的走路速度。

步骤S1023，将环境差异数据和可运动物体差异数据添加至对抗神经网络模型。

在本实施例中，通过环境差异数据和可运动物体差异数据这两组数据，使得对抗神经网络模型中的模型变为真实的环境，使对抗神经网络模型能够准确地生成可运动物体轨迹。仅使用环境差异数据和可运动物体差异数据也能够减少运算量，提高运算速度。

步骤S103，计算在环境数据和可运动物体数据的条件下对抗神经网络模型的模型分数。其中，对抗神经网络模型包括生成器(也可称：生成模型)和鉴别器(也可称：鉴别模型)。具体请结合参看图3，其为本发明第一实施例提供的步骤S103的子步骤流程图，步骤S103具体包括下面步骤。

步骤S1031，获取生成器生成的预设条数的可运动物体的运动轨迹。在本实施例中，生成器是一个用于生成可运动物体的运动轨迹的网络，它接收关于环境数据以及可运动物体数据的信息，通过关于环境数据以及可运动物体数据的信息生成可运动物体的运动轨迹。生成器根据环境数据以及可运动物体数据生成10条可运动物体的运动轨迹。这里的10仅作示例不作限定。生成器可以根据真实设定条数生成任意条可运动物体的运动轨迹，记做G(z)。

步骤S1032，将预设条数的可运动物体的运动轨迹输入鉴别器。在本实施例中，鉴别器是一个鉴别网络，鉴别一条可运动物体的运动轨迹是不是“真实的”。将10条可运动物体的运动轨迹按照生成时间顺序输入鉴别器。

步骤S1033，统计被鉴别器鉴别出来的可运动物体的运动轨迹的已鉴别条数。在本实施例中，它的输入参数是x，x代表10条可运动物体的运动轨迹，输出D(x)代表x为可运动物体的真实轨迹的概率，如果为1，就代表100％是可运动物体的真实轨迹，而输出为0，就代表不可能是可运动物体的真实轨迹。

步骤S1034，根据已鉴别条数和预设条数计算对抗神经网络模型的模型分数。

在本实施例中，模型分数为D(G(z))，D的能力越强，D(x)应该越大，D(G(x))越小，G的能力越强，G(x)应该越大，D(G(x))越大。

在本实施例中，获取模型分数是检测对抗神经网络模型是否能够对当前的环境下对可运动物体的运动轨迹进行准确地预测。提高对抗神经网络模型对可运动物体的运动轨迹的预测的准确性。

步骤S104，判断模型分数是否是标准分数。在本实施例中，在最理想的状态下，G可以生成足以“以假乱真”的可运动物体的运动轨迹G(z)。对于D来说，它难以判定G生成可运动物体的运动轨迹究竟是不是真实的，因此模型分数D(G(z))＝0.5为标准分数。

步骤S105，当模型分数不是标准分数时，调整对抗神经网络模型的参数至模型分数达到标准分数。请结合参看图4，其为本发明第一实施例提供的步骤S105的子步骤流程图，步骤S105具体包括下面步骤。

步骤S1051，判断模型分数是否大于标准分数。判断模型分数是否大于0.5。

步骤S1052，当模型分数大于标准分数时，调整鉴别器数据。在本实施例中，模型分数大于0.5时，说明鉴别器的能力不够，不足以鉴别出可运动物体的运动轨迹是生成的，所以需要通过调整一些数据提高鉴别器的鉴别能力。

在一些优选的实施例中，可以通过添加可参照的可运动物体的真实轨迹的数量来强化鉴别器的鉴别能力。这些运动轨迹中，绝大多数数据会比较类似，只有少数的不一样数据。比如在某一路口，最左的车道，左转的轨迹占了99％，只有1％的数据是U型掉头和其他一些特殊情况。如果将数据都是一样进行训练，那么模型会自动忽略掉这1％的情况。为了解决这个问题，训练模型的时候，数据可以采样，可以让各种情况都更均匀，比如50％是左转，50％是U型掉头。

在另一些优选的实施例中，可以通过提高生成器生成的可运动物体的运动轨迹与可运动物体的真实轨迹的相似度的比值来强化鉴别器的鉴别能力。

步骤S1053，当模型分数小于标准分数时，调整生成器数据。在本实施例中，模型分数小于0.5时，说明生成器的能力不够，而被鉴别器鉴别出可运动物体的运动轨迹，不是真实的可运动物体的运动轨迹。所以需要通过调整一些数据提高生成器的生成贴近真实情况的能力。

在一些优选的实施例中，可以通过增强生成器的约束条件来强化生成器的以假乱真的能力，例如，运动学约束条件，1.8米的行人的速度区间由1.0-1.5米每秒，缩小至1.3-1.5米每秒。

在另一些优选的实施例中，可以通过生成器增加算法的迭代次数来强化生成器的以假乱真的能力。

在本实施例中，通过调整生成器以及鉴别器使对抗神经网络模型达到当前环境下的最优状态，从而能够准确地对当前环境中的可运动物体的运动轨迹进行预测，提高可运动物体的运动轨迹的预测的准确性。

步骤S106，当模型分数是标准分数时，输出对抗神经网络模型生成的可运动物体的运动轨迹。请结合参看图5，其为本发明第一实施例提供的步骤S106的子步骤流程图，步骤S106具体包括下面步骤。

步骤S1061，鉴别器根据可运动物体的真实轨迹判断生成器生成的可运动物体的运动轨迹是否为可运动物体的真实轨迹。

步骤S1062，当判定生成器生成的可运动物体的运动轨迹是可运动物体的真实轨迹时，鉴别器输出生成器生成的可运动物体的运动轨迹。

步骤S1063，当判定生成器生成的可运动物体的运动轨迹不是可运动物体的真实轨迹时，鉴别器将生成器生成的可运动物体的运动轨迹返回生成器。

在本实施例中，计算在环境数据和可运动物体数据的条件下对抗神经网络模型的模型分数。当模型分数不是标准分数时，调整对抗神经网络模型的参数至模型分数达到标准分数。检测对抗神经网络模型的准确性，确保输出的生成可运动物体轨迹是接近真实的，对实际的可运动物体有预测效果的。当模型分数是标准分数时，获取对抗神经网络模型输出生成可运动物体轨迹，此时对抗神经网络模型能够实现快速准确的对可运动物体轨迹进行预测。

请结合参看图6，其为本发明第二实施例提供的可运动物体的运动轨迹的预测方法的子流程图。第二实施例提供的可运动物体的运动轨迹的预测方法与第一实施例提供的可运动物体的运动轨迹的预测方法的差异在于在获取对抗神经网络模型输出可运动物体的运动轨迹之前，第二实施例提供的可运动物体的运动轨迹的预测方法还包括下面步骤。

步骤S801，判断生成器生成可运动物体的运动轨迹所需要的预测时间是否在预设范围内。自动驾驶车辆中对于生成可运动物体的运动轨迹有很严格的时间限制。一般情况下人类驾驶员的反应时间为0.5秒，所以要求自动驾驶车辆的反应时间为0.1秒。判断生成该可运动物体的运动轨迹所需要的生成时间是否小于0.1秒。

步骤S802，当预测时间在预设范围内时，对抗神经网络模型输出可运动物体的运动轨迹。具体地，生成该可运动物体的运动轨迹所需要的生成时间小于0.1秒时，对抗神经网络模型输出该可运动物体的运动轨迹。

步骤S803，当预测时间不在预设范围内时，优化对抗神经网络模型至预测时间在预设范围内。具体地，生成该可运动物体的运动轨迹所需要的生成时间大于0.1秒时，优化对抗神经网络模型至生成时间等于或小于0.1秒。0.1秒仅为本实施例的示例，具体预设范围根据真实情况确定。

在本实施例中，通过判断生成该可运动物体的运动轨迹所需要的生成时间是否在预设范围内，确保生成可运动物体的运动轨迹的时效性，确保对抗神经网络模型能够及时的输出可运动物体的运动轨迹，确保为决策模块提供准确的可运动物体的运动轨迹。避免因时效问题导致生成的可运动物体的运动轨迹不准确，导致自动驾驶车辆决策不正确的情况，保证了自动驾驶车辆的安全性。

本发明还提供一种计算机设备900，请结合参看图9，其为本发明第一实施例提供的计算机设备900的内部结构示意图。计算机设备900至少包括存储器901、处理器902。具体地，存储器901，用于存储可运动物体的运动轨迹的预测方法的程序指令。处理器902，用于执行程序指令以使计算机设备900实现上述的可运动物体的运动轨迹的预测方法。

其中，存储器901至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器901在一些实施例中可以是计算机设备900的内部存储单元，例如计算机设备900的硬盘。存储器901在另一些实施例中也可以是计算机设备900的外部存储设备，例如计算机设备900上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字卡(SecureDigital,SD)，闪存卡(Flash Card)等。进一步地，存储器901还可以既包括计算机设备900的内部存储单元也包括外部存储设备。存储器901不仅可以用于存储安装于计算机设备900的应用软件及各类数据，例如，可运动物体的运动轨迹的预测方法的控制指令等，还可以用于暂时地存储已经输出或者将要输出的数据。例如，由可运动物体的运动轨迹的预测方法得到的可运动物体的运动轨迹以及作为判断标准的可运动物体的真实轨迹。

处理器902在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器901中存储的程序指令或处理数据。具体地，处理器902执行可运动物体的运动轨迹的预测方法的程序指令以控制计算机设备900实现可运动物体的运动轨迹的预测方法。

进一步地，总线903可以是外设部件互连标准总线(peripheral componentinterconnect，简称PCI)或扩展工业标准结构总线(extended industry standardarchitecture，简称EISA)等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，计算机设备900还可以包括显示组件904。显示组件904可以是LED(Light Emitting Diode，发光二极管)显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示组件904也可以适当的称为显示装置或显示单元，用于显示在计算机设备900中处理的信息以及用于显示可视化的用户界面。

进一步地，计算机设备900还可以包括通信组件905，通信组件905可选的可以包括有线通信组件和/或无线通信组件(如WI-FI通信组件、蓝牙通信组件等)，通常用于在计算机设备900与其他计算机设备之间建立通信连接。

图9仅示出了具有组件901-905以及实现可运动物体的运动轨迹的预测方法的程序指令的计算机设备900，本领域技术人员可以理解的是，图9示出的结构并不构成对计算机设备900的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，具体地，计算机设备900的处理器902执行可运动物体的运动轨迹的预测方法的程序指令以控制计算机设备900实现可运动物体的运动轨迹的预测方法的详细过程。可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的计算机设备900的实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、流动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序指令的介质。

本发明还提供了一种自动驾驶车辆100。请结合参看图10，自动驾驶车辆100包括车身101和计算机设备900。计算机设备900的具体结构参照上述实施例，由于自动驾驶车辆100采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。