一种基于图注意力自编码模型的路侧端行人轨迹预测算法

摘要

本发明涉及一种基于图注意力自编码模型的路侧端行人轨迹预测算法，综合考虑了行人自身的运动状态和周围其他行人特别是运动方向上行人的运动状态对其未来轨迹的影响，本发明通过基于长短期记忆网络的编码器‑解码器进行行人运动轨迹建模，提取行人运动状态，进一步利用图模型和行人之间方位夹角，设计了双注意力机制，为周围行人的影响力分配不同的权重，同时利用潜变量预测器从观测轨迹和真实轨迹中预测潜在的运动变量分布规律，综合以上特点，本发明不仅能够有效的建模行人的运动模式，还能从行人的运动轨迹中学到潜在的运动规律，并且利用本发明提出的双注意力机制有效的建模行人之间的相互影响。

说明书

技术领域

本发明涉及自动驾驶技术领域，尤其是涉及行人轨迹预测领域，本发明提供一种基于图注意力自编码模型的路侧端行人轨迹预测算法。

背景技术

随着深度学习、自动驾驶技术以及控制理论的不断发展，无人驾驶汽车得到了广泛的关注，具有光明的应用前景；无人车可以给人们的生活带来便利，但是无人车在顺利运行的过程中道路上其他使用者的位置对无人车运行有很大的影响，尤其是道路上行人的位置；预测道路上其他使用者的运动对自动驾驶来说是无比重要的，相比于道路上的其他使用者，尤其是对行人来说：汽车的质量更大，速度更快；为了更好地保护行人，无人车需要预测行人的未来轨迹，调整自身的运动策略，从而避免和行人发生碰撞；

由于行人的行为具有随机性，无论是机器或是人类，都无法完全准确地预测行人的未来轨迹；行人的轨迹受周围行人的影响，这种影响是潜在的不易描述的，但是行人未来的轨迹总是受到行人周围其他人的影响，利用这一常识建模行人之间的社会互动行为，从而更好地建模行人的运动模式并预测行人未来的轨迹；

准确预测行人运动轨迹的一个挑战来自于人类社会交互行为的复杂性；行人运动行为受到其周围行人之间的动作交互、周围行人的社会关系、周围的语义环境所共同影响，其中大多数因素不是直接可见的，需要从复杂的运动规律中推断出来，或从上下文信息中建模；如何让无人车学到潜在社会交互是准确预测行人轨迹的关键；

准确行人运动轨迹的另一个挑战来自于行人自身运动意图的复杂性；行人自身运动意图往往影响着行人运动模式，行人自身运动意图具有多样性且难以从轨迹数据上直接推理得出，这使得行人运动模式具有多样性，在行人轨迹预测中行人运动模式的多样性也必须被考虑；行人的运动模式是复杂多样的，复杂的行人运动很难用一个动力学模型来描述，对机动目标的一般运动进行建模的一种常用方法是定义和融合不同的典型运动模式，每种模式由不同的动态状态描述；运动状态可以是线性运动、转弯机动、突然加速，随着时间的推移，形成复杂的运动模式，如何建模这种复杂的行人运动模式是行人轨迹预测的另一个关键。

发明内容

本发明要解决的技术问题是：为了克服自动驾驶技术中，行人轨迹难以准确预测的问题，提供一种基于图注意力自编码模型的路侧端行人轨迹预测算法。

本发明解决其技术问题所采用的技术方案是：一种基于图注意力自编码模型的路侧端行人轨迹预测算法，包括如下步骤：

S10：建模行人的运动状态；

S20：建模行人的社会交互状态；

S30：拼接行人的运动状态和社会交互状态，生成可预测的行人潜在变量分布；

S40：预测行人轨迹；

所述步骤S30具体包括如下步骤：

S31：设计潜变量预测器；

S32：使用潜变量预测器预测行人潜在的变量分布；

S33：将行人潜在的变量分布、行人的运动状态和行人的社会交互状态进行拼接。

进一步的，在步骤S31中，潜变量预测器由两个前馈神经网络组成，定义如下：

其中Ψ(·)和

进一步的，在步骤S32中，k＝1、2、3、分别表示行人位置、速度、加速度，行人位置揭示了潜在场景的布局，速度反映了行人的运动模式，加速度反应了行人运动激烈程度；潜在变量预测器从这三种输入中估计出三种潜在的变量分布；最后把这三种潜变量分布和高斯随机噪声融合在一起，最终构成训练阶段的潜变量分布参数；同时本发明应用高斯随机噪声产生轨迹的多模态输出；在训练过程中潜在变量损失函数用来衡量观测轨迹的潜在变量分布和真实轨迹潜在变量分布之间的差距，使用KL散度来计算这种误差，公式如下：

其中

总的损失函数由两部分构成，一部分是潜变量分布KL散度损失函数，一部分是预测值与真实值之间的偏差L2损失函数；总的损失函数加权定义如下：

其中α设置为10，具体的数值通过在基准数据集上交叉验证得到；在训练时设置批处理大小为64，400个epoch，编码器-解码器学习率设置为0.001，潜变量预测器的学习率设置为0.0001使用Adam优化器对参数进行优化。

进一步的，所述步骤S20具体包括如下步骤：

S21：计算行人方位角：利用行人头部朝向信息来计算行人和行人之间的方位夹角，用以分配行人之间影响力的大小；行人之间方位夹角的余弦值计算如下：

其中n是同一场景中行人的个数，b

S22：设计注意力机制：根据行人之间的方位夹角余弦值设计硬注意力机制和软注意力机制；硬注意力机制用一个与cos(β)形状相同的矩阵H

其中

进一步的，所述步骤3具体包括如下步骤：

S23：将行人运动状态

S24：经过基于图模型的双注意力模块，得到行人的社会交互状态，用一个基于长短期记忆网络的图-长短期记忆网络来编码行人的社会交互状态

其中G-LSTM(·)表示图-长短期记忆网络，W

进一步的，所述步骤S10具体包括如下步骤：

S11：输入数据：输入数据是时间序列位置坐标

S12：计算出行人i在t时刻的相关位置：

S13：利用一个单层的多层感知机将相关位置信息转变成一个固定长度的多维变量

其中φ(·)表示多层感知机，W

S14：编码行人相关位置信息，得到行人运动状态

其中M-LSTM(·)表示运动长短期记忆网络，W

进一步的，所述步骤S40具体包括如下步骤：

S41：将步骤S33中的拼接结果输入到解码-长短期记忆网络，得到行人未来的运动状态：通过潜变量预测器，可以从行人的观测轨迹和真实轨迹中预测出行人运动的潜在变量分布规律，并得到潜变量分布参数

其中D-LSTM(·)表示解码-长短期记忆网络，W

S42：将行人未来的运动状态输入线性层，转变成行人的相关位置：使用一个线性层将

采用多模式输出，一次输出m条轨迹，使用2范数损失函数计算这m条轨迹和真实值之间的偏差，表达式如下：

其中

本发明的有益效果是:本发明的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，综合考虑了行人自身的运动状态和周围其他行人特别是运动方向上行人的运动状态对其未来轨迹的影响，本发明通过基于长短期记忆网络的编码器-解码器进行行人运动轨迹建模，提取行人运动状态，进一步利用图模型和行人之间方位夹角，设计了双注意力机制，为周围行人的影响力分配不同的权重，同时利用潜变量预测器从观测轨迹和真实轨迹中预测潜在的运动变量分布规律，综合以上特点，本发明不仅能够有效的建模行人的运动模式，还能从行人的运动轨迹中学到潜在的运动规律，并且利用本发明提出的双注意力机制有效的建模行人之间的相互影响；设计了一种基于长短期记忆网络可对行人轨迹自动进行编码和解码的编码器-解码器网络，该网络可从行人轨迹数据中学习行人的运动状态用于建模行人自身的运动模式利用基于长短期记忆网络的编码-解码网络来建模行人的运动，有效的提取了行人的运动状态；设计了一种基于图模型的双注意力机制用于建模行人的社会交互行为，这种注意力机制能够结合行人自身运动状态和头部朝向信息，为周围行人对其未来轨迹的影响力分配不同的权重，用于建模行人的社会交互行为对行人未来轨迹的影响，设计了一种行人运动潜变量预测器，通过潜变量预测器可以预测行人潜在运动变量的分布规律，产生多模式输出，用于建模行人运动模式的多样性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明中提出的基于图注意力自编码模型的路侧端行人轨迹预测算法流程图；

图2是本发明中提出的用于编码和解码行人轨迹的编码器-解码器网络示意图；

图3是本发明中提出潜变量预测器示意图。

具体实施方式

现在结合附图对本发明做进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示的一种基于图注意力自编码模型的路侧端行人轨迹预测算法，包括如下步骤：

S10：建模行人的运动状态；

S20：建模行人的社会交互状态；

S30：拼接行人的运动状态和社会交互状态，生成可预测的行人潜在变量分布；

S40：预测行人轨迹；

所述步骤S10具体包括如下步骤：

S11：输入数据：输入数据是时间序列位置坐标

S12：计算出行人i在t时刻的相关位置：

S13：利用一个单层的多层感知机将相关位置信息转变成一个固定长度的多维变量

其中φ(·)表示多层感知机，W

S14：编码行人相关位置信息，得到行人运动状态

其中M-LSTM(·)表示运动长短期记忆网络，W

在行人轨迹预测中，图模型是一种有效建模行人之间相互影响的模型；我们可以对一个真实的社会场景建立图模型，场景中的每一个行人看作图中的一个节点，行人和行人之间的社会交互影响可以被图神经网络建模；本发明中，我们使用图注意力模型聚合节点周围邻居节点的信息，并为不同的邻居节点的影响力分配不同的权重；

所述步骤S20具体包括如下步骤：

S21：计算行人方位角：理论上图注意力模型学习行人之间的相互影响是一种数据驱动的方式，然而在学习中缺少多种类型的训练数据；基于这样一种事实，行人的未来轨迹总是被他前方的行人所影响，所以行人前方的其他人总是对行人的未来轨迹产生较大的影响，在学习行人和行人之间相互作用影响未来轨迹时，我们要特别注意行人前方的其他行人的运动状态；一般情况下行人的头部朝向就是行人运动方向，我们可以利用行人头部朝向信息来计算行人和行人之间的方位夹角，用以分配行人之间影响力的大小；行人之间方位夹角的余弦值计算如下：

其中n是同一场景中行人的个数，b

S22：设计注意力机制：除了使用图注意力机制外，根据行人之间的方位夹角余弦值设计软注意力机制和硬注意力机制；一个行人对另一个行人的影响随着他们之间方位角余弦值增加而减小；硬注意力机制用一个与cos(β)形状相同的矩阵H

其中

S23：将行人运动状态

S24：经过基于图模型的双注意力模块，得到行人的社会交互状态，用一个基于长短期记忆网络的图-长短期记忆网络来编码行人的社会交互状态

其中G-LSTM(·)表示图-长短期记忆网络，W

所述步骤S30具体包括如下步骤：

S31：设计潜变量预测器；

S32：使用潜变量预测器预测行人潜在的变量分布；

S33：将行人潜在的变量分布、行人的运动状态和行人的社会交互状态进行拼接。

想要准确建模行人的运动模式并预测行人轨迹，行人运动分布的潜变量是一种很重要的影响因素，本发明应用一个潜在变量预测器来生成可预测的行人潜在变量分布，这是一种以数据驱动的方式预测潜在变量分布参数的方法；本发明使用的潜变量预测器可在训练阶段从行人的观测轨迹和真实轨迹中预测出潜在的变量分布参数，从而学到行人潜在的运动规律；在步骤S31中，如图3所示的潜变量预测器由两个前馈神经网络组成，定义如下：

其中Ψ(·)和

进一步的，在步骤S32中，k＝1、2、3、分别表示行人位置、速度、加速度，行人位置揭示了潜在场景的布局，速度反映了行人的运动模式，加速度反应了行人运动激烈程度；潜在变量预测器从这三种输入中估计出三种潜在的变量分布；最后把这三种潜变量分布和高斯随机噪声融合在一起，最终构成训练阶段的潜变量分布参数；同时本发明应用高斯随机噪声产生轨迹的多模态输出；在训练过程中潜在变量损失函数用来衡量观测轨迹的潜在变量分布和真实轨迹潜在变量分布之间的差距，使用KL散度来计算这种误差，公式如下：

其中

总的损失函数由两部分构成，一部分是潜变量分布KL散度损失函数，一部分是预测值与真实值之间的偏差L2损失函数；总的损失函数加权定义如下：

其中α设置为10，具体的数值通过在基准数据集上交叉验证得到；在训练时设置批处理大小为64，400个epoch，编码器-解码器学习率设置为0.001，潜变量预测器的学习率设置为0.0001使用Adam优化器对参数进行优化。

所述步骤S40具体包括如下步骤：

S41：将步骤S33中的拼接结果输入到解码-长短期记忆网络，得到行人未来的运动状态：通过潜变量预测器，可以从行人的观测轨迹和真实轨迹中预测出行人运动的潜在变量分布规律，并得到潜变量分布参数

其中D-LSTM(·)表示解码-长短期记忆网络，W

S42：将行人未来的运动状态输入线性层，转变成行人的相关位置：使用一个线性层将

采用多模式输出，一次输出m条轨迹，使用2范数损失函数计算这m条轨迹和真实值之间的偏差，表达式如下：

其中

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。