一种基于深度增强学习的自动泊车轨迹规划方法

摘要

本发明涉及一种基于深度增强学习的自动泊车轨迹规划方法，包括下列步骤：根据视觉系统获得的信息，建立二维虚拟泊车环境；模拟车辆泊车运动，获取方向盘转角；建立基于深度增强学习的自动泊车模型，采用深度增强学习的方法，获得自动泊车过程中一系列对应的方向盘转角，并生成自动泊车轨迹；判断在虚拟泊车环境中车辆是否发生碰撞，若发生碰撞，则初始化二维虚拟泊车环境，开始下一次泊车训练，反之则进入下一步；规划自动泊车轨迹，综合考虑轨迹的长短及耗时，筛选出最优自动泊车轨迹。本发明能应用到不同的泊车环境中，规划出来的轨迹更合理和优化，结合控制策略，汽车能在无驾驶员操作的情况下遵循轨迹快速自动泊入车位，提高精确性及可靠性。

说明书

技术领域

本发明涉及汽车无人驾驶技术领域，尤其涉及一种基于深度增强学习的自动泊车轨迹规划方法。

背景技术

汽车的自动泊车，是汽车无人驾驶系统中重要的一部分，车辆能在无驾驶员操作的情况下自动泊入车位。现有的自动泊车方法主要分为两大类：一类基于毫米波雷达，另一类基于视觉系统。其中，基于毫米波雷达的方法，对中近距离物体的测距误差较大，并且相对成本较高。上述两大类方法，对于路径规划部分主要采用传统的PID控制原理确定方向盘转角，车辆位置以及控制误差累计，易受周围环境因素影响，很难做到精准控制，并且仿真实验数据相对较少，因此精确性及可靠性都不够理想。

发明内容

本发明为了解决上述技术问题，提供一种基于深度增强学习的自动泊车轨迹规划方法，运用该方法规划出合理优化的自动泊车轨迹，结合控制策略，汽车能够遵循轨迹快速自动泊入车位，提高汽车自动泊车的精确性及可靠性。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明一种基于深度增强学习的自动泊车轨迹规划方法，包括下列步骤：

①根据视觉系统获得的信息，建立二维虚拟泊车环境；

②模拟车辆泊车运动，获取方向盘转角，并更新二维虚拟泊车环境；

③建立基于深度增强学习的自动泊车模型，采用深度增强学习的方法，获得自动泊车过程中一系列对应的方向盘转角，并生成自动泊车轨迹；

④判断在虚拟泊车环境中车辆是否发生碰撞，若发生碰撞，则初始化二维虚拟泊车环境，开始下一次泊车训练，反之则进入下一步；

⑤规划自动泊车轨迹，综合考虑轨迹的长短及耗时，筛选出最优自动泊车轨迹。

本发明在虚拟泊车环境中采用深度增强学习模型训练数百万次自动泊车过程，整个训练过程中基本覆盖了车辆处于虚拟泊车环境中不同位置下对应的方向盘转角操作，实验具有普遍性。运用该方法规划出合理优化的自动泊车轨迹，结合控制策略，汽车能够遵循轨迹快速自动泊入车位，提高汽车自动泊车的精确性及可靠性。

作为优选，所述的步骤①为：通过车载相机获取车位信息及车辆和车位的相对位置，用不同颜色在获得的图像中表示障碍物和车辆，并标出比实际车位小的虚拟车位用作泊车训练车位，建立二维虚拟泊车环境。本发明中用作泊车训练车位的虚拟车位足够小、足够窄。例如：侧方位泊车时，虚拟车位的长度为1.2倍的车长；倒库泊车时，虚拟车位的宽度为1.2倍的车宽。虚拟车位的大小可以根据实际需要进行调节。确保后期自动泊车轨迹规划中车位大于泊车训练车位的情况都能成功规划出车辆的自动泊车轨迹。

作为优选，所述的步骤②为：在低速情况下，即车辆的车速在10km/h以下，模拟车辆泊车运动，设定方向盘转角范围在-40°至40°之间，均匀等分后获取等分点的方向盘转角，利用车辆运动学模型计算各等分点的车辆位置及朝向，并更新二维虚拟泊车环境。例如每隔4°取一个对应的方向盘转角操作。每当获取一个车辆控制的方向盘转角操作，添加合适的方向盘转角误差利用车辆运动学模型计算车辆位置及朝向，并添加适度的噪声误差使之更接近实际情况。

作为优选，所述的步骤③为：建立基于深度增强学习的自动泊车模型，利用神经网络结构，采用深度增强学习的方法，输入为初始的二维虚拟泊车环境图像，输出为自动泊车过程中一系列对应的方向盘转角操作，车辆按照这些操作能够无碰撞地快速泊入车位，根据各等分点上的车辆转向半径及转向角将各等分点用曲线平滑连接即可得到自动泊车轨迹。可采用卷积神经网络CNN和Q学习相结合的方法DQN训练自动泊车过程，也可采用循环神经网络RNN和Q学习相结合的方法DRQN训练自动泊车过程。对于侧方位和倒库两种不同的泊车类型，两侧模拟障碍车，分别训练100万次自动泊车过程。可利用训练前期手动加入若干泊车成功例子加快训练过程。

作为优选，所述的步骤④为：在虚拟泊车环境中，每次更新车辆位置后，判断障碍物区域类像素是否发生变化，若像素变化则说明车辆发生碰撞，则初始化二维虚拟泊车环境，开始下一次泊车训练；如果车辆没发生碰撞，则进入下一步。

作为优选，所述的步骤⑤为：将初始车位信息和车辆位置输入到训练好的深度增强学习的自动泊车模型中，迭代N次输出N条自动泊车轨迹和对应的方向盘转角操作，综合考虑轨迹的长短及耗时，筛选出最优自动泊车轨迹。

作为优选，所述的一种基于深度增强学习的自动泊车轨迹规划方法，包括镜像处理方法：在训练自动泊车过程中，只需训练车辆相对于车位的一种位置的自动泊车过程，利用镜像处理方法进行坐标系变换就能获得车辆相对于车位的其他三种镜像位置的自动泊车过程，大幅缩短训练时间。如只需训练车辆位于车位左后方一种位置的自动泊车过程，对于车辆位于车位左前方、右前方、右后方的三种位置则通过镜像处理方法就能获得三种位置的自动泊车过程，从而大幅缩短训练时间。

本发明的有益效果是：通过建立最小的虚拟泊车环境，通过深度增强学习的方法训练大量自动泊车过程，能有效地将该方法应用到不同的泊车环境中去，规划出合理优化的自动泊车轨迹以及对应的方向盘转角，规划出来的路径更短，也能推广到更大的车位情况中去，结合控制策略，汽车能在无驾驶员操作的情况下遵循轨迹快速自动泊入车位，提高汽车自动泊车的精确性及可靠性。

附图说明

图1是本发明侧方位泊车时二维虚拟泊车环境的一种示意图。

图2是本发明倒库泊车时二维虚拟泊车环境的一种示意图。

图3是本发明的一种流程图。

图4是本发明中卷积神经网络结构的一种示意图。

图中1.车辆，2.车位，3.障碍车。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于深度增强学习的自动泊车轨迹规划方法，如图3所示，包括下列步骤：

①通过车载相机获取车位信息及车辆和车位的相对位置，用不同颜色在获得的图像中表示障碍物和车辆，并标出足够小、足够窄的虚拟车位用作泊车训练车位(侧方位泊车时，虚拟车位的长度为1.2倍的车长；倒库泊车时，虚拟车位的宽度为1.2倍的车宽)，建立二维虚拟泊车环境；

②在低速情况下，即车辆的车速在10km/h以下，模拟车辆泊车运动，设定方向盘转角范围在-40°至40°之间，均匀等分，每隔4°取一个对应的方向盘转角操作，每当获取一个车辆控制的方向盘转角操作，添加合适的方向盘转角误差利用车辆运动学模型计算各等分点的车辆位置及朝向，并添加适度的噪声误差使之更接近实际情况，并更新二维虚拟泊车环境；

③建立基于深度增强学习的自动泊车模型，利用如图4所示的卷积神经网络结构，采用深度增强学习的方法，对于侧方位和倒库两种不同的泊车类型，两侧模拟障碍车，如图1、图2所示，车辆1停在车位2外面，车位的两侧有障碍车3，分别训练100万次自动泊车过程，训练过程中添加由车辆离泊车位置的距离大小、是否发生碰撞以及泊车轨迹长短三部分构成的奖励函数，可利用训练前期手动加入若干泊车成功例子加快训练过程，输入为初始的二维虚拟泊车环境图像，输出为自动泊车过程中一系列对应的方向盘转角操作，车辆按照这些操作能够无碰撞地快速泊入车位，根据各等分点上的车辆转向半径及转向角将各等分点用曲线平滑连接即可得到自动泊车轨迹；

在训练自动泊车过程中，只需训练车辆相对于车位的一种位置的自动泊车过程，利用镜像处理方法进行坐标系变换就能获得车辆相对于车位的其他三种镜像位置的自动泊车过程，大幅缩短训练时间；

④在虚拟泊车环境中，每次更新车辆位置后，判断障碍物区域类像素是否发生变化，若像素变化则说明车辆发生碰撞，则初始化二维虚拟泊车环境，开始下一次泊车训练；如果车辆没发生碰撞，则进入下一步；

⑤将初始车位信息和车辆位置输入到训练好的深度增强学习的自动泊车模型中，迭代五次输出五条自动泊车轨迹和对应的方向盘转角操作，综合考虑轨迹的长短及耗时，筛选出最优自动泊车轨迹以及对应的方向盘转角。

再结合控制策略，汽车能在无驾驶员操作的情况下遵循选出的轨迹快速自动泊入车位。

本发明在虚拟环境中采用深度增强学习模型利用GPU加速大规模模拟训练数百万次自动泊车过程，实验具有普遍性。整个训练过程中基本覆盖了车辆处于虚拟环境中不同位置下对应的方向盘转角操作，并且设置泊车耗时和路径长短的奖励函数，通过模型训练获得最优的自动泊车轨迹。除此之外，本发明采用建立虚拟泊车环境的方法，不需要考虑车位周围环境的差异带来的影响，建立一个足够小足够窄的泊车环境，标注出障碍物位置，划出最优的泊车路径，可以推演到实际泊车环境差异性大的不同情况，并且能训练和对比在不同精度的方向盘转角和汽车运动条件下的泊车轨迹规划，使结果更加具有实际意义。本发明适用于多种泊车类型，如侧方位泊车、倒库泊车等，并且不受车位周围环境的影响，能自动泊入更小更窄的车位，适用条件宽泛，确保汽车自动泊车更精确、更可靠。