一种基于分层混合代价地图的改进Q-learning路径规划方法

摘要

本发明公开了一种基于分层混合代价地图的改进Q‑learning路径规划方法，包括：基于输入点云，对负障碍、斜面障碍和路面平整度的可通行性分析。再根据不同地形的可通行性，建立多层代价地图，每层代价地图对应不同的代价函数，包括可通行区域图、负障碍代价地图、斜面代价地图和平整度代价地图。根据多层代价地图建立排斥势场，根据目标位姿点建立吸引势场，合成排斥势场和吸引势场对Q表格进行初始化。再应用最小转弯半径圆弧段生成Q‑learning的动作空间，经过训练，得到可供无人车直接行走的平滑路径。本发明考虑崎岖复杂地形，可规划出履带式无人车直接通行的路径，并且基于多层代价的人工势场对Q表格赋予初值，可加快算法收敛速度。

说明书

技术领域

本发明涉及一种基于分层混合代价地图的改进Q-learning路径规划方法，属于机器人路径规划领域。

背景技术

随着科技的进一步发展，越来越多的功能性机器人被发明并应用到包括军事、工业、民用的各个领域。目前机器人的移动方式通常包括轮式、履带式和足式，其中履带式机器人的运动稳定性高，适用于行走在松软的非结构化路面上，尤其针对复杂战场地形，履带式机器人拥有强大的通过能力。在机器人自主导航的过程中，路径规划是至关重要的环节，传统路径规划方法适用于结构化的平坦硬质路面。

机器人自主导航中的环境信息可根据激光雷达点云信息建模得到。建立模型的方法主要有聚类和深度学习方法。深度学习的代表方法有PointNet++，其不仅可对场景模型分类，还可以实现物体的语义识别，但由于其运行效率低，对实际应用的计算平台要求较高。聚类的方法可根据点云局部特征将有共同特征的点云归为一类，从而实现场景中的分割，得到目标区域点云。

路径规划针对功能可分为全局路径规划及局部路径规划，局部路径规划的目的是根据载体周围稠密信息进行实时的路径决策。针对战场环境中的复杂路面，传统局部路径规划方法例如动态窗口法(DWA)倾向于利用避障技术完全规避负障碍物。

在含有典型弹坑的实际战场中，路面不平坦导致大负载机器人通行效率较低。因此，需要提出一种方法，根据激光雷达点云信息进行地面负障碍物特征的建模并将负障碍物模型考虑进路径规划，以实现更高通行效率且保障通行安全。

发明内容

本发明所要解决的技术问题在于，在战场环境路面进行可通行性分析，建立分层混合代价地图，并改进Q-learning算法的动作空间及状态空间更新方式，对强化学习的Q学习模型进行训练，得到一种通行效率高、路径安全裕度高的平滑局部路径。

为解决上述技术问题，本发明提供一种基于分层混合代价地图的改进Q-learning路径规划方法，该方法包括如下步骤：

S1：建立负障碍物模型、斜面模型和平整度模型。以多线激光雷达点云信息为输入，对复杂地形进行特征提取，并进行可通行性分析；

S2：根据S1中可通行性分析结果，建立可通行区域图、负障碍代价地图、斜面通行代价地图、平整度代价地图，融合成为混合局部代价地图；

S3：根据S2建立的局部代价地图与局部目标点，分别建立势场，组合成多层代价人工势场，对Q表格进行初始化；

S4：考虑航向信息，建立基于最小转弯半径圆弧段的动作空间。依据S2中混合局部代价地图更新Q表格，得到最优路径。

优选的，所述步骤S1具体包括以下过程：

S1.1对激光雷达输入的点云数据进行预处理，根据高度阈值，应用聚类方法分割出无人载体当前所处水平平面的点云数据作为地面点云，将该区域对应的栅格地图标记为可通行区域；

S1.2对典型弹坑、水洼等可用椭圆锥面近似的负障碍物进行建模。设履带式无人车最大横滚角为MAXROLL，轮距为d

h

设负障碍近似椭圆锥面方程为：

其中a、b为地面投影椭圆的长轴和短轴。

根据最大横滚角时单侧车轮的离地高度为h

S1.3对缓坡及凸包等正障碍，建立斜面模型。设坡面区域内点云坐标为(x

z＝Ax+By+C

根据最小二乘法，设目标方程为E，求A,B,C使得E最小：

对上式中A,B,C求偏导并求解方程组，得到A,B,C的值。

已知拟合平面的法向量为

若θ

S1.4将局部点云地图栅格化，用每个栅格到拟合的地面平面距离的均方根表征平整度，并建立平整度模型。设栅格的平整度为d

其中d

优选的，所述步骤S2具体包括以下过程：

S2.1根据S1中负障碍、斜面障碍、阶跃障碍物可通行性分析结果，构建可通行性区域栅格地图，栅格值如下：

S2.2根据S1中负障碍可通行性，考虑安全裕度，负障碍的造成的通行代价可以表示为：

其中d

S2.3根据S1中斜面障碍可通行性分析，定义坡面障碍的通行代价为：

S2.4根据S1中的平整度分析，建立平整度代价地图，其同行代价将依据以下函数定义：

其中ROUGHFACTOR是描述履带式无人车平地越障能力的刻度因子，一般设定高程差超过车身宽度1/2的障碍物无法越过。

S2.5综合可通行区域图、负障碍代价地图、斜面代价地图、平整度代价地图，建立混合局部代价地图，设a

其中a

优选的，所述步骤S3具体包括以下过程：

S3.1将S2中混合局部代价地图的不可逾越障碍作为斥力源，建立排斥势场U

其中ρ

S3.2局部航路点Waypoint作为目标点，建立吸引势场U

其中ρ

S3.3叠加排斥势场和吸引势场，得到基于多层代价的人工势场如下：

U

对势场进行栅格化和数值的归一化，并赋值到Q表格作为初值。

优选的，所述步骤S4具体包括以下过程：

S4.1建立基于最小转弯半径圆弧段的动作空间，设定前进、后退、左前转、右前转四个动作，设定八个方向的状态转移空间，并定义动作空间的即时奖励为：

S4.2训练Q表格模型，规划得到基于最小转弯半径圆弧段的光滑路径。

相对于现有技术，本发明的优点如下：

首先，本发明提出的地形分析方法提前对地面平面进行提取，并将复杂地形归结为负障碍物、坡面障碍和阶跃障碍，并针对负障碍建立椭圆锥面模型，提高其算法实时性的同时极大的扩展了算法的适用性。

其次，针对不同场景所建立的分层混合代价地图使规划器所规划出的路径能够符合无人车的安全通行条件，并且考虑其具备一定的越障能力，所规划的路径能够提高载体的通行效率。

最后，利用人工势场对Q-learning算法的Q表格进行初始化，并改进其动作空间和状态空间，实现了Q-learning算法直接输出光滑路径，提高了算法的实用性。

附图说明

图1为本发明的系统总框图；

图2为本发明的典型负障碍近似椭圆锥的可通行区域判断；

图3为本发明的基于最小转弯半径圆弧段的4动作空间以及8个航向的状态空间。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施仅用于说明本发明而不用与限制本发明的范围。

实施例1：如图1所示，一种基于分层混合代价地图的改进Q-learning路径规划方法，该方法包括如下步骤：

步骤S1:建立负障碍物模型、斜面模型和平整度模型。以多线激光雷达点云信息为输入，对复杂地形进行特征提取，并进行可通行性分析，

S1.1对激光雷达输入的点云数据进行预处理，根据高度阈值，应用聚类方法分割出无人载体当前所处水平平面的点云数据作为地面点云，将该区域对应的栅格地图标记为可通行区域；

S1.2对典型弹坑、水洼等可用椭圆锥面近似的负障碍物进行建模。设履带式无人车最大横滚角为MAXROLL，轮距为d

h

设负障碍近似椭圆锥面方程为：

其中a、b为地面投影椭圆的长轴和短轴。

根据最大横滚角时单侧车轮的离地高度为h

S1.3对缓坡及凸包等正障碍，建立斜面模型。设坡面区域内点云坐标为(x

z＝Ax+By+C

根据最小二乘法，设目标方程为E，求A,B,C使得E最小：

对上式中A,B,C求偏导并求解方程组，得到A,B,C的值。

已知拟合平面的法向量为

若θ

S1.4将局部点云地图栅格化，用每个栅格到拟合的地面平面距离的均方根表征平整度，并建立平整度模型。设栅格的平整度为d

其中d

步骤S2:根据S1中可通行性分析结果，建立可通行区域图、负障碍代价地图、斜面通行代价地图、平整度代价地图，融合成为混合局部代价地图，

S2.1根据S1中负障碍、斜面障碍、阶跃障碍物可通行性分析结果，构建可通行性区域栅格地图，栅格值如下：

S2.2根据S1中负障碍可通行性，考虑安全裕度，负障碍的造成的通行代价可以表示为：

其中d

S2.3根据S1中斜面障碍可通行性分析，定义坡面障碍的通行代价为：

S2.4根据S1中的平整度分析，建立平整度代价地图，其同行代价将依据以下函数定义：

其中ROUGHFACTOR是描述履带式无人车平地越障能力的刻度因子，一般设定高程差超过车身宽度1/2的障碍物无法越过。

S2.5综合可通行区域图、负障碍代价地图、斜面代价地图、平整度代价地图，建立混合局部代价地图，设a

其中a

步骤S3:根据S2建立的局部代价地图与局部目标点，分别建立势场，组合成多层代价人工势场，对Q表格进行初始化。

S3.1将S2中混合局部代价地图的不可逾越障碍作为斥力源，建立排斥势场U

其中ρ

S3.2局部航路点Waypoint作为目标点，建立吸引势场U

其中ρ

S3.3叠加排斥势场和吸引势场，得到基于多层代价的人工势场如下：

U

对势场进行栅格化和数值的归一化，并赋值到Q表格作为初值。

步骤S4:考虑航向信息，建立基于最小转弯半径圆弧段的动作空间。依据S2中混合局部代价地图更新Q表格，得到最优路径。

S4.1如图3所示，建立基于最小转弯半径圆弧段的动作空间，设定前进、后退、左前转、右前转四个动作，设定八个方向的状态转移空间，并定义动作空间的即时奖励为：

S4.2训练Q表格模型，规划得到基于最小转弯半径圆弧段的连续光滑路径。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。