基于深度强化学习的移动机器人轨迹跟踪和动态避障研究

摘要

随着移动机器人运用领域日益广泛，对具有自组织、自学习、自适应的智能移动机器人要求不断提高，如何使得移动机器人决策系统在无需人为干预下，实现移动机器人对未知复杂动态环境下具备环境感知、局部路径规划、轨迹跟踪和动态避障的功能，且能保证导航决策系统的稳定性、平滑性和泛化性，是移动机器人决策系统领域研究的关键课题。　　本文针对移动机器人在局部可观测的非线性动态环境下，依赖激光雷达或摄像头等传感器感知的局部环境信息存在不确定性，依据不确定的感知信息构建出的环境地图必然存在噪声和不确定性，根据不确定的地图进行局部路径规划和动态避障，必将产生具有传递性的不确定性。通过人工编码设计出的专家系统来应对任何可能出错的场景是不现实的。针对以上存在的问题，本文提出基于视觉感知和智能决策控制的深度强化学习算法，实现移动机器人局部路径规划和动态避障，本文主要的研究工作如下：　　1.针对目前移动机器人轨迹跟踪和动态避障的存在问题进行调研，对局部路径规划和动态避障的相关算法进行介绍，并重点研究移动机器人的局部路径规划和动态避障算法的局限性。　　2.针对移动机器人对环境感知信息存在局限性，以及机器人存储的环境地图与感知信息不匹配，以及时间差分方法对动态障碍物进行轨迹预测存在不确定，对此提出基于Q值的深度强化学习算法，研究了移动机器人如何实现局部路径规划最短、偏离全局轨迹最小和快速到达目的地的控制策略，使用深度卷积神经网络对移动机器人的状态和对应的动作进行回归预测，实现移动机器人态势感知和智能决策的端到端控制，同时采用引导策略加快强化学习智能体对最优动作的搜索。移动机器人的避障和路径规划动作的优劣通过构造奖惩函数来实现。　　3.针对目前移动机器人避障决策控制系统过于依赖人为设计各种精妙的策略以应对复杂环境，而设计策略一旦有所疏忽，必将会产生灾难性后果。此外，传统的避障规划算法，将移动机器人视为环境中的唯一智能体，而对于其它的运动物体均视为“障碍物”。然而，在实际环境移动机器人导航决策过程中，机器人与动态环境中的其他运动物体之间是互动博弈关系，且基于Q值的深度强化学习算法无法适应连续动作空间问题，同时该算法无法解释决策推理过程，当系统发生故障的时候很难进行针对性的解决。针对以上问题，提出基于确定性策略梯度的深度强化学习算法，该算法采用行动者评论家框架，融合基于策略和基于值函数的强化学习方法。该算法输入是状态，输出的是确定性动作。　　4.针对深度强化学习的移动机器人轨迹跟踪及动态避障运动方向智能决策控制进行实验、验证和对比分析，验证该算法的可行性，同时与人工势场法进行对比，体现本算法具有的研究与应用价值。

目录

第一个书签之前

摘 要

ABSTRACT

目 录

CONTENTS

第一章 绪 论

1.1研究背景及意义

1.2国内外研究现状

1.3进一步发展需要解决的问题

1.4本文的主要研究工作及章节安排

1.4.1本文的主要研究工作

1.4.2本文的组织结构

第二章 深度强化学习算法概述

2.1引言

2.2相关研究

2.2.1深度卷积神经网络

2.2.2基于值函数的强化学习

2.2.3基于策略的强化学习

2.3深度强化学习

2.4本章小结

第三章 基于值的深度强化学习的移动机器人轨迹跟踪

3.1引言

3.2相关研究

3.2.1深度卷积神经

3.2.2移动机器人动作的探索-利用策略问题

3.2.3经验回放池

3.3.1轨迹跟踪和动态避障运动方向规划数学建模

3.3.2策略的函数逼近器选择

3.3.3卷积神经网络架构设计

3.3.4搜索与利用策略的平衡

3.3.5网络模型的训练

3.3.6基于值的深度强化学习算法伪代码

3.4本章小结

第四章 基于确定性策略梯度深度强化学习的移动机器人轨迹跟踪和动态避障研究

4.1引言

4.2相关研究

4.2.1网络模型稳定性

4.2.2策略搜索

4.2.3策略梯度

4.3基于确定性策略梯度的深度强化学习算法

4.3.1确定性策略梯度方法

4.3.2Acror-Critic框架

4.4卷积神经网络模型架构设计

4.5基于确定性策略梯度的深度强化学习算法

4.6基于确定性策略梯度的深度强化学习算法伪代码

4.7基于网络模型训练流程?

4.8本章小结

第五章 仿真实验结果与对比分析

5.1实验平台描述

5.2环境动力学模型和动作奖惩函数

5.3实验参数设置

5.4网络模型的训练

5.5实验结果

5.5.1仿真实验结果

5.5.2仿真实验结果的分析

5.6本章小结

总结与展望

参考文献

攻读学位期间发表的论文

学位论文独创性声明

学位论文版权使用授权声明

致 谢