多移动机器人协作系统体系结构与增强学习应用研究

摘要

为了使机器人拥有更高的智能和灵活性,赋予它学习能力是必由之路.增强学习方法的试错模式符合人的学习习惯,有利于在线学习,同时实现方法简洁,是机器人领域中最常用的学习方法.该文研究了它在基本行为获取、行为参数优化和角色分工三个方面的应用,试图赋予机器人更高的智能.移动机器人利用增强学习从无到有学习有意义的基本行为时,缓慢的收敛速度一直困扰着这方面的研究者.该文提出了一种两步学习方案,首先采用基于增强学习的示教使机器人较快地获得基本可行的行为,然后让机器人在自主运行过程中利用增强学习不断改善所获得行为的性能,以获得令人满意的结果.示教学习和自主运行的线调整过程都统一以增强学习方法实现.该文以沿着走廓安全漫游行为的实现为例,显示了该方法的有效性.机器人学习新行为的研究目前还很难实用化,绝大多数实际系统还是采用人工设计各个基本行为.为了充分利用人的高级智能,同时又要克服由于无法深入机器人运行过程,难以决定优化参数的困难,该文提出了利用增强学习方法在线优化行为参数的研究思路,预先确定基本行为结构和大致合理的参数范围,然后使机器人通过增强学习在运行过程中不断调整行为参数以逐步优化它的性能.由于这种学习过程是在正确的行为结构的基础上进行的,可以避免由于不断试错造成对机器人本体的损伤累积,有比较强的实用意义.

目录

文摘

英文文摘

授权书

声明

第一章绪论

1.1引言

1.2多移动机器人协作系统

1.2.1多移动机器人协作系统的特点

1.2.2多移动机器人协作常见任务的研究现状

1.2.3多移动机器人协作系统的体系结构

1.3机器人学习方法

1.3.1机器人学习问题的提出

1.3.2常见的几类机器人学习方法

1.3.3增强学习在移动机器人中的应用

1.3.4多机器人协作中的增强学习

1.4本文的主要工作

1.4.1本文研究的主要内容

1.4.2本文各章节内容的安排

1.5小结

第二章 多移动机器人协作系统的体系结构

2.1引言

2.2分布式分层递阶的体系结构

2.3分层控制的模块划分和功能描述

2.4协作任务的分层实现

2.5小结

第三章 多移动机器人物体收集系统

3.1引言

3.2多移动机器人实验平台构建

3.3多移动机器人物体收集任务描述

3.4控制执行层的实现

3.4.1基本策略的实现

3.4.2行为的实现

3.5决策规划层的实现

3.5.1局部规划层的实现

3.5.2全局规划层的实现

3.5.3组间协调层的实现

3.6基于多智能体的系统集成

3.7实验结果

3.8小结

第四章 基于增强学习的基本行为获取

4.1引言

4.2增强学习策略

4.2.1“Actor/Critic”算法框架

4.2.2结构自适应的神经网络

4.2.3 Critic部分的实现

4.2.4 Actor部分的实现

4.3示教和增强学习的结合

4.4实验实例

4.4.1实验环境

4.4.2传感器数据与控制信号的处理

4.4.3增强函数的设计

4.4.4实验结果

4.5小结

第五章 基于增强学习的行为参数优化

5.1引言

5.2机器人足球赛仿真环境

5 2.1传感器与执行机构

5.2.2基本行为

5.3基于增强学习的行为参数优化算法

5.4增强学习算法中的奖励形式

5.4.1奖励源

5.4.2奖励函数和性能的关系

5.4.3奖励的时间性和连续性

5.4.4奖励的分布性

5.5实验结果及其讨论

5.5.1只学习得分的情形

5.5.2同时从错误中学习

5.5.3局部奖励

5.6小结

第六章 基于增强学习的角色分工

6.1引言

6.2基于增强学习的角色分工

6.3角色分工的增强学习算法

6.3.1基于标准Q算法的角色分工

6.3.2基于改进算法的角色分工

6.4实验结果

6.4.1实验系统设计

6 4.2基于标准Q算法的仿真结果

6 4.3基于改进算法的仿真结果

6.5小结

第七章 总结与展望

7.1主要研究工作的总结

7.2本文的主要创新之处

7.3研究中存在的问题和发展展望

7.4小结

参考文献

致谢

作者在攻读博士学位期间发表的学术论文

作者在攻读博士学位期间参加的科研工作