基于分布式机器人体系结构的逆向增强学习技术

摘要

地面自主移动机器人技术是人工智能理论研究的重点之一。为了实现移动机器人在实际环境中完成地面自主导航任务，其使用的体系结构需要把各个功能模块有机地结合起来，常用模块有感知、融合、规划、决策、行动等。而且随着技术的不断进步，地面自主移动机器人的体系结构也在不断改进。近年来，分布式控制体系结构因为其优良的适应性和鲁棒性成为机器人控制体系结构中很受重视的研究热点。基于上述理由，本文重点研究了分布式控制体系结构并在项目中的自主车辆中实现了应用。
　　 论文首先调研了地面自主移动机器人技术的发展，并根据国内外的研究现状，对地面自主移动机器人中用到的体系结构进行了分析和探讨。在上述分析探讨的基础上，本文设计并实现了一个分布式的地面自主移动机器人控制体系结构。在该体系结构中，各个功能模块被建模为对应的智能体，并将智能体分为感知、决策、动作三种类型。系统中的各个智能体分布运行于系统中不同的计算机，并通过消息传递支撑平台进行数据交换，实现协作。每个智能体具有独立的数据处理能力，各个智能体可以根据任务目标和环境的需求组成对应的异步流水线，实现机器人系统高效的运行。各种环境的实际运行实验验证了分布式机器人控制体系结构良好的适应性和鲁棒性。
　　 然后，本文结合机器学习算法中的增强学习和逆增强学习，在上述分布式机器人体系结构中实现了策略生成的学习架构。该学习架构采用逆向增强学习估计示教的回报函数。估计得到的回报被用来进行增强学习，从而求解出回报对应的最优策略。仿真实验表明，该体系结构可以生成较好的策略。
　　 此外，复杂的MDP问题中，影响环境状态的因素很多，其特征往往难以选择，而且特征空间常常是高维的。传统的逆增强学习技术一般采用人工设定的特征。本文利用降维方法，实现了回报特征的自动选取，为解决逆增强学习中特征人工设定问题，探索了新的思路。

目录

声明

摘要

第1章 绪论

1．1 研究背景与意义

1．2 国外研究现状

1．2．1 分布式智能模型

1．2．2 4D/RCS体系结构

1．3 国内研究现状

1．4 本文研究工作

1．5 内容安排

第2章 分布式体系结构

2．1 多智能体模型

2．1．1 多智能体布局

2．1．2 智能体分类

2．1．3 多智能体结构

2．2 多智能体消息流

2．2．1 消息传递支撑平台

2．2．2 智能体数据流

2．2．3 事件和状态

2．3 实验

2．3．1 消息传递平台测试

2．3．2 实际环境中的系统运行测试

2．4 本章小结

第3章 策略生成的学习架构

3．1 马尔可夫决策过程及相关模型

3．1．1 马尔可夫决策过程

3．1．2 基于马尔可夫决策过程的规划、行动和学习的集成

3．2 策略求解——增强学习

3．3 回报学习——逆增强学习

3．3．1 逆增强学习原理

3．3．2 逆增强学习算法

3．3．3 逆增强学习的进展

3．4 分布式架构下的逆增强学习

3．4．1 示教特征期望获取

3．4．2 回报估计

3．5 实验

3．6 本章小结

第4章 回报特征的自动选择

4．1 回报特征降维

4．1．1 原理

4．1．2 经典的降维方法

4．1．3 回报特征降维算法

4．2 实验

4．3 本章小节

第5章 总结与展望

5．1 总结

5．2 展望

参考文献

攻读硕士学位期间主要研究成果

致谢