多主体系统决策问题研究及在RoboCup中的应用

摘要

本文通过对于多主体系统的研究，针对RoboCup仿真比赛这类动态不确定环境，设计了一个决策模型，对RoboCup仿真球队决策这类问题给出一个较为完整的解决方案。主要工作包括：设计了一种RoboCup仿真球队的分层决策模型，将Agent的决策分为两层，底层决策将RoboCup仿真平台提供的基本动作组合为高层决策所需的基本行为，高层决策建立在这些行为之上。设计了战术库来描述局部团队的合作行为，通过战术库系统，能够合理的利用定性领域知识，提高决策的效率；同时利用战术约定，保证球员间相互合作的完成，较好的解决了多主体的合作。针对RoboCup决策中的一些局部对抗问题，提出了一种Markov博弈框架的强化学习算法，取得了一定效果。

目录

文摘

英文文摘

第1章绪论

1.1研究背景

1.2 RoboCup的提出

1.3 RoboCup仿真球队的研究问题

1.4本文的目的及主要工作

1.5本文章节安排

第2章RoboCup仿真比赛综述

2.1 RoboCup仿真平台简介

2.1.1比赛平台

2.1.2球员客户端

2.1.3平台特点

2.2 RoboCup仿真球队的体系结构

2.2.1反应式主体

2.2.2慎思式主体

2.2.3混合式主体

2.3 RoboCup仿真球队策略实现

2.3.1角色与阵型的描述

2.3.2基于形势的策略描述

第3章WrightEagle仿真球队的决策框架

3.1决策模型

3.2系统运行原理

3.2.1世界模型的更新

3.2.2状态的简化

3.2.3行为达成概率的计算

3.2.4行为效用的评估

3.3 WrightEagle仿真球队的程序结构

3.3.1程序结构

3.3.2基本流程

第4章RoboCup中的协同合作

4.1 RoboCup中的合作行为

4.2战术的描述

4.2.1战术的表示

4.2.2战术示例

4.3战术库系统的实现

4.3.1战术库系统框架

4.3.2战术库系统运行算法

4.3.3多主体的协调一致

4.3.4实验结果

第5章基于Markove对策框架的强化学习

5.1 RoboCup中的学习

5.1.1分层学习

5.1.2学习的实现

5.2基于Markov对策框架的强化学习

5.3学习算法

5.3.1在复杂环境中学习的难点与解决

5.3.2学习的基本框架

5.3.3学习的基本算法

5.4在RoboCup任务中的应用

5.4.1守门员决策的表示

5.4.2实验结果

第6章总论与工作展望

参考文献

攻读学位期间发表的学术论文

致谢