基于协作机制的多Agent追捕研究

摘要

基于 agent的模型（ABMs）在人工智能及虚拟现实等领域一直都是在试图模仿人类的行为，在一个人工环境中，为了产生许多社会科学家可以理解的可能现象，agent的决策模块要互相影响并进行交互。这个定义对于那些不是在分布式人工智能（DAI）的专家来说并不是特别清楚，但是如果考虑到那些反映了特殊类型的 ABM鼎鼎大名的视频游戏，它确实提供了一个明确的意义。事实上，视频游戏将虚拟世界的玩家和一些互动的人物整合了起来，例如：怪物，追兵，逃跑者、宇航员、士兵等。这些 agent中的每一个在特定的情况下都在进行一种特定的并且规则的行为（一种行为算法），最重要的是，agent可以与其他 agent进行交互。然而，游戏也有很大的概率随机产生许多不同的结果，电子游戏基于每个agent的交互性而可以产生大量不确定的事件。在基于 agent的不同领域，如任务协调和路径规划等，移动 agent在未知环境下的追捕成为一个最有趣的挑战，该论文的总体目标是提出基于组织框架和博弈论的理论多 agent系统的协作机制，以检查和解决一些涉及多智能体的追捕及逃脱的问题。该联盟机制将允许 agent合作和自己协调自身任务，及时和有效地实现全局目标。在路径规划方面，提出了一种基于随机马尔可夫运动策略决策过程的方法（MDP）。此外，还开发了一种避障算法，允许 agent在遇到的障碍时可以采取一些有效的方法。仿真实验的目标是展示这些不同的机制在追捕的过程中如何影响的捕获时间和内在学习的过程。本文共分为五章：
　　第1章介绍了工作的主要目标以及对一些相关工作的原理及结果的介绍。该章节专注于探索适用于多Agent系统不同的任务和路径规划方法。此外，考虑到这些机制在关系到追捕和逃避问题的应用。这些章节的最后是关于论文工作的一些规范的介绍。
　　第2章提出了一种基于 Agent-组-角色（AGR）模型的联盟形成算法。该算法的应用为了衡量对不同的捕获者追捕群组的影响的形成及其面不同追捕者的稳定性。在这个模型中，多个 agent通过提出获得群组中的角色来形成群组。在联盟形成过程中，agent必须在群组创建的过程中执行一组特定的任务，以实现固定的目标。为了控制 agent的运动策略，利用基于马尔可夫的决策过程（MDP）的方法，允许在合作的多 agent系统中通过使用奖励和转移函数来决策问题。
　　第3章简述了其他两个基于组织原则的任务协调机制。以定义一个抓捕群组组访问机制为目标，提出了一个 YAMAM模型任务协调机制（Yet Another Multi-Agent Model）。确定了一些 agent，角色，任务和技能等概念来形成这个抓捕逃脱问题的框架，并优化的不同追逐群组组之间的任务共享机制。开发了一个灵活的基于模糊逻辑理论的 AGR模型。该模型的目的是让不同群组互动、组织和动态重组。在追逃问题上，提取出了不同程度的灵活性的组织模型的分组算法，突出了对逃跑者的捕获时间以及对动态重组的发展在任务执行过程中的积极作用。
　　在4章中，提出了一种迭代剔除劣势策略分散的联盟形成算法（IED）。这种博弈论决策过程是常见的解决问题的方法，该过程需要反复挑选出的占主导地位的战略，以确定通过这种方法达到平衡。
　　第5章重点研究了在追求目标的过程中所遇到的复杂的障碍如 U和 H的处理，提出了基于 bug算法和通过 MDP的应用来生成奖励的方法来实现避障。这个新的过程称为奖励错误算法（RBA），提高了 agent上传感器返回的环境数据的使用效率，证明了（RBA）是如何提高追捕者的目标转向正确率以及他们在障碍物躲避上的决策的效率。

目录

Chapter 1 Introduction

1.1. Motivation

1.2. General definitions of an Agent and Multi-agent systems

1.3. Task coordination mechanisms approaches

1.4. Organizations in Multi-agent Systems

1.5. Multi-agent path planning

1.6. Position of our work and dissertation structure

Chapter 2 Pursuit coalition formation based on Organization and Markov Decision Process

2.1 Introduction

2.2 Environment description

2.3 Agent Group Role

2.4 MDP formal definition and resolution algorithms

2.5 The agents’ motion planning based on MDP

2.6 Simulation experiments

2.7 Summary

Chapter 3 Pursuit cooperation based on the access optimization and the dynamic reorganization

3.1.Introduction

3.2.Fuzzy logic in multi-agent systems

3.3.Yet Another Multi-Agent Model

3.4. Pursuers’ coalition formations based on YAMAM organizational model

3.5. Extension:Agent-Group-Role-Membership Function

3.6. Coalition formation algorithm based on AGRMF

3.7. Simulation experiments

3.8. Summary

Chapter 4 A decentralized cooperative pursuit based on game theoretic principles

4.1. Introduction

4.2. The Iterated Elimination of Dominated Strategies

4.3. Coalition formation algorithm based on IEDS

4.4. NetLogo simulation platform

4.5. Simulation experiments

4.6. Summary

Chapter 5 Pursuit path planning based on an extension of Bug-Algorithms

5.1. Introduction

5.2. Bug Algorithms

5.3. Problem description

5.4. Pursuit path planning based on sensors detection

5.5. Reward Bug-Algorithm

5.6. Pursuit processing based on the Reward Bug-Algorithm

5.7. Simulation experiments

5.8. Summary

Conclusion and future work

参考文献

Publications

声明

致谢

Resume