多Agent系统强化学习及其在CAS仿真建模中的应用

摘要

多Agent系统(MAS)及其相关技术近年来受到越来越多的研究者的关注，被广泛应用到Internet、办公自动化、冲突协调、决策支持、开放式信息系统等众多领域。其中基于Agent的仿真建模(ABMS)是当前仿真与建模领域研究的热点，它是研究复杂适应性系统的主要手段。 强化学习不需要导师训练，仅通过试错法即可找到最优解或者接近最优解，是比较重要的一种机器学习方法，在马尔可夫决策过程等坚实的数学理论支持下，获得了成功。进一步将强化学习理论应用到多Agent系统(多Agent系统强化学习)是现在研究的热点和难点。 论文研究了多Agent系统理论，并对强化学习中的Q学习进行了重点研究，单个Agent的Q学习算法同样不能直接应用到多Agent系统中，本文提出Agent间通过对信息的共享，有效地将Q学习算法扩展应用到多Agent系统，提出了改进的多Agent系统强化学习方法。 多Agent系统理论非常适合应用于复杂适应性系统研究中，论文对一个复杂系统——人工神经网络的构建方法进行了分析和研究。将组成神经网络的神经元封装成Agent，通过Agent之间的交互完成神经网络相应的功能，提出了基于多Agent系统的人工神经网络的构造方法。这为神经网络的分布式实现提供了一条新途径。 同时，在基于MAS的神经网络中，将强化学习算法运用到调整网络权值算法中，实验效果比较明显。

目录

文摘

英文文摘

论文原创性声明及论文知识产权权属声明

第1章绪论

1.1课题背景

1.2课题研究现状

1.2.1多Agent系统及强化学习研究现状

1.2.2复杂适应性系统研究现状

1.2.3基于Agent的仿真建模研究现状

1.3课题意义

1.4研究思路与所做工作

1.5论文结构

第2章多Agent系统及强化学习

2.1多Agent系统

2.1.1 Agent与MAS的基本概念

2.1.2多Agent系统的组织结构

2.1.3多Agent系统开发方法和工具

2.2多Agent系统强化学习

2.2.1强化学习概述

2.2.2强化学习原理

2.2.3多Agent强化学习

第3章改进多Agent系统强化学习

3.1 Q学习算法

3.2基于Q学习的多Agent强化学习方法

3.3实验结果

第4章复杂适应性系统

4.1复杂系统

4.2复杂适应性系统

4.2.1适应性造就复杂性

4.2.2 CAS理论的贡献

4.2.3复杂适应性系统的研究方法

4.3基于Agent的仿真建模

4.3.1 ABMS起源

4.3.2 ABMS一般性描述

4.3.3 ABMS的主要概念与思想

4.3.4 ABMS研究步骤

4.3.5 ABMS应用

第5章基于MAS的神经网络

5.1对CAS和ABMS的认识

5.2神经网络

5.3神经网络原理

5.4从CAS角度认识神经网络

5.5运用CAS和MAS理论重构ANN

5.6强化学习在ANN中的应用

结论

致谢

参考文献