基于模糊聚类的分层强化学习方法研究

摘要

强化学习是一种重要的机器学习方法，不需要建立环境模型，而是通过不断试错，与环境交互获得知识，改进动作策略，具有良好的自学习和在线学习能力。然而，在具有大状态空间的应用领域，强化学习一直被维数灾难问题所困扰。分层强化学习引入抽象机制实现状态空间降维，将强化学习任务分解到抽象内部和抽象间的不同层次上分别实现，从而每层上的学习任务仅需在低维空间中进行，是解决维数灾难问题一种有效方法，有着广泛的应用前景。 分层强化学习方法中的层次结构可以由设计者根据专家知识事先确定，也可以自动生成。由于在复杂环境或者未知环境内学习时，任务层次结构很难事先确定，因此有效的自动分层方法一直是近几年的研究热点。本文主要对以下几个方面进行了研究和探讨： 首先，介绍了分层强化学习方法的研究进展，接着对强化学习和分层强化学习的相关理论进行了深入研究，并比较了各种方法的优缺点。 其次，研究了模糊聚类方法，针对强化学习任务的特点，提出了一种改进的基于遗传算法的模糊聚类方法。 最后，提出了一种新的分层强化学习方法。将改进的模糊聚类方法融合到分层强化学习中，对大状态空间进行自动聚类，达到状态空间的降维，并以生成的聚类子空间为基础构造子任务，进而实现学习任务自动分层。通过实验结果证明了该算法的有效性。

目录

文摘

英文文摘

声明

第一章绪论

1.1研究背景和意义

1.2研究现状

1.3研究内容

1.4论文结构

第二章分层强化学习理论基础

2.1强化学习

2.1.1强化学习简介

2.1.2强化学习主要算法

2.1.3强化学习存在的问题

2.2分层强化学习理论

2.2.1半马氏决策过程

2.2.2分层与抽象

2.3本章小结

第三章模糊聚类分析及其改进算法

3.1模糊聚类分析

3.1.1聚类分析

3.1.2模糊聚类分析

3.1.3 FCM算法及存在的问题

3.2遗传算法

3.2.1遗传算法简介

3.2.2遗传算法的运算流程

3.3遗传-模糊聚类算法

3.4本章小结

第四章基于模糊聚类的分层强化学习方法

4.1学习任务自动分层方法

4.1.1常用的任务自动分层方法

4.1.2任务自动分层方法的比较

4.2基于模糊聚类的分层强化学习方法

4.3仿真实验与分析

4.4本章小结

第五章结论与展望

参考文献

致谢

附录(攻读硕士学位期间发表论文情况)