基于状态空间划分的预测状态表示模型获取研究

摘要

预测状态表示(Predictive State Representation，PSR)方法是对动态系统建模的有效方法。相比其它建模方法，PSR具有表征能力强、模型易于学习等优点，可以有效地解决局部可观测问题。但传统的研究方法大都是在整体状态空间上获取系统的PSR模型，计算复杂、模型获取相对困难，已有相关算法通常仅适用于规模较小的系统。
　　在本文工作中，通过研究系统状态空间划分机制，将整个状态空间划分为多个子状态空间，降低了获取系统PSR模型的难度，进而提出基于状态空间划分的PSR模型算法及基于状态空间划分的转移预测状态表示(TransformedPredictive State Representation，TPSR)模型获取算法，实现了较大规模系统中系统PSR模型的获取。
　　本文主要研究内容及成果包括以下几个方面:
　　(1)提出状态空间划分机制。通常情况下，系统的状态数量会随着系统规模的增大而增多，从而增加了获取系统整体的PSR模型的难度。本文根据landmark的特性，以landmark为划分状态空间的临界点，把整体状态空间划分为几个规模较小的子状态空间。进行状态空间划分后，只需分别获取状态数量一般都小于整体状态空间的状态数量的各个子状态空间对应的PSR模型，降低了模型获取的难度。
　　(2)提出一种基于状态空间划分的PSR模型获取算法。该算法根据状态空间划分机制，将较大规模系统的整体状态空间划分为几个较小的子状态空间，进而学习各子状态空间对应的PSR模型;并根据这些子状态空间的PSR模型，构建系统整体的PSR模型后，可对任意事件进行预测。实验仿真结果表明所提算法是有效的。
　　(3)提出基于状态空间划分的TPSR模型获取算法。随着系统规模的增大，发现检验核这一过程的时间复杂度和计算量通常也相应增大，为了进一步减小模型获取的复杂性，本文在对状态空间划分后，通过引入主成分分析(PrincipalComponent Analysis，PCA)方法，提出基于状态空间划分的TPSR模型获取算法。该算法使用PCA方法对各个子状态空间的经历-检验矩阵进行降维，直接利用降维后的矩阵获取各个子状态空间的TPSR模型，无需发现检验核，简化了模型学习过程。实验仿真结果表明了所提算法的有效性。

目录

声明

摘要

第一章 引言

1．1 研究背景

1．2 研究现状

1．3 本文结构

第二章 预测状态表示方法

2．1 引言

2．2 预测状态表示方法介绍

2．2．1 预备知识

2．2．2 系统的PSR模型

2．2 系统动态矩阵

2．3 从系统动态矩阵学习系统的PSR模型

2．4 由系统的POMDP模型获取系统的PSR模型

2．4．1 POMDP模型介绍

2．4．2 从POMDP模型到PSR模型的转换

2．4 PSR模型和POMDP模型的表征能力比较

2．5 小结

第三章 基于状态空间划分获取和学习系统整体的PSR模型

3．1 引言

3．2 状态空间划分方法

3．2．1 landmark的性质

3．2．2 状态空间的划分方法

3．3 获取当前子状态空间的PSR模型

3．3．1 获取当前子状态空间的经历集合

3．3．2 获取当前子状态空间的动态子矩阵

3．3．3 发现当前子状态空间的检验核

3．3．4 获取当前子状态空间的PSR模型参数

3．4 获取基于状态空间划分的系统整体的PSR模型

3．5 实验

3．6 小结

第四章 基于状态空间划分获取和学习系统整体的TPSR模型

4．1 引言

4．2 转移预测状态表示介绍

4．3 获取当前子状态空间的TPSR模型

4．3．1 获取当前子状态空间的系统动态子矩阵

4．3．2 学习当前子状态空间的TPSR模型参数

4．4 基于状态空间划分获取系统整体的TPSR模型

4．4 实验

4．5小结

第五章 总结与展望

5．1 总结

5．2 展望

参考文献

攻读硕士期间所发表论文与参与项目

致谢