用于强化学习的值函数逼近方法研究

摘要

强化学习系统以Agent与环境的长期交互为主要特征。该交互可以建模为一个马尔科夫决策过程(MDP)。该环境可能是未知的、动态变化的、不确定的、部分感知甚至不可感知的。面对这样的环境，强化学习旨在构建能够自学习和在线学习的智能系统，这样必然带来一定的复杂性。本文着眼于大空间或连续空间的MDP任务所面临的“维数灾”问题，以函数逼近强化学习中的值函数逼近为出发点。针对函数逼近解决“维数灾”问题中面临的诸多挑战，分析了不同类型逼近模型的优缺点，提出了若干值函数逼近模型及对应的学习算法。主要研究内容包括以下三部分：
　　（1）针对强化学习算法面临的收敛速度慢及初始性能差的问题，提出了一种基于势函数塑造奖赏机制的值函数逼近模型及算法。该机制自适应地将模型知识以奖赏的形式传递给学习器，能够有效提高算法的收敛速度和初始性能。从理论上分析了算法的收敛性，并通过实验验证了算法的有效性。
　　（2）鉴于核方法的有效性，提出一种基于最小二乘支持向量回归(LSSVR)的Q值函数分片逼近模型及算法。利用LSSVR将值函数逼近问题转化为高维特征空间中的线性回归问题，建立了一套完整的问题表示、转化和求解模型。为了提高逼近模型的精度，利用动作关联的多个LSSVR模型来分片逼近Q值函数。针对强化学习的在线特性，提出了随机样本池和基于近似线性依赖(ALD)的在线稀疏化样本池。
　　（3）针对RBF网络逼近模型的“灾难性扰动”问题，提出了一种基于自适应归一化RBF网络的Q-V值函数协同逼近模型及算法。对由RBFs提取得到的特征向量进行归一化处理，并在线自适应地调整网络隐藏层节点的个数、中心及宽度，可以一定程度上提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用Q和V值函数协同塑造TD误差，可以有效提高算法的收敛速度和初始性能。

目录

封面

中文摘要

英文摘要

目录

第一章引言

1.1研究背景及意义

1.2研究现状及趋势

1.3研究内容

1.4论文组织结构

第二章强化学习值函数逼近概述

2.1马尔科夫决策过程

2.2值函数逼近框架

2.3值函数逼近求解方法

2.4本章小结

第三章梯度下降值函数逼近模型的改进

3.1改进的梯度下降值函数逼近模型

3.2 NRBF-GD-Sarsa(λ)算法

3.3仿真实验

3.4本章小结

第四章基于LSSVR的Q值函数分片逼近模型

4.1 LSSVR-Q值函数分片逼近模型

4.2在线稀疏化样本池构建方法

4.3 LSSVR-Q算法

4.4仿真实验

4.5本章小结

第五章基于ANRBF网络的Q-V值函数协同逼近模型

5.1 Q-V值函数协同机制

5.2 Q-V值函数协同逼近模型

5.3 Q-V值函数协同逼近算法

5.4仿真实验

5.5本章小结

第六章总结与展望

6.1总结

6.2展望

参考文献

攻读硕士学位期间发表（录用）的论文及参与的项目

致谢