连续空间中的随机技能发现算法

摘要

针对大规模、连续空问随着状态维度指数级增加造成的“维数灾”问题,提出基于Option分层强化学习基础框架的改进的随机技能发现算法.通过定义随机Option生成一棵随机技能树,构造一个随机技能树集合.将任务目标分成子目标,通过学习低阶Option策略,减少因智能体增大而引起学习参数的指数增大.以二维有障碍栅格连续空间内两点间最短路径规划为任务,进行仿真实验和分析,实验结果表明:由于Option被随机定义,因此算法在初始性能上具有间歇的不稳定性,但是随着随机技能树集合的增加,能较快地收敛到近似最优解,能有效克服因为维数灾引起的难以求取最优策略或收敛速度过慢的问题.