基于角色分类的多智能体经验共享重放方法研究

摘要

近年来多智能体强化学习发展迅猛,解决了许多序列决策问题。针对多智能体强化学习合作场景下,智能体联合动作状态空间搜索困难、经验数据利用效率低、价值函数收敛缓慢等问题,提出了全新的基于角色分类的优先经验重放共享RC-PSER(Role Classification Prioritized Shared Experience Replay)方法。RC-PSER主要有两个优势:一是通过优先经验重放方法提取高价值的数据供网络学习;二是通过基于角色分类的经验共享,将各个智能体采取的动作表征聚类后对智能体角色进行划分。实验表明,RC-PSER方法比主流的经验重放[1][2]机制包括UER(Uniform Experience Replay)、PER(Prioritized Experience Replay)、PSER(Prioritized Shared Experience Replay)与值函数分解的深度强化学习算法结合后表现得更好。