一种高效率的多智能体协作学习通信机制

摘要

目前人工智能的发展日新月异,从计算机视觉到自然语言处理,再到强化学习的研究,都有了不小的突破.但是绝大部分人工智能针对的目标都是单智能体的,这些研究者的目标是让单智能体的智能能够不断的提升.然而多智能体的突破更能解决复杂的问题,例如动物种群的繁衍、人类的团队协作等等.即使单个智能体的智能不是特别高,但如果智能体之间的交流、协作能够很有效率,从整体来看,这个智能体群落的智能会比较高.目前,多智能体协作学习领域通常使用强化学习框架,但大多研究没有显式地应用通信机制,以提高整体模型的效果.提出了一种基于通信过滤的Actor-Critic算法框架,它使多智能体环境中的智能体之间能够高效地交流,即使在没有Critic指导的执行阶段,高效率的通信也能够很好地帮助智能体协作.算法框架中采用了一个神经网络过滤智能体之间的信息,完成一个使低质量的冗余信息到高质量的低维信息的过程.设计了3个实验验证模型的效果,分别是2个协作学习场景和1个自动驾驶中的车道变换任务.实验结果表明,在引入沟通的多智能体协作学习中,该算法模型比其他类似的模型效果好.