基于归一化优势函数的强化学习混合动力履带车辆能量管理

摘要

基于强化学习的能量管理策略由于状态变量和控制变量的离散化,处理高维问题时存在"维数灾难"的困扰.针对此问题,提出一种基于归一化优势函数的深度强化学习能量管理算法.采用两个具有归一化优势函数的深度神经网络实现连续控制,消除离散化.在对串联式混合动力履带车辆动力总成建模的基础上,完成深度强化学习能量管理算法的框架搭建和参数的更新过程,并将其应用于串联式混合动力履带车辆.仿真结果表明,该算法能够输出更为细化的控制量以及更小的输出波动性,与深度Q学习算法相比,对于串联式混合动力履带车辆的燃油经济性提升了3.96％.通过硬件在环仿真实验验证了强化学习能量管理算法的适应性,以及在实时控制环境下的优化效果.