采用强化学习的多轴运动系统时间最优轨迹优化

摘要

为实现多轴运动系统高速运动并解决电机动载荷过载的问题,提出了一种采用强化学习的时间最优轨迹优化方法.使用改进状态-动作-奖励-状态-动作(SARSA)算法和迭代交互法来寻找时间最优轨迹:通过改进SARSA算法与基于运动学模型建立的强化学习环境进行交互学习,找到满足运动学约束的初始策略轨迹;通过迭代交互法与真实环境进行交互学习,从而将电机动态载荷约束引入到强化学习环境中并对策略轨迹进行修正;最终得到满足电机动态载荷约束的时间最优轨迹.在自行搭建的两轴运动系统上进行验证,结果表明,改进SARSA算法优化得到的策略轨迹的速度和加速度曲线均在约束范围内,且经过10次迭代后的轨迹实际测量力矩曲线也在电机动载荷约束范围内,所提方法能够得到同时满足运动学约束和动力学约束的时间最优轨迹.