基于蒙特卡罗树搜索-强化学习的列车运行智能调整方法

摘要

为提升突发事件下高速铁路应急处置效率,以列车运行图为研究对象,提出晚点场景下蒙特卡罗树搜索-强化学习(MCTS-RL)的列车运行智能调整方法,包括MCTS-RL的列车运行智能调整离线训练模型、强化学习方法、MCTS的发车次序决策方法和冲突消解启发式规则。基于高速铁路列车运行调整数学模型构建强化学习环境,包括状态集、动作集、状态转移概率和奖励函数。先设计启发式规则,生成可行发车次序,作为蒙特卡罗树搜索博弈树结构的节点,应用MCTS输出列车运行调整的最优发车次序。之后再设计启发式规则,消解列车在车站和区间的运行冲突。以线路上列车总晚点时间最短为目标函数,基于MCTS-RL一次性离线训练生成在线调整模型,用于实时调整各次列车在各个车站的发车次序。以京沪高速铁路北京南—泰安段为例,设置到站晚点和发车晚点场景,分别应用先到先服务、CPLEX求解器和MCTS-RL方法进行求解。结果表明:与CPLEX求解器下的方案相比,MCTS-RL方法能在0.001 s内给出同样最优的列车运行调整方案。