单交叉口多相位在线Q学习交通控制模型

摘要

为了优化交叉口信号配时,通过集成Excel VBA-Vissim-Matlab的仿真平台,建立了以总关键排队长度之差最小为优化目标的单交叉口在线Q学习模型,包括定周期和不定周期两种模式的Q学习配时模型.针对控制性能指标相对于邻近的配时方案不敏感的特点,提出了以平均总关键排队长度之差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性.通过算例,将定周期Q学习配时方案、不定周期Q学习配时方案与Transyt配时方案进行对比.研究结果表明:以总关键排队长度之差作为优化目标能够优化整个交叉口的时空资源,建立的在线Q学习模型具有较高的准确性、鲁棒性和学习能力,通过学习能够实现优化目标.同时,还探讨了流量变化情况下不定周期Q学习配时模型的性能.