基于TD方法的单交叉口信号配时优化研究

摘要

近些年,交通拥挤已成为制约社会经济发展的一个重要因素,越来越受到重视。交通信号控制系统已成为管理路网交通流的重要措施和手段,对其进行优化已成为提高交通运行效率的重要方式。
　　 本文采用强化学习中的TD学习算法对单交叉口信号控制方法进行研究,是利用人工智能理论提高控制系统性能的有益尝试,目的是提出交叉口信号控制的新方法和新思路。
　　 本文对传统的绿灯时间等饱和度概念进行了扩展,提出了分级绿灯时间等饱和度。在此基础上,针对分级绿灯时间等饱和度目标,构造了奖赏函数,采用状态离散方法和模糊方法解决流量状态空间维数爆炸问题,建立了定周期和变周期两种模式下的八种离线TD学习配时优化模型。通过Matlab编程,开发了这八种模型的计算程序,相对于在线TD学习模型,离线TD学习模型更适合交叉口信号配时优化。以一个两相位控制的单交叉口配时优化作为算例,对比分析了八种模型的性能。总体上状态模糊的TD模型优于状态离散的TD模型,变周期模式的离线TD学习模型可以获得解的结构、最优解的分布,这是传统配时理论不具备的。定周期条件下,奖赏分级的效果不明显;变周期条件下,奖赏分级效果明显,交通性能更优。