基于Q学习的智能交通信号灯优化

摘要

利用Q学习发展出的D3QN模型来实现交通信号控制智能体,模型采用离散交通状态编码的状态集,将交叉口处车辆的位置-速度二维矩阵图经过卷积网络层进行特征提取,以捕捉更精确、完整的交叉口信息。分别基于相位切换策略和马尔科夫决策过程型(Markov decision process,MDP)动作策略,利用SUMO交通仿真软件进行模拟训练。结果表明,与传统的定时定序信号灯控制策略相比,相位切换策略下车辆的平均等待时间减少了约45%,而MDP动作策略下减少了约78%。