基于强化学习的自适应城市交通信号控制方法研究

摘要

城市道路不断兴建和扩宽，基础设施建设投入也越来越大，然而城市交通拥堵问题却越来越严重，主要原因是现有的城市交通信号控制TSC(Traffic SignalControl)系统不能充分做到对交通流量的最优控制和管理。因此，如何通过交通信号的最优控制来设计和优化城市TSC系统，成为保障交通安全和畅通、增加道路通行效率及其缓解交通拥塞问题的关键所在。
　　本文选择基于Q-learning算法的单Agent控制体系结构，基于分布式Q-learning算法的Multi-Agent系统以及Green Light District(GLD)开源仿真平台进行城市TSC系统优化研究，主要做了如下工作:
　　(1)设计了基于单路口和井字形区域路口的城市TSC系统Agent框架，模拟城市道路控制。对于城市单路口，通过一个智能Agent实时检测每个方向的交通流数据，交通流数据通过模糊逻辑化，输入设计的单路口Q-learning决策器，寻得最优控制策略。对于区域交通控制，提出了分布式Q-leaining算法和MAS结合的优化控制方式，给出了相邻路口Agent协调控制模型，实现相邻路口之间信息共享。
　　(2)解决了Q-learning算法和分布式Q-learning算法对交通环境状态集S、动作策略集A、奖惩函数R等关键问题。状态空间的选择，设计用模糊逻辑来计算排队长度;动作策略集A:增加、保持和减少相位绿灯时间;奖惩函数R以路口车辆排队长度作为指标，以车辆排队长度最小为目的。
　　(3)实现了分布式Q-learning算法在区域TSC系统优化上的运用，解决了区域信号协调控制问题。分布式Q-learning算法和MAS的结合，实现对城市TSC系统最优控制。城市区域交通网络是分布式的多Agent网络，建立了基于分布式Q-learning算法的Multi-Agent模型框架，同时给出了分布式Q-learning算法设计的详细步骤。最后分析了基于Q-learning算法的单路口城市TSC优化和基于分布式Q-learning算法的区域TSC优化的算法性能。在GLD中，对随机配时，固定配时，Longest-queue，Traffic-controller1(TC1)，ACGJ-1、Q-learning算法和分布式Q-learning算法优化性能进行了模拟验证分析，实验结果表明了Q-learning算法和分布式Q-learning算法在城市TSC系统优化上优于其他算法。

目录

摘要

1 绪论

1．1 交通信号控制研究的背景及意义

1．2 国内外研究现状

1．2．1 国外研究现状

1．2．2 国内研究现状

1．3 论文主要研究内容

1．4 论文组织结构安排

1．5 本章小结

2 强化学习与交通信号控制基础

2．1 强化学习理论基础

2．1．1 马尔科夫决策过程

2．1．2 强化学习与智能Agent框架

2．1．3 Q-learning算法

2．2 交通信号控制理论基础

2．2．1 交通信号控制基本理论

2．2．2 智能交通信号控制算法研究

2．3 本章小结

3 基于Q-learning的单路口交通信号控制研究

3．1 Q-learning算法控制单路口关键问题分析

3．1．1 交通状态空间的选择

3．1．2 奖惩函数的确定

3．1．3 状态转换后策略的选择

3．1．4 参数的确定

3．2 基于Q-learning的Agent控制体系结构

3．3 基于Q-learning的交通信号控制算法

3．3．1 信号控制Q-learning算法设计

3．3．2 基于Q-learning信号优化算法具体步骤

3．4 实验结果与分析

3．5 本章小结

4 基于Q-learning的城市区域交通信号协调控制研究

4．1 城市区域交通信号控制

4．2 Multi-Agent协作控制研究

4．3 算法设计与步骤

4．3．1 分布式Q-learning算法设计

4．3．2 算法详细步骤

4．4 实验结果与分析

4．5 本章小结

5 研究工作总结与展望

5．1 总结

5．2 展望

参考文献

附录

攻读学位期间取得的研究成果

致谢

声明