基于深度强化学习的城市道路交通控制算法研究

目录

声明

第一章绪论

1.1 研究工作的背景与意义

1.2 基于强化学习的交通信号控制方法的国内外研究历史与现状

1.3 本文的主要贡献与创新

1.4 本论文的结构安排

第二章深度强化学习

2.1 深度强化学习综述

2.2 深度学习

2.2.1 激活函数

2.2.2 全连接神经网络

2.2.3 卷积神经网络

2.3 深度Q 网络方法

2.3.1 探索与利用

2.3.2 经验回放

2.3.3 目标网络

2.3.4 DQN 算法流程

2.4 近端策略优化算法

2.4.1 策略梯度

2.4.2 近端策略优化算法

2.5 本章小结

第三章城市交通仿真平台的设计与构建

3.1 城市交通仿真构建的可行性分析

3.1.1 Vissim 介绍

3.1.2 Paramics介绍

3.1.3 SUMO 介绍

3.1.4 方案的选择

3.2 基于Vissim的城市交通仿真平台

3.2.1 路网的编辑与生成

3.2.2 环境集成与封装

3.3 基于SUMO 的城市交通仿真平台

3.3.1 平台设计目标

3.3.2 功能模块简介

3.4 两种仿真平台的比较

3.5 本章小结

第四章基于深度强化学习的交通型号控制

4.1 交通灯控制过程的描述

4.2 强化学习框架下的交通信号控制问题

4.2.1 状态表示

4.2.2 奖励函数

4.2.3 动作空间

4.3 基于深度Q 网络算法的交通控制算法

4.4 仿真实验与结果分析

4.4.1 仿真实验场景

4.4.2 DQN 算法的实验结果与分析

4.4.3 DQN 算法的改进

4.5 本章小结

第五章层次区域控制

5.1 交通信号问题的优化

5.2 层次化控制方法

5.2.1 层次化控制框架

5.2.2 层次化控制方案的环境配置

5.3 有效性实验

5.3.1 实验场景

5.3.2 实验结果与分析

5.4 可变流量场景

5.5 非标准路网场景

5.6 关于层次化设计的讨论与实验

5.7 本章小结

第六章全文总结与展望

6.1 全文总结

6.2 后续工作展望

致 谢

参考文献

攻读硕士学位期间取得的成果