基于多智能体深度强化学习的大规模路口信号灯协同控制研究

目录

声明

致 谢

第一章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1路口交通控制应用及研究现状

1.2.2深度强化学习研究现状

1.2.3 强化学习针对信号灯控制的研究现状

1.3 本文主要研究内容

第二章 大规模路口信号灯协同控制问题的建模

2.1 相关概念简介

2.1.1 马尔可夫决策过程

2.1.2 回报

2.1.3 价值函数

2.1.4 强化学习算法

2.2 多智能体系统模型

2.2.1 信号灯决策与交通流耦合机理分析

2.2.2 交通系统建模

2.2.3 交通系统仿真模型搭建

2.3 基于马尔可夫决策过程的问题建模

2.3.1 状态空间建模

2.3.2 动作空间建模

2.3.3 奖励函数建模

2.4 智能体交互框架搭建

2.5 本章小结

第三章 信号灯决策问题下的多智能体深度强化学习训练

3.1 引言

3.2 动态环境下基于价值的离线学习

3.2.1带经验回放的Double-DQN

3.2.2 基于Double-DQN的离线学习框架

3.3 动态环境下基于策略的离线学习

3.3.1 基于Soft-Actor-Critic的学习方法

3.3.2基于LSTM的深度神经网络改进

3.3.3 基于Soft-Actor-Critic信号灯决策离线学习

3.4 仿真验证与结果分析

3.4.1 训练算法分析

3.4.2离线学习交通流优化验证分析

3.5 本章小结

第四章 基于多智能体系统的贪婪决策顺序及应用

4.1 引言

4.2 基于信号灯控制域的贪婪决策顺序

4.3 贪婪决策顺序在多智能体协同决策上的应用

4.4 仿真验证与分析

4.4.1改进算法训练分析

4.4.2改进算法的交通流优化效果

4.5 本章小结

第五章 总结与展望

5.1 总结

5.2 展望

参考文献

攻读硕士学位期间的学术活动及成果情况