基于多智能体Q学习的车载通信MAC层信道接入技术研究

摘要

车载自组织网络(VANET, Vehicular ad-hoc network）作为支持 ITS(Intelligent Transportation Systems,智能交通系统）应用的重要技术，解决安全相关问题时通常依赖于安全消息的实时可靠传输。VANET因其网络拓扑结构变化快、节点高速移动的特点在车辆密度较高的网络场景中使用传统的IEEE802.11p协议发送消息很容易发生碰撞，难以保证安全消息低时延和高接收率的传输，且对不同网络负载场景不具可扩展性。因此，本文针对信道接入方法的可扩展性和公平性的问题对传统的接入方法进行改进，通过建立新模型为 VANET设计高效的MAC协议，主要工作如下：
　　首先，在车载通信车辆接入无线信道发送数据过程中引入Q学习，为车辆节点建立智能体Q学习模型，提出了基于Q学习的动态调整竞争窗口算法（QL-CWmin），推导了车辆节点在网络环境中进行Q学习的状态——动作映射关系和车辆节点更新累计奖赏值的迭代公式，这样车辆节点每次需要接入无线信道发送数据时，就总选择能使累计奖赏值最大的CW值接入无线信道，在理论分析的基础上通过仿真验证了所提出的算法对提高车辆节点接入无线信道的公平性和对不同网络负载场景的可扩展性。
　　其次，针对单个车辆节点在网络环境中进行Q学习存在仅感知部分网络环境、学习搜索空间大效率低、与其他车辆节点无交互学习的问题，为VANET建立多智能体Q学习系统模型，提出了基于多智能体Q学习的动态调整竞争窗口算法（QL-CWMulti-agent），对多个车辆节点Q学习的联合状态——动作对映射关系和车辆节点根据联合策略更新Q值函数的迭代表达式进行了推导，在前一研究点的基础上提高车辆节点接入无线信道的公平性及算法对不同网络负载的可扩展性。
　　最后，将多智能体学习的最终结果收敛到相关均衡，根据eCEQ（Correlated Equilibrium Q，相关均衡Q学习）算法（即最大化所有智能体奖励的最小值）使车载自组织网络中每个车辆节点接入无线信道成功发送数据的次数最大化，通过仿真验证了算法收敛结果的正确性。

目录

声明

专用术语注释表

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3论文的主要研究内容

1.4论文的章节安排

第二章 相关背景知识介绍

2.1车载自组织网络

2.2 VANETs应用及MAC协议设计要点

2.3 VANETs MAC协议分类及性能指标

2.4本章小结

第三章 基于Q学习的车载通信信道接入控制算法

3.1基于Q学习的CW动态调整算法

3.2 QL-CW算法的模型分析

3.3 QL-CWmin算法的仿真及性能验证

3.4本章小结

第四章 基于多智能体Q学习的车载通信信道接入控制算法

4.1多智能体学习系统

4.2基于QL-CWMulti-Agent的信道接入方法

4.3 QL-CWMulti-Agent算法的性能验证

4.4本章小结

第五章 总结与展望

参考文献

附录1 攻读硕士学位期间撰写的论文

附录2 攻读硕士学位期间申请的专利

附录3 攻读硕士学位期间参加的科研项目

致谢