基于联邦深度强化学习的车联网资源分配

摘要

车辆通信(V2X)能够有效地提高交通安全性和移动性,是车辆部署场景中的关键技术之一。V2X通信链路需要满足不同应用的服务质量(QoS)要求,如车对车(V2V)链路的延迟和可靠性要求。面向车辆高速移动性导致的无线信道快速变化,为保证不同车辆链路的QoS约束和车辆动态网络的鲁棒性,提出一种基于联邦深度强化学习(FDRL)的频谱分配和功率控制联合优化框架。框架首先根据不同车辆链路需求提出了对应的优化问题,并定义了强化学习的状态空间、动作空间和奖励函数;然后介绍了联邦深度强化学习的训练框架;最后,通过分布式的车辆端强化学习和基站聚合平均训练,找到最佳的频谱分配和功率控制策略。仿真结果表明,与其他对比算法相比,所提出算法能够提高车对基站(V2I)的总用户信道容量,并保证了新加入车辆时动态网络的鲁棒性。