基于改进型DDPG的单用户任务迁移优化

摘要

针对传统强化学习算法在具有随机任务到达和时变无线信道的边缘服务器上最小化计算成本存在收敛速度慢、收敛不稳定等问题,提出一种改进型DDPG算法(IDDPG)。将DDPG的Critic网络结构替换为Dueling结构,通过将状态价值函数拆分为优势函数和价值函数,使其收敛更快;将Critic网络的更新频率调整为高于Actor网络的更新频率,使整体训练更加稳定;在Actor网络选出来的动作上增加Ornstein-Uhlenbeck噪声以提高算法探索能力,将动作噪声大小进行分段设置,保证收敛的稳定性。实验结果表明,相较其它算法,IDDPG算法能够更好最小化计算成本,在收敛速度和收敛稳定性方面都有一定提升。