基于DQN的无线传感器网络移动充电路径规划算法研究

摘要

无线传感器网络(wirelesssensornetworks，简称WSN)中，能源问题是无线传感器网络在应用中面临的最重要挑战之一。无线充电技术无疑是解决能量问题的可行方案。在WSN中部署一个或多个带有大容量电池的无线移动充电器(mobilecharger,简称MC)，这被称为无线可充电传感器网络(wirelessrechargeablesensornetworks，简称WRSN)。在无线可充电传感器网络(WRSN)的实际应用中，由于环境原因、收集数据的多少等诸多不确定性因素的影响，传感器节点的能量消耗率动态变化。然而，现有的无线充电方案仍具有较高的节点死亡率或较低的充电效率。为此，本文提出了一种基于深度强化学习(DeepReinforcementLearning，简称DRL)的充电方案：DeepQNetwork(简称DQN)充电算法。在DQN网络模型中，我们引入神经网络来搭建环境状态和充电行为价值之间的桥梁。对DQN网络模型训练完成后，能得到各种状态对应动作的价值，MC仅需读取WRSN中传感器节点的实时剩余能量即可做出充电选择，这样的模式比起传统按需分配的充电方案在公平性和适应传感器节点能耗变化上有很大的优势。　　本文的主要工作如下：　　（1）提出基于深度强化学习的充电方案：DQN(DeepQNetwork)充电算法。该算法用两个相同的神经网络协同工作的方式，其中Q网络负责实时训练MC并更新网络权重，目标网络负责拟合预测值和目标值，每隔固定的时间步长将更新好的Q网络的权重拷贝到自身，直到损失函数完全收敛后，计算出网络的最终权重值，此后MC将根据所处的状态做出价值最高的充电选择决策。　　（2）构建模拟的无线可充电传感器网络场景，从不同角度训练DQN充电算法。我们将强化学习的奖励值设置为MC对传感器节点的单次充电量与单次移动路程的比值，目的是最大化MC的能量利用率。　　（3）我们将所提DQN充电算法与其他算法：NJNP(Nearest-Job-NextwithPreemption)、随机策略和贪心算法进行多方面对比，大量的仿真表明本文所提出的DQN充电方案在能量利用率和减少饥饿节点数量方面均优于其他充电方案。

目录