一种非协作下基于Q学习的共存方法

摘要

本发明涉及一种非协作下基于Q学习的共存方法，属于通信技术领域。本发明包括以下步骤：S1：设置基站智能体的D2D占空比动作集合和状态集合，初始化矩阵为零阶矩阵，基站去探测信道初始状态信息；S2：基站根据ε‑greedy选择策略选择一个动作；S3：基站通过执行选择的动作同时在Wi‑Fi使用信道阶段探测信道情况，从而计算出当前动作下的系统的吞吐量和频谱利用率，获取当前选择的动作的奖励；S4：根据Q学习的Q表公式来更新Q表，基站进入下一个状态；S5：重复执行S2～S4，直到选择的动作达到目标状态，结束一次迭代；S6：令t←t+1，重复执行步S2～S5，直至Q矩阵收敛，根据Q矩阵选择出最优的D2D占空比分配序列。本发明是基站能够学习并适应Wi‑Fi随机流量的动态行为，在不知道Wi‑Fi流量信息的情况下，通过基站去探测信道使用信息，经过Q学习在面对实时Wi‑Fi流量来选择合适的D2D占空比，使得整个系统能够达到最大吞吐量和频谱利用率，提高频谱效率。