基于启发式强化学习的动态CRE偏置选择算法

摘要

随着通信用户数量的不断增长,低功率基站逐渐出现负载不均衡问题,小区边缘用户受到的干扰逐步增加,从而导致整个小区的通信质量降低。为解决该问题,针对双层异构网络场景,提出一种基于启发函数进行小区范围扩展(CRE)偏置值动态选择的HSARSA(λ)算法。利用启发函数改进强化学习中的SARSA(λ)算法,通过该算法寻找出最优CRE偏置值,以缓解宏基站高热点负载压力并提高网络容量。仿真结果表明,相比SARSA(λ)和Q-Learning算法,HSARSA(λ)算法的边缘用户吞吐量分别提高约7%和12%,系统能效分别提高约11%与13%,系统通信质量得到较大提升。