基于政策规划约束Q学习的动态频谱接入方法

摘要

本发明提供了一种基于政策规划约束Q学习的动态频谱接入方法，认知用户对频谱状态空间进行划分，选出合理和合法的状态空间；对上述状态空间进行分等级模块化；每个等级模块，完成Q学习前的Q表初始化工作；每个模块单独的进行Q学习算法，根据学习规则结合动作选择算法，综合考虑所有学习模块进行决策，得出认知用户最终要采取的动作；判断选择接入的频谱是否和授权用户冲突，若发生冲突则计算冲突概率，否则进入下步；判断环境政策规划知识库是否发生改变，若变，更新环境政策规划知识库，并调整学习的Q值；重复上述部分步骤，直到学习收敛。本发明能提高系统整体性能并可克服智能体学习的盲目性、提高学习效率、加快收敛速度。