基于改进的RReliefF算法的超参数重要性分析

摘要

自动化超参数配置方法在超参数调优过程中表现优异,但在超参数重要性分析方面还存在许多约束和限制.现有的超参数重要性评估方法多数局限于迭代构建模型,导致时间复杂度增加.为了解决该问题,提出一种基于改进的RReliefF算法直接评估超参数及超参数之间重要性权重.该算法根据每一个超参数对性能的影响程度估计单个超参数对性能贡献的能力,通过改进的归一化公式计算超参数之间的重要性权重.该算法分析得到了随机森林算法及SVM算法的超参数重要性权重,与相关方法比较具有一定的优势.