基于CMA-ES算法的支持向量机模型选择

摘要

研究模型选择对支持向龟机(SVM)的泛化性能有着重要影响.针对传统梯度算法对初始值敏感及网格搜索法计算复杂的缺点,为了提高全面优化能力和分类精度,提出了一种基于协方差矩阵自适应进化策略(CMA-ES)的支持向量机(SVM)模型优化算法,通过对SVM泛化性能界(Bounds on Generalization Performance)的优化求解,实现了基于CMA-ES算法的SVM模型选择.在标准数据集上的实验结果表明:相比遗传算法和梯度算法,上述方法能够在较小计算代价下得到更优的超参数,提高支持向量机的预测精度稳定性,尤其适合大样本数据条件下的模型选择.