求解大规模非凸优化问题的多阶段MM方法

摘要

机器学习的主要目的是让计算机系统具有类似于人的学习能力,而数值优化方法对提高其效率,增强其效果有着举足轻重的作用.在L1-SVM优化问题中,可以利用截断Hinge损失剔除过多的支持向量,提高模型的鲁棒性.但却导致了棘手的非凸优化问题.MM(Majorization-Minimization,MM)是一种求解非凸问题的有效框架,主要思想是通过寻找一系列恰当的凸上界,将非凸目标函数转化为一系列凸的子问题进行求解.常用于求解非凸问题的凸凹转化算法(Con-cave-Convex Procedure,CCCP)同属这一框架.论文分析了求解截断L1-SVM问题的CCCP算法具有稀疏支持向量的原因,并在此基础上,利用多阶段策略的优点,提出一种多阶段MM方法,得到了更好的稀疏性.最后在大规模数据集上,进行了实验对比,验证了所提算法的有效性.