一类基于梯度下降的高效分布式计算方法的应用研究

摘要

针对数据集分散在不同机器的情况,本文对高维稀疏线性回归模型提出了一种通信有效的分布式学习方法,主要解决了KKT系统中的l_(0)正则化最小二乘问题.每一轮牛顿迭代中,在每个子块上通过对KKT系统中l_(0)正则化方法改进提高计算速度和估计的精度.对于分布存储的子块,我们的方法通过传递梯度向量从而节约数据传输的成本.实验数据表明,我们的算法可以有效地进行分布式计算,相比常用的Lasso和SCAD惩罚方法精度更高并且特征筛选可信度更高.