非随机分布式大数据的稳健回归及其在非凸惩罚学习中的应用

摘要

大数据的分布式统计学习引起了人们的广泛关注.已有方法存在两个显著问题.首先,它们都要求大数据以随机的方式存储在不同机器上,而这一点在实际中很难满足.其次,它们大都基于最小二乘,对重尾误差和异常值很敏感.为了解决这些问题,本文提出一个稳健的分布式众数回归,并且将其应用到非凸惩罚变量选择中.新方法克服了已有方法所需要的非随机分布假定,而且理论结果也证实了这个论断.随机模拟和实际数据分析也展示了新方法的良好表现.