一种基于Spark的极限学习机并行化计算方法

摘要

本发明公开了一种基于大数据处理平台Spark的极限学习机并行化计算方法，适用于大数据处理平台Spark机器学习领域使用。首先将样本数据集按照每个样本逐行存储于分布式文件系统，并对样本集进行预处理得到特征矩阵以及类别标签向量T；接下来，按照样本特征数以及隐节点数目随机初始化隐层节点参数：权重矩阵ω以及隐层偏差向量b；之后利用矩阵乘并行化方案求解得到隐层输出矩阵H；最后利用矩阵乘并行化方案以及矩阵单机求逆运算得到输出权重向量β的唯一最优解