Spark框架下的稀疏多元逻辑回归模型对文本情感分类的方法

摘要

本发明提供了一种Spark框架下的稀疏多元逻辑回归模型对文本情感分类的方法，包括：将训练样本数据集存储于HDFS中；Spark平台从HDFS中读取数据生成RDD；Spark平台将数据的预处理任务分为多个任务组，对每个任务组中存储有读取数据的RDD进行预处理，将预处理的结果存入HDFS中；训练稀疏多元逻辑回归模型，经过求解得到稀疏多元逻辑回归分类器；将所述稀疏多元逻辑回归分类器输出到HDFS中；从HDFS中读取经过预处理的待预测文本的数据和训练得到的稀疏多元逻辑回归分类器；获取所述待预测文本的情感分类。本发明在Spark计算框架下使用ADMM并行方法求解优化问题，使得模型训练更加快速，更适合大数据场景下的文本情感分类；有效提升了分类的效率与精度。