基于分布式计算框架的机器学习系统分析

摘要

针对机器学习对大数据处理的消耗大量存储空间和时间的问题,提出利用对数据分区存储和机器学习对分区数据并行处理的方法,对分布式计算框架的机器学习系统框架和矩阵运算对数据处理进行研究,并分析机器学习的模型和数据集分布式处理的方法,实验仿真结果表明,通过对大数据集进行分布式存储和并行计算,提高了机器学习的效率和对大数据的处理能力.