基于R和Hadoop的大规模数据主成分分析

摘要

R软件具有强大的统计分析功能,Hadoop平台能够存储和处理TB级别以上的大规模数据,将R与Hadoop相结合,在目前阶段是一种比较好的处理分析大规模数据的方案.本文利用RHadoop项目中的rhdfs和rmr2两个包,以及MapReduce编程模型,设计出能够针对大规模数据进行主成分分析的函数,并对纽约股票市场部分股票价格数据进行主成分分析,以验证其可行性.