基于MongoDB与Hadoop MapReduce的数据分析系统性能改进研究

摘要

随着云计算、物联网等现代信息技术的高速发展,各行各业的数据急剧增长,特别是价值密度较低的非结构化数据的迅速增长,急需要一种高性能分布式系统来挖掘海量数据里所蕴藏的价值。论述了通过MongoDB-Connector for Hadoop连接器构建的基于MongoDB与Hadoop MapReduce的数据分析平台的数据传输机制,并从Chunk size设置、分片方式、MongoDB分片集群部署、CAP、混合分区、有向无环图、计算本地化及设置预测机制等方面提出了改进数据分析系统的措施,最后,对这些措施在舆情分析和超市顾客购买行为分析等项目实践中的应用效果进行了分析,论证了这些措施在改进性能中的可行性。研究结果可供大数据相关领域的人员参考。