一种基于MongoDB和Hadoop的海量非结构化物联网数据处理方案

摘要

随着物联网数据种类的增多和数据规模的增大,对物联网数据的存储和计算提出了新的挑战,为了应对海量非结构化物联网数据的存储和计算要求,提出了一种NoSQL数据库技术与MapReduce编程框架相结合的方案.使用典型的NoSQL数据库MongoDB作为主数据库来存储海量非结构化的物联网数据,使用Hadoop MapReduce作为对物联网数据分析处理的计算框架.通过对MongoDB集群和Hadoop集群的重叠部署,降低了计算时数据传输的开销,构建了一套高可用、高性能的物联网大数据处理平台.通过使用该方案对海量非结构化物联网数据的处理分析实验验证了该方案的高可用性及高效性.