基于Spark的大数据分析系统设计和实现

摘要

为解决传统的数据分析方法存在低效率、弱扩展性及维护成本高等问题,结合大数据技术设计实现了一种基于Spark的大数据分析系统,以此满足用户对数据分析的需求。该系统的设计主要由分层架构组成,分为应用层、服务层、存储层以及基础层等,并在满足用户对数据的可靠、高效的分析需求时,还有效降低了系统的后期维护成本,提高了系统的可扩展性。经测试结果证明,该系统的可行性。