西安电子科技大学基于Spark技术的经济动态管理系统的研究与实现

摘要

大数据的产生推动了科技的发展，使得财务系统的有了新的契机，同时也使得应用系统在数据存储和分析方面有了更高的要求，所以研究大数据相关存储及分析处理技术刻不容缓，在此背景下，逐步出现了Hadoop、Spark等大数据技术。 本文主要研究如何将Saprk等大数据技术融入到传统的企业财务管理系统，最终构建出面向用户、面向管理、面向分析的新型财务管理类系统，解决当前企业财务数据冗余杂乱、数量多源采集、数据共享能力差、数据查询缓慢、分析困难等多个问题。此外，本文建设的基于Spark技术的经济动态管理系统大数据处理模块中大表连接查询的操作较为频繁，而在Spark中，由于大量不符合连接条件的数据进入了Shuffle阶段，导致频繁的I/O操作，使得Join操作性能较低，所以本文将针对Spark大表间等值连接的进行研究与优化。 本文具体的研究路线分为三步，首先依托已经成熟的Spring MVC框架以及Web相关技术构建经济动态管理系统，完成传统的、数据量较小的关系型数据的处理分析需求。 之后，加入Hadoop、Spark等大数据技术，完成经济动态管理系统中批量数据处理以及实时数据分析的需求。 最后，提出一种利用BloomFilter预先过滤大部分不符合连接条件的数据以降低进入到Shuffle阶段的数据的方式来优化Spark自带的Join算子，提升连接效率。

目录

第一个书签之前