一种基于大数据分布式编程框架的大数据预统系统及方法

摘要

本发明属于数据处理领域，尤其涉及一种基于大数据分布式编程框架的大数据预统系统及方法，旨在解决现有的大数据预统系统处理效率低的问题。本发明对Spark Streaming进行组件功能开发扩充，使得SQL语句解析后可以在Spark Streaming中运行，并结合了Spark Streaming的对数据的批处理和数据流处理优势，最终采用了Spark Streaming技术和SQL语句相结合的方式对大数据进行预统处理，使得整个系统对大数据的处理达到非常高的效率。