基于Spark+Flask的大数据可视化系统设计与实现

摘要

大数据时代,传统的数据离线处理手段与工具已经不适应行业与技术的发展要求,本文以大数据为基础,借助于Spark大数据实时流处理引擎与Flask应用框架,使用Python语言编程实现大数据的爬取采集、清洗与存储、建模分析、数据挖掘等功能,探索并发现大数据背后所隐藏的行为模式和内在规律,最后调用可视化库PyEcharts对数据结果进行相应图表的渲染展示。