一种基于离线分析和在线预测结合的Hadoop+Spark交通预测系统及方法

摘要

本发明公开了一种基于离线分析和在线预测结合的Hadoop+Spark交通预测系统，包括Hadoop平台交通大数据的存储和管理、Spark系统交通实时数据分析和交通流预测和交通流预测应用。本发明通过研究Hadoop云平台的MapReduce分布式架构工作机理、分布式文件存储(Hadoop Distributed File System，HDFS)原理、以及Spark基于内存计算的工作流程，根据交通流预测的强实时性要求，建立基于Hadoop+Spark架构的综合性交通大数据处理平台。针对交通大数据的特点，优化平台，使得能够快速分析交通大数据，并研究基于大数据平台的交通数据预处理方法，为交通特性分析及交通流预测提供高质量的数据支撑。