一种大数据技术处理海量GPS数据系统

摘要

本发明公开了一种大数据技术处理海量GPS数据系统，包括：数据采集层、数据预处理层，数据存储层，数据处理层，所述数据采集层包括日志文件信息采集模块，所述日志文件信息采集模块将采集的信息缓存进Kafk分布式缓存区，所述数据预处理层采用Storm从所述Kafk分布式缓存区接收数据，进行数据清洗、数据加工、数据汇总，然后对数据进行实时统计，所述数据存储层将所述数据预处理层处理后的数据，首先缓存到非结构化储存区Redis中，每隔一定得时间间隔，将数据批量转存到MongoDB中，随后所述数据处理层利用线性回归算法和k‑means算法对所述数据存储层存储的数据进行挖掘并进行离线计算、实时计算，所述数据分析层是整理后的数据可视化及多维分析，该基于大数据技术处理海量GPS数据系统可以自动采集高可用的GPS数据，实时分析、处理大数据量、大并发量的GPS数据，并且分布式部署，防止数据丢失，利用算法进行知识挖掘，发掘潜在的价值。