基于云架构的交通流量数据分析平台

摘要

城市交通的快速发展，交通流量数据每天以PB级或者更高的数量级增加，如何高效地存储这些数据并从中挖掘出业务价值成为本文研究的关键，Hadoop作为大数据的处理工具脱颖而出，成为大数据时代处理海量数据的主流平台之一。
　　本文使用大数据平台分析交通数据，做了以下几个方面的工作：
　　1．研究交通流量数据，根据业务需求设计了三个应用：“指定车子是否被套牌”、“指定车子是否被跟踪”以及“两点之间的最优路径”；
　　2．结合Hadoop2.2.0版本的分布式平台，设计上述应用的算法，并通过Map/Reduce实现出来，包括存储分布和计算分布；
　　3．针对实时性强的应用采用Twitter公司的Storm流式处理平台，设计应用的算法，并用java设计topology；
　　4．搭建集群和实验平台，进行实验分析，结果表明基于Hadoop以及Storm的交通流量数据分析平台具有高效的存储和计算能力，验证了该平台的可行性；

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪论

1.1课题背景及意义

1.2国内外研究状况

1.3本文的主要工作

1.4本文的组织结构

第二章 相关技术基础

2.1 Hadoop概述

2.2 Storm概述

2.3本章小结

第三章 交通流量数据分析平台的需求分析与设计

3.1系统需求分析

3.2系统整体设计

3.3本章小结

第四章 交通流量数据分析平台的实现

4.1分布式文件存储层的实现

4.2业务逻辑层的实现

4.3用户请求接口层的实现

4.4对指定车牌是否被套牌应用的实时处理

4.5本章小结

第五章 实验结果和分析

5.1实验环境

5.2实验与分析

5.3本章小结

第六章 总结与展望

6.1总结

6.2展望

参考文献

附录1 攻读硕士学位期间参加的科研项目

致谢