基于Hadoop的海量车载物联网数据处理方法研究

摘要

随着物联网时代的来临，越来越多的终端被各行各业开发使用。车载物联网作为未来城市交通的核心，也得到了的发展。汽车作为该网络中的外形主体，其本质为车内安装的车载终端；这些终端充斥在城市的交通之中，作为元节点组成了一个巨大的网络；而这些终端所产生的海量数据如何被有效的利用起来则成为当今车载物联网系统急需解决的核心问题。在这种需求前提下，本文提出使用Hadoop分布式平台来存储海量车载物联网数据，并在其框架下完成对数据的分析统计工作。
　　本文首先从分析车载物联网的基础数据结构出发，提出使用HDFS、HBase、Hive组合的存储方案，解决了车载物联网数据高维度、高并发、部分稀疏的存储问题。在此基础上，又深入探讨了对车载物联网数据的分析和挖掘，提出了使用Hive QL和MapReduce模型两种方法来应对不同规模的数据分析，设计实现了部分数据统计，驾驶员行为分析，以及在A-ECLAT算法下状态量关联规则挖掘等一系列数据分析过程。
　　本文最后，按照提出的框架模型，搭建了整体的Hadoop框架，整合了相关组件，并对一些为提高实际存储，分析性能的参数进行设置。从实验数据结果和实验性能上证明了本文所提出的车载物联网数据处理方法的可实现性和有效性。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 本文的主要研究内容

1.4 论文结构

第2章 Hadoop平台及相关技术研究

2.1 平台概述

2.2 Hadoop架构及核心组件分析

2.3 数据管理组件分析

2.4 本章小结

第3章 海量车载物联网数据存储方法设计

3.1 车载物联网数据及其规模分析

3.2 车载物联网数据结构设计

3.3 车载物联网数据存储设计

3.4 本章小结

第4章 海量车载物联网数据分析方法设计

4.1 基于Hive QL的数据统计

4.2 MapReduce数据分析模型

4.3 本章小结

第5章 方案测试与结果分析

5.1 测试目的

5.2 测试平台概述

5.3 测试内容及结果分析

5.4 本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢