非结构化车联网大数据存储与处理技术研究与应用

摘要

移动互联网、卫星定位、LBS等技术的迅速发展，推动了车联网行业的进步，但也为其带来了新的挑战。车联网云数据中心与综合服务平台汇聚了关于车辆位置、状态、速度、加速度、路网等非结构化的海量车联网数据，传统的数据分析技术已经无法满足当前规模的车联网数据处理的需求。因此，本文提出引进分布式计算技术和数据存储技术，构建云服务信息化平台，从而实现对车辆进行高效实时监控和调度管理。主要的贡献如下:
　　1、针对传统关系型数据库无法承载海量数据的存储，突破了单表存储的上限，且数据的查询和写入性能呈现指数级别地下降的问题，同时考虑车载终端采集的数据海量、高速、非结构化等特点，本文基于HBase与Redis缓存数据库设计和实现了车联网数据的存储和查询优化系统。具体地，利用非关系型、高性能、可扩展的分布式数据库HBase做存储，内存数据库Redis做数据缓存。此外，为了提高存储，查询效率，节省存储空间，分别从RowKey设计，服务器预分区，Redis缓存策略，集群参数调整等方面进行优化。实验表明，HBase数据写入和查询性能都有所提升，满足了非结构化车联网大数据存储需求。
　　2、针对传统车联网平台在处理海量数据时存在吞吐量小，实时性差的问题，本文设计了一种基于大数据流处理技术的实时分析系统。根据系统高并发接入以及实时性的需求，引入Storm实时计算系统进行数据的实时分析。利用Kafka消息队列的异步通信机制将各层之间解耦，采用HBase进行海量数据存储，满足车联网非结构化数据存储需求。进一步针对访问数据库开销大的问题，采用Redis缓存策略，提高查询效率。最后实验证明，该系统具有低延迟，高吞吐，可拓展性等特点，能够满足车辆网大数据流处理要求。
　　3、在车联网海量数据处理方面，本文重点关注车辆轨迹数据挖掘问题。主要围绕车辆轨迹数据预处理、停留点提取、轨迹聚类和位置服务等问题展开研究。具体地，在停留点提取的问题上，综合考虑轨迹数据的时间，速度，空间等多维属性，提出停留点预选区，结合改进后的K-Means算法对停留点预选区进行聚类，获取更为精准最终的停留点。在位置服务问题上，利用GeoHash算法将经纬度编码成字符串，根据字符串匹配或Zset数据集排序，实现位置快速查询。实验结果表明，该方法能够真实有效地描述轨迹数据的分布情况，为车联网平台的车辆调度管理提供有效的解决方案。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 非结构化数据存储

1．2．2 实时流处理

1．2．3 轨迹挖掘

1．3 论文研究内容

1．4 论文组织结构

第二章 相关技术与理论

2．1 HBase数据库

2．1．1 HBase整体结构

2．1．2 HBase特点

2．2 Storm流式计算框架

2．2．2 Storm特点

2．3 消息队列

2．3．1 消息队列简介

2．3．2 Kafka

2．4 数据库缓存

2．4．1 数据库缓存简介

2．4．2 Redis简介

第三章 非结构化车联网数据存储

3．1 系统架构

3．2 存储系统技术方案

3．2．2 技术方案

3．3 存储系统设计

3．3．1 表结构设计

3．3．2 RowKey设计

3．3．3 预分区设计

3．3．4 Redis缓存策略

3．4 存储系统实现

3．4．1 HBase集群搭建

3．4．2 Redis集群搭建

3．4．3 存储系统优化

3．5 本章总结

第四章 车联网数据实时分析

4．1 系统架构

4．2 实时分析系统设计

4．2．1 数据采集与解析

4．2．2 数据转发

4．2．3 实时分析层

4．2．4 存储层

4．3 实时分析系统实现

4．3．2 系统搭建与测试

4．3．3 电子围栏

4．3．4 无任务出行

4．3．5 Storm性能测试

4．4 本章总结

第五章 轨迹数据挖掘

5．1 停留点检测

5．1．1 轨迹预处理

5．1．2 停留点提取算法

5．1．3 基于停留点的热点推荐

5．1．4 停留点实验与测试

5．2 基于GeoHash算法的位置服务

5．2．1 GeoHash算法设计思路

5．2．2 实现位置服务

5．2．3 GeoHash算法实现与测试

5．3 本章总结

6．1 总结

6．2 未来工作展望

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果