城市交通轨迹大数据的语义分析和可视化

摘要

近年来，随着“数字城市”，“智慧城市”等概念的兴起，基于GPS定位采样的交通轨迹数据研究正成为越来越热门的课题。交通轨迹数据具有很强的时空属性，同时兼有大数据的特征。对轨迹数据的高效组织和合理展示是城市交通研究课题中的一大难点。本文开发了一套架构于Hadoop生态之上的分布式文件系统，用来存储海量交通数据。并使用Hive数据仓库管理海量交通轨迹数据。针对交通轨迹数据规模大的特点，本文采用了视图，索引等技术，优化数据库检索语句，降低检索开销。同时，按照“天”和“小时”这两个时间节点对交通轨迹数据分区，优化存储结构，减少全盘扫描操作的频率。为了减小海量数据的存储规模，本文还尝试了基于轨迹数据的压缩技术。此外，本文另辟蹊径，提出了一种基于语义分析处理轨迹数据信息的方法，通过对城市热点区块间联系的研究，分析交通轨迹数据背后隐含的语义信息。该方法基于词向量模型，由深度学习框架TensorFlow编程实现。在可视化环节，通过研究城市热点区块的交通流量情况，分析整个城市的交通模式，并根据车辆细轨迹数据信息，对城市交通管理提出一些建议。
　　最后，根据本文研究内容，实现了B/S架构的交通轨迹语义分析和可视化系统原型。该原型系统集成了从轨迹数据的采集、预处理、轨迹数据分析、可视化展示等一系列操作的自动化批处理流程。

目录

声明

摘要

图目录

表目录

第1章 绪论

1．1 课题背景

1．2 国内外研究现状

1．3 论文的研究工作

1．4 论文的研究目标和组织架构

1．5 本章小结

第2章 相关技术介绍

2．1 基于统计的语义分析模型

2．1．1 潜在语义分析

2．1．2 概率潜在语义分析

2．1．3 基于LDA的主题模型

2．2 基于深度学习方法的语义分析

2．2．1 深度学习方法

2．2．2 轨迹数据的语义分析

2．3 基于Hadoop技术的大数据处理

2．3．1 分布式文件存储HDFS

2．3．2 分布计算框架MapReduce

2．4 时空轨迹数据的可视化技术

2．4．1 地理空间的热力分布图

2．4．2 地理空间的Choropleth图

2．4．3 地理空间的Voronoi图

2．5 本章小结

第3章 大规模轨迹数据的分布式处理及压缩技术

3．1 原始采样轨迹数据

3．2 大规模轨迹数据的预处理

3．2．1 原始轨迹信息的提取

3．2．2 轨迹数据的清理

3．3 基于Hive数据仓库的城市轨迹数据存储与管理

3．3．1 数据仓库Hive

3．3．2 城市轨迹数据的存储方案

3．3．3 数据仓库Hive的分区

3．4 分布式文件系统中城市轨迹数据的压缩及存储

3．4．1 基于LZO算法的城市轨迹压缩方法

3．4．2 基于SequenceFile的存储方案

3．5 本章小结

第4章 交通轨迹数据的语义分析

4．1 词向量模型

4．1．1 自然语言统计模型

4．1．2 词向量的表示

4．2 基于预测的词向量语言模型

4．2．1 轨迹数据的预测模型

4．2．2 基于Skip-Gram的轨迹训练模型

4．3 基于TensorFlow框架的轨迹数据训练流程

4．3．1 深度学习框架TensorFlow

4．3．2 轨迹数据训练流程

4．4 轨迹语义的主题分布

4．4．1 城市区块的着色方案

4．4．2 城市轨迹的语义分析

4．5 基于t-SNE的降维技术

4．6 本章小结

第5章 大规模城市交通轨迹数据的可视化

5．1 基于经纬度信息的城市区块的划分

5．1．1 城市热点区块的选取

5．1．2 基于拓扑结构的热点区块合并

5．2 城市关键区块间的流量

5．3 城市关键区块间的细轨迹

5．4 城市交通案例研究

5．4．1 基于一日轨迹数据的交通规律分析

5．4．2 基于一周轨迹数据的交通规律分析

5．5 基于可视化展示结果的建议

5．6 本章小结

第6章 系统架构方案

6．1 实验环境

6．2 系统实现方案

6．2．1 前端展示平台

6．2．2 后台处理平台

6．3 系统前端界面展示

6．4 本章小结

第7章 总结与展望

7．1 论文小结

7．2 未来工作展望

参考文献

攻读硕士学位期间主要的研究成果

致谢