基于手机信令的数据分析引擎设计与实现

摘要

本文在手机信令数据的基础上，对清洗方法进行研究，进而分析城市居民的出行方式、城市职住关系以及人流变化情况，并设计实现了手机信令数据分析引擎。主要工作内容如下： 首先，本文对手机信令数据的特征进行分析并对手机信令数据的清洗方法进行研究。针对手机信令数据中存在的无效数据、乒乓数据以及漂移数据，对产生的原因进行分析并设计相应的处理算法。为提高驻点提取精度，采用基于聚类的离群点检测算法（Clustering-based and LOF Outlier Detection Method,CLOF）对噪声数据进行清洗。 其次，本文基于手机信令数据对居民出行方式、城市职住关系以及人流变化情况进行分析。在居民出行方面，本文采用基于DBSCAN的时空驻点提取算法对用户进行驻点提取，进而挖掘用户的移动行为模式信息；在城市职住关系方面，本文挖掘手机用户的住宅地和工作地，获取城市职住分布，并结合芜湖市手机信令数据，对芜湖市四区四县职住关系和通勤距离进行分析；在人流变化方面，本文基于芜湖市手机信令数据，对芜湖市各街区信息人流进行统计，并对热点区域进行人流分析。 最后，本文设计并实现了手机信令数据分析引擎。在对手机信令数据分析引擎进行需求分析的基础上，给出引擎框架并将引擎划分为六个层级。随后，基于Hadoop和Spark提供的MapReduce编程模型对各子层级数据挖掘算法进行分布式实现。本文对各模块功能API进行设计，采用Flask框架搭建服务器，提供API接口。并在软硬件平台测试环境下，对手机信令数据分析引擎进行功能测试和引擎速度测试，验证引擎的功能和性能要求。

目录

第一个书签之前