基于Spark的并行化出租车轨迹热点区域提取与分析

摘要

从出租车GPS轨迹数据中可挖掘出丰富的居民出行规律信息，但数据量的不断增加，对数据挖掘的准确性和效率提出了新的要求。本文以成都市出租车GPS轨迹数据为研究对象，首先对原始数据进行失真数据剔除、多余字段删除和部分时段数据过滤三方面的预处理，其次进行地图匹配，最后利用Spark大数据处理平台，实现K-Means||算法，分为工作日和休息日的不同时段进行挖掘分析，得到成都市居民出行热点区域及其时空分布特征，并将单机K-Means算法和K-Means||算法的性能进行对比分析，结果表明：相比于单机，K-Means||算法在准确性和时间效率上具有优越性。