一种基于云计算框架的交通大数据清洗方法

摘要

一种基于云计算框架的交通大数据清洗方法，首先，扫描整个数据源，若存在缺失数据，根据相同路段数据所在维的邻近二次均值填充；然后，将具有相似数据变化规律的数据聚成一类，获得该路段数据的聚类中心；最后，新数据匹配距离最小的聚类中心编号，进行异常数据的更新或剔除。本发明在云计算(Hadoop的Map/Reduce)框架下，针对交通数据高维、海量、数据更新快的特点，利用集群系统的并行计算能力来解决面临的海量交通数据的快速清洗问题，能够快速且有效的挖掘交通数据相似性特征，用于清洗异常数据。