一种基于python脚本的分布式大数据清洗方法

摘要

本发明公开了一种基于python脚本的分布式大数据清洗方法，该方法包括如下步骤，首先对待清洗的数据的加载，再对加载后的待清洗的数据进行分片操作，对待清洗的数据进行分布式调度以及执行操作，对待清洗的数据进行请求以及对清洗结果进行回填，其中，步骤一具体分为如下步骤，数据加载，首先从HBase列存数据库加载所需要进行清洗的数据，制定清洗策略，设置数据清洗策略。本发明基于大数据技术，基于HBase列存储数据库做数据清洗，解决了海量数据清洗问题，采用python引擎及脚本做数据清洗，解决了传统SQL清洗规则少的问题和jar包清洗静态编码的问题，基于Spark的分布式计算引擎，并行执行脚本，解决了大数据清洗算力不足的问题。