一种数据快速清洗导入Hive的方法

摘要

本发明公开了一种数据快速清洗导入Hive的方法，在数据序列化和反序列化过程中按行读取原始数据，并按照“数据校验规则”判断该条数据是否合法，对于不合法数据需要在该条数据后加上新的分隔符“^|”和错误标记“EE”，这样通过对错误数据打标记“EE”的方式实现了正确数据和错误数据的区分。根据区分出的正确和错误数据进行再次归类，把原始数据先按照日期进行归类，然后再在日期下进行接口ID区分归类，组成最终对外提供的清洗好的数据。本发明通过对原始数据进行快速自动标记清洗，省去了后续数据使用时的检验步骤，提高了数据处理效率。