一种大数据处理系统的数据预处理守护方法

摘要

本发明涉及一种大数据处理系统的数据预处理守护方法，属于大数据处理技术领域，解决了现有大数据预处理方法造成的后续数据处理精度低、效率低以及界面无法展示全部数据点的问题。方法包括：对数据进行过滤、时间对齐处理，得到过滤对齐后的数据；对过滤对齐后的数据进行分级采样，形成多级采样数据；对采样失败的数据，重新进行采样，获取多级采样数据；对所述多级采样数据进行压缩，获得压缩后的多级采样数据；创建数据导入进程，将压缩后的多级采样数据批量导入数据库中。本发明的数据预处理方法能够保证数据的完整性，提高后续大数据处理的处理精度和效率，同时能够不失真的显示多级采样数据，能够广泛应用于大数据处理领域。