针对分布式特性对大数据进行预处理的系统及其预处理方法

摘要

本发明公开了一种针对分布式特性对大数据进行预处理的系统，包括：预处理适配器，为原始数据预处理提供了入口，分为自动化预处理适配器和半自动化预处理适配器；数据处理模块，将预处理适配器发送来的数据按照指定规则和统一标准的数据格式进行数据块的划分，划分后的数据块分布到不同的存储节点上，相互具有关联的数据划分在同一数据块中，且数据块之间不具备关联性；分布式存储模块，设置多个存储节点，用于存储数据处理模块发送的数据块。本发明还提供了一种针对分布式特性对大数据进行预处理的方法。本发明能大幅提升了大数据分布式计算和挖掘分析的准确度和效率。