大规模工业数据压缩存储方法、系统及介质

摘要

本发明提供了一种大规模工业数据压缩存储方法、系统及介质，包括：步骤1：根据数据源类型配置不同的数据采集系统，通过界面化操作对数据采集系统采集的数据进行提取；步骤2：定义转化链，通过数据清洗插件将提取的不同类型的数据的格式临时转化成Avro格式；步骤3：以GPL协议压缩Avro格式的数据，压缩格式为snappy，并在分布式文件系统中创建以parquet为存储格式的数据集，对压缩后的数据进行存储。本发明能够对任何类型数据定义转化链和压缩和存储格式，大大提高计算平台数据处理速度和数据压缩比率。