基于Spark平台的工业时序数据相关性分析方法

摘要

本发明提供了基于Spark平台的工业时序数据相关性分析方法，属于大数据挖掘技术领域；所要解决的技术问题为：提供基于Spark平台的工业时序数据相关性分析方法的改进；解决该技术问题采用的技术方案为：包括如下步骤：将原始数据集转化为RDD并分到不同组中；每个组采用MS‑Ecalt算法得到该组的频繁部分周期模式集，将不同的挖掘结果合并得到增量结果incrementalResult（m,itemsets,ps,sup,weight,dr,apr）并通过PW‑MinLSH计算各模式间的相关性，得到更新后的相关部分周期模式集RDD，通过所设定的阈值筛选出满足要求的相关部分周期模式集，挖掘过程结束；本发明应用于工业时序数据挖掘。