一种分布式数据流相关性分析的有效方法

摘要

在分布式数据流中,数据流之间相关性分析可以揭示被监测对象之间存在的内在联系.提出了一个基于基窗口的相关系数的计算方法,该方法先将计算相关系数的公式变形为由适合基窗口聚集的因子组成,然后用基于基窗口的方法聚集每个因子.基于基窗口的聚集方法是将窗口中的数据项划分成一系列基窗口并分别对基窗口进行计算.当窗口随机滑动后,新窗口中数据项的聚集可以部分地利用上一次窗口聚集的结果.模拟实验表明,与每次对窗口中所有数据进行聚集相比,基于基窗口的方法可以有效地降低数据流相关系数的计算时间.