基于模式特征保持的数据流降载方法

摘要

在数据流分析中,相比于单个数据点或元组,数据流模式具有更重要的实际意义和领域价值,模式的多样性反映了数据流的特征。传统的降载方法一般是对点或者元组进行降载,对数据点的删除破坏了模式的完整性,不利于数据流特征的保持。提出了以模式为粒度的数据流降载方法,构建了高效的数据存储结构,目标在于删除过载数据的同时尽可能地保持数据流的特征。该方法分为4部分:首先经模式提取操作得到一系列的数据流子序列;然后与已有模式进行匹配并对数据模型进行更新;同时,持续监控系统资源,以判定是否需要降载;执行降载时,根据模式频度计算筛选系数,以此选择数据进行删除。通过实验可以验证,该降载方法能够有效地保留模式的多样性,保持数据流的特征。