基于K均值聚类的大数据频繁项集挖掘研究

摘要

针对传统大数据项集挖掘方法存在占用内存较多、挖掘效率较低的问题,提出新的基于K均值聚类的大数据频繁项集挖掘方法.通过对K均值聚类的区间标度变量、二元变量等相似度量的分析来表示样本之间的相似度与离散度,根据样本数据的不同属性选择对应矩阵类型;利用频繁项集自身的约束性质压缩空间,缩小挖掘范围;在K均值聚类基础上,采用fg-growth算法将目标数据高度压缩在fp-tree结构中,并命令原始聚类质心和数量,将其作为K均值的输入,实现大数据频繁项集挖掘.仿真结果证明,研究方法有效降低了挖掘计算复杂度,可保证在内存开销基本不变的情况下高效率挖掘大数据频繁项集.