一种基于独立概率完全加权的并行关联规则挖掘方法

摘要

本发明提出了一种基于独立概率完全加权的并行关联规则挖掘方法。该方法采用Spark运行框架，通过对项集进行依赖数据集的独立概率计算从而获得该项集权值的方法，对数据集进行加权关联规则挖掘。首先通过用户给定的数据集地址读取数据集并转换成垂直数据形式，对转换后的垂直数据库进行读取后计算项的独立概率权值，并过滤得到加权频繁1‑项集。对加权频繁1‑项集求交集，计算候选2‑项集的平均权值后过滤出加权频繁2‑项集。迭代地对加权频繁(K‑1)‑项集使用前缀划分方法得到加权频繁K‑项集。以上整个过程均使用位图结构对加权频繁项集的TidSet进行存储以加快求交集速度。数据预处理及前缀划分原则使本发明运行效率更快，独立概率完全加权的方法可以使本发明发掘出更多隐藏在事务集中的知识及规则。