一种基于分布式日志的最大频繁序列模式挖掘方法

摘要

本发明涉及一种基于分布式日志的最大频繁序列模式挖掘方法，基于Spark分布式计算框架，提取局部最大频繁序列；利用前缀投影来划分搜索空间，递归提取出局部最大频繁序列；其中，利用频繁1序列删除日志序列数据集里面非频繁项，降低扫描数据库的规模，同时利用频繁序列模式与最大频繁序列模式之间对应关系减少候选序列数；提取全局最大频繁序列；将局部最大频繁序列按不同长度保存，相邻长度的序列模式进行超集检测，判断是否存在超集关系；如果存在，删除冗余序列，提取出全局最大频繁序列。本发明提出的一种基于分布式日志的最大频繁序列模式挖掘方法，具有更高效率，并支持更大规模事件序列数据的挖掘。