基于改进的Map/Reduce及模式空间划分的数据挖掘

摘要

为通过Map/Reduce基于键/值对以处理数据集与模式集的多对多的对应关系的方式实现数据挖掘，解决在较复杂的类型的模式的挖掘中存在的由组合爆炸导致的模式集过大的问题，提出了通过模式空间划分实现将处理数据集与模式集的对应关系的问题转化为处理数据集与子模式集的集合的对应关系的问题的方法，并对Map/Reduce集群的调度机制及组织、处理键/值对的方式进行了改进，增强了Map/Reduce执行模式挖掘任务的能力。在Map/Reduce集群上采用该思路实现某些较复杂类型的模式的挖掘算法时的并行度高于Map/Reduce化的传统算法。