基于云计算平台的并行数据挖掘方法及系统

摘要

本发明涉及一种基于云计算平台的并行数据挖掘方法，云计算平台具有映射-化简框架，方法包括：分布式节点对分布式SAAS应用数据库建立事实联系表；分布式节点根据事实联系表对每个单独维表进行数据抽取，找出每个单独维表的频繁项集；和/或根据事实联系表找出跨维表的频繁项集；所有分布式节点将找到的频繁项集作为中间文件输入到化简任务节点；化简任务节点合并接收到的中间文件，并输出合并后的频繁项集作为数据挖掘结果。本发明基于Map-Reduce框架将云计算中的大规模数据集的挖掘过程在多个分布式节点中进行，最后通过任务化简节点的频繁项集合并而输出最终的数据挖掘结果，从而实现了海量数据的高效挖掘，大大提高了数据挖掘的效率。