一种基于动态调度的数据挖掘并行算法

摘要

数据挖掘并行算法,应该以不牺牲挖掘效率和挖掘质量为前提.通过对数据挖掘原理和并行化的深入研究,在考虑到挖掘效率,负载平衡,运行环境,节点状态等多方面因素的基础上,提出了一种新的基于动态调度的数据挖掘并行算法,该算法以规模较小的子数据集为并行挖掘单元,各个并行单元之间采用全局通讯模式—Master-Worker模式来进行互相通信,降低了并行挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间,同时该算法对不断变化的节点状态适应能力强.最后,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性.该算法不但保证了挖掘结果的正确性,而且具有较高的加速比.