高可伸缩性海量数据挖掘技术

摘要

挖掘海量数据从中发现有用的信息与知识是人们面临的重大挑战,而目前大多数挖掘算法对于海量数据的可伸缩性较差.针对频繁模式与关联规则挖掘问题,提出了数据集削减法,设计了相应的缓冲管理模型,将宽度与深度挖掘相结合,用于扩展Apriori和OpportuneProject两个算法.实验表明,扩展后的算法不仅可伸缩性大大提高,而且时间效率的提高也非常显著.