基于云计算的大规模网页日志挖掘研究

摘要

互联网上的数据规模大、种类多、变化快，而且越来越复杂。通过数据挖掘和分析，可以获取有潜在价值的信息。但是，传统的数据挖掘系统在数据存储和计算性能上存在瓶颈。通过使用云计算技术，设计了一个基于Hadoop架构的网页日志数据挖掘和分析平台来解决这个问题。同时，为了提高挖掘效率，为大规模网页日志挖掘实现了Apriori算法的并行化，并使用该平台验证了该行算法的效率。