一种数据挖掘算法在Hadoop集群上的研究与实现

摘要

近年来,采集和处理大容量数据,从大量数据中提取出有价值数据的技术在不断提升。用户对庞大的数据迅速获取、发掘和分析处理,洞察有价值的数据、获得商业价值、帮助用户识别、实时决策、预测趋势并做出响应是数据挖掘的本质。根据用户的网络行为确定用户的品位与爱好,推荐给用户可能感兴趣的物品、新闻或好友,向企业提供实时状态更新的依据等,是数据挖掘的目标。协同过滤算法是数据挖掘的案例,也是最为热门的机器学习算法。阐述了基于物品的协同过滤算法在虚拟机Hadoop集群上的实现,探讨大数据挖掘技术的实现过程。