一种用于大数据的改进的ItemBased推荐算法

摘要

为了改善传统ItemBased推荐算法在大数据环境下的数据稀疏性问题和可扩展性问题,论文提出了一种基于Hadoop平台的ItemBased推荐算法.通过Pearson相关系数公式获取数据项之间的相关度,并根据数据集中的数据稀疏程度赋予一定的权值.在此基础上,将该算法在Hadoop平台上分布式并行化,在保证算法的平均绝对误差情况下,提升集群的运算速度.实验表明,改进的算法能够改善推荐质量、提高推荐效率,并且在大数据环境下拥有良好的可扩展性.