云计算环境下协同过滤推荐算法研究

摘要

随着网络信息化服务的发展，电子商务已经成为商业活动中重要的组成部分。通过搜索技术，用户往往能从种类繁多的商品中找到满足要求的商品。但是，数据库中存在着大量用户不知道的商品项目，这些项目却可能是用户潜在感兴趣的商品。如何更加精确地将商品推荐给用户，这一问题受到了电商的重视和关注。因此，推荐技术成为了目前广泛研究的热点问题。数据挖掘的目的在于知识发现，将数据挖掘技术应用到推荐技术之中将更好地发现潜在的用户兴趣。本文主要研究云计算环境下协同过滤推荐算法，将协同过滤推荐技术迁移部署到云计算环境中，利用集群的优势减少推荐时间。设计新的推荐算法提高推荐精度、解决冷启动问题，并且随着数据量的不断增加获得高可扩展性。云计算环境下推荐算法的研究有着重要的应用价值。数据存储在云之中，能够方便管理与备份，降低数据丢失风险;利用集群优势提高推荐系统的响应速度，吸引用户浏览商品;提高推荐精度，产生正确推荐，最终提高商品销售量。本文的主要研究成果如下: 1.提出了基于项目的并行协同过滤推荐算法PIB-CF。该算法通过Map/Reduce编程模型，设计高效的并行算法，将推荐中计算密集过程分散到各个Hadoop数据处理节点。利用并行计算的优势，提高推荐速度。实验结果表明PIB-CF算法比已有的并行算法运行时间更少，可扩展性好。 2.提出了基于协同过滤与项目内容的混合推荐算法HR-CFIC。基于项目协同过滤算法通过发掘项目之间的购买模式，推荐相关联的项目。基于项目内容的推荐通过项目的内容属性，计算得到内容相似的项目。这种外在固有属性联系反映了项目间的属性相似性。HR-CFIC算法结合两种推荐的优点。实验结果表明HR-CFIC算法具有较高的推荐精度，可以有效地解决冷启动问题。

目录

声明

摘要

第一章 绪论

1．1 研究背景和意义

1．2 国内外研究现状及存在问题

1．2．1 国内外研究现状

1．2．2 存在问题

1．3 研究内容与论文组织框架

1．3．1 研究内容

1．3．2 论文组织框架

第二章 云计算与推荐技术

2．1 云计算概述

2．1．1 云计算介绍

2．1．2 云平台下并行处理工具

2．2 Apache Hadoop实现技术

2．2．1 HDFS分布式文件系统

2．2．2 MapReduce编程模型

2．2．3 HBase数据库

2．3 Storm并行流式处理技术

2．4 推荐系统介绍

2．4．1 基于内容的推荐

2．4．2 基于协同过滤的推荐

2．4．3 基于各种技术的混合推荐

2．5 基于协同过滤的推荐技术

2．5．1 基于记忆推荐

2．5．2 基于模型的推荐

2．5．3 云计算环境下协同过滤推荐技术的实现方案

2．6 本章小结

第三章 基于项目的并行协同过滤推荐算法的设计与实现

3．1 引言

3．2 基于项目的协同过滤推荐算法

3．3 基于项目的协同过滤推荐算法的并行化

3．4 数据集的选取与度量方法

3．4．1 实验平台与数据集

3．4．2 度量方法

3．5 实验结果及分析

3．6 本章小结

第四章 基于项目协同过滤与基于项目内容的混合推荐

4．1 引言

4．2 混合推荐算法与并行化

4．2．1 混合推荐算法

4．2．2 混合推荐并行化

4．3 数据集的选取与度量方法

4．3．1 实验平台与数据集

4．3．2 度量方法

4．4 实验结果及分析

4．5 本章小结

第五章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

附录 攻读硕士学位期间发表论文情况