基于两阶段行为模式的协同过滤推荐算法研究

摘要

由于互联网中信息爆炸式的增长，导致用户很难直接发现有用的信息。为此，根据用户的历史行为数据进行建模的推荐系统吸引了学者的广泛关注，可以一定程度上缓解信息过载的问题。各种类型的推荐算法中，协同过滤推荐算法以其可理解性强、无需语义分析等特点成为目前使用最广泛的推荐算法之一。但是，随着数据规模的增大，协同过滤算法面临着数据稀疏，实时性以及准确性和多样性的权衡等方面的问题。另外，与之前的评分预测相比，Top-N推荐形式更符合当前协同过滤推荐算法的需求。因此，本文主要针对协同过滤算法存在的部分问题，研究协同过滤算法在Top-N的推荐算法。本文主要的研究工作是:
　　(1)提出了基于两步预测的二分网络Top-N推荐算法。已有的基于二分网络的协同过滤推荐算法只考虑了用户选择，忽略了用户评分。利用本文的用户行为中存在的两阶段的行为，提出了基于两步预测的二分网络Top-N推荐算法。该算法先利用NBI算法预测用户对产品进行评分的概率，然后利用两步预测将其与协同过滤算法结合进行推荐。在MoiveLens数据集上的实验表明，该算法提高了推荐的准确度。
　　(2)提出了一种基于属性比重相似性的两步预测Top-N推荐算法。在处理极端不均匀和稀疏的用户评分数据时，传统的协同过滤推荐算法不能很好的进行相似性计算。为此，考虑用户对某一类的产品更感兴趣和一个产品可能同属于不同的属性，同时，结合用户两阶段行为模式，本文提出一种基于属性比重相似性的两步预测Top-N推荐算法。在MoiveLens数据集上的实验表明，算法能提高协同过滤算法的Top-N推荐的准确率和多样性。
　　(3)基于Spark框架的属性比重相似性的两步预测推荐算法的并行化实现。结合Spark框架在实现并行化方面的优势和协同过滤推荐算法的实时性，本文实现了基于Spark框架的属性比重相似性的两步预测推荐算法的并行化，达到通过架构的方式提高推荐算法实效性的目标。在MoiveLens数据集上的实验结果表明，该算法能够提高运算的速率。

目录

摘要

第一章 绪论

1．1 本论文研究的背景和意义

1．2 国内外研究现状及发展趋势

1．3 论文的主要内容

1．4 论文的组织结构

第二章 推荐算法的相关介绍以及Spark框架

2．1 主要推荐技术

2．1．1 基于协同过滤的推荐技术

2．1．2 基于内容的推荐技术

2．1．3 基于社会化的推荐技术

2．1．4 混合推荐技术

2．2 协同过滤推荐算法

2．2．1 基于邻域的协同过滤算法

2．2．2 基于模型的协同过滤算法

2．3 评价指标

2．3．1 准确率

2．3．2 多样性

2．4 Spark框架

2．4．1 Spark大数据处理框架及其生态系统

2．4．2 Spark开发环境及其部署搭建

2．5 本章小结

第三章 基于两步预测的二分网络Top-N推荐

3．1 引言

3．2 相关技术

3．2．1 二分网络

3．2．2 两阶段行为模式衍生的两步预测

3．3 基于两步预测的二分网络Top-N推荐

3．3．1 概率预测

3．3．2 评分预测

3．3．3 Top-N推荐

3．4 实验与分析

3．4．1 实验数据集及设置

3．4．2 实验结果

3．5 本章小结

第四章 基于属性比重相似性的两步预测Top-N推荐

4．1 引言

4．2 相似度计算

4．3 基于属性比重相似性的两步预测Top-N推荐

4．3．1 属性比重相似性

4．3．2 基于属性比重相似性的两步预测的Top-N推荐

4．4 实验与分析

4．4．1 实验数据集

4．4．2 实验结果

4．5 本章小结

第五章 基于Spark的属性比重相似性推荐算法的并行化

5．1 引言

5．2 Spark基本计算单元

5．3 并行化具体实现

5．3．1 计算用户属性矩阵的并行化算法

5．3．2 计算用户相似度矩阵的并行化算法

5．3．3 产生Top-N推荐的并行化算法

5．3 实验与分析

5．3．1 实验环境及数据集

5．3．2 实验结果

5．4 本章小结

6．1 本文总结

6．2 展望

参考文献

致谢

攻读硕士学位期间参与的科研工作及发表的论文

声明