基于Spark融合上下文感知的协同过滤推荐算法研究

摘要

随着信息技术、互联网的不断发展，数据的爆炸式增长，用户在网上购物、学习、社交、娱乐等活动越来越多，对信息的选择逐渐成为一种困扰。如何帮助用户找到相应的信息，已经成为急需解决的问题，在许许多多的办法中，推荐算法可谓是优秀的代表之一了。一方面传统的推荐算法依然存在数据稀疏，冷启动等问题，导致对用户的推荐结果并不理想。另一方面算法也不能一味地为用户推荐热门资源。因此，只有考虑多种因素，才能为用户寻找最个性，最独特又符合用户兴趣习惯的信息。传统的推荐算法在处理用户对项目评分矩阵时，只考虑用户之间、项目之间的相似度，不考虑用户上下文感知信息和项目上下文感知信息，而研究表明，利用这些信息进行推荐将会在很大程度上影响用户的偏好和选择。
　　首先本文针对协同过滤算法作了详细的研究，分析了协同过滤算法目前存在的问题，冷启动、数据稀疏以及准确率低等等。针对目前算法存在的问题，提出在推荐的同时要结合数据的上下文感知信息，设计出融合上下文感知的协同过滤算法。优化后的算法有以下优势:一方面可以发现数据的上下文感知信息，另一方面利用上下文感知信息进行计算可以提高准确率。本文对优化前后的算法分别进行了实验，分析和对比实验结果，证明了优化后的算法可以提高推荐算法准确率。
　　其次，针对分布式环境下基于模型的矩阵分解协同过滤算法进行改进，在计算的过程中融合数据的多种上下文感知信息，进行上下文建模，同时利用Spark平台具有快速迭代计算的优点，使算法的执行效率获得的大幅度提高。最后针对优化前后的协同过滤算法进行实验验证，分析和对比实验结果，证明了优化后算法的有效性。
　　本文对提出的优化算法，在多个数据集上进行了多次实验，实验结果表明，优化后的协同过滤算法在准确率和均方根误差评估方面都取得较好效果。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．2 国内外现状

1．2．1 协同过滤推荐算法研究现状

1．2．2 Spark分布式处理框架的研究现状

1．3 主要工作

1．4 论文组织结构

1．5 本章小结

第2章 基本理论和相关技术

2．1 推荐算法概述

2．2 协同过滤推荐算法概述

2．2．1 基于用户的协同过滤算法

2．2．2 基于项目的协同过滤算法

2．2．3 基于模型的协同过滤算法

2．3 Spark分布式平台

2．3．1 Spark和Hadoop概述及比较

2．3．2 Spark处理框架和数据分析栈

2．4 本章小结

第3章 融合上下文感知计算的协同过滤算法的研究

3．1 上下文感知计算及上下文信息定义

3．1．1 上下文感知计算

3．1．2 上下文信息的定义

3．2 融合上下文感知信息的协同过滤算法设计思想

3．2．1 协同过滤算法问题分析

3．2．2 融合上下文信息的相似度计算

3．2．3 融合上下文感知计算的协同过滤算法

3．3 实验设计与结果分析

3．3．1 实验数据集

3．3．2 评价标准

3．3．3 实验设计及结果分析

3．4 本章小结

第4章 基于spark平台融合上下文感知计算的协同过滤算法研究

4．1 基于矩阵分解的协同过滤算法思想

4．1．1 问题分析

4．1．2 交替最小二乘法(Alternating Least Squares，ALS)

4．2 基于Spark融合上下文感知计算的ALS协同过滤算法设计思想

4．3 实验设计与结果分析

4．3．1 实验环境

4．3．2 实验数据

4．3．3 评价标准

4．3．4 结果分析

4．4 本章小结

第5章 研究总结与展望

参考文献

攻读硕士学位期间论文发表及参与项目情况

致谢