云平台下推荐系统的研究与改进

摘要

在互联网高速发展的今天，每个人的生活都在发生巨大的变化，世界正在不断地变“平”。随着电子商务，人工智能，虚拟现实等技术的蓬勃发展，人们只要通过互联网，几乎可以足不出户，坐在计算机前做一切事情。这在短短二三十年间从不可能变成了可能。智能推荐技术自上个世纪90年代诞生以来，一直在互联网众多领域发挥着重要作用。例如淘宝网的电子商务系统、优酷土豆等视频网站的视频推荐系统、豆瓣音乐等音乐网站的音乐推荐系统等等。由于更加贴近人们的生活，相信推荐系统会变得和搜索引擎一样，成为互联网中不可或缺的基础性应用。然而在推荐系统中，大多数使用的算法都会面临两方面问题，一个是用户物品评分数据的稀疏性问题，另一个是算法的可扩展性问题。
　　随着互联网技术的快速发展和信息爆炸，云计算技术应运而生。传统的串行处理效率低下，其产生的时间开销甚至让人无法忍受。因此，如何对海量数据进行高效处理成为一个急需解决的问题。Google公司于2004年提出的MapReduce编程模型是一个具有易于编程，良好扩展性和高容错性等优点的并行编程模型。Apache基金会所领导开发的Hadoop项目是基于MapReduce计算模型的一个开源实现，可用于编写和运行分布式应用处理大规模数据，其已被雅虎、Facebook、百度、淘宝等众多知名互联网公司研究并使用。
　　为了提高推荐的质量，以及解决在大规模数据上的推荐问题，本文提出了基于用户兴趣度的方法以缓解数据稀疏性的问题，在我们的算法中融合了表现用户兴趣变化的时间因素，通过对目标用户特定的未评分项进行预测，并将预测值填充进原始数据以形成新的数据集，以此来缓解数据稀疏性。算法可迭代多次以更好的达到对缺失数据的填充目的;另外，针对推荐系统领域经典的Netflix数据集问题，提出了基于统计和分类的改进预测方法，为了更好的解决该数据集数据量大的特点，算法在Hadoop平台上实现，该方法充分考虑用户和电影两方面的信息，并通过实验证明该方法取得更好的预测精度，同时在Hadoop集群中机器增多时，算法的运行效率不断提升，说明其具有比较理想的并行性能，依此显现了云平台与推荐算法结合的优势。

目录

声明

致谢

摘要

1 引言

1．1 课题背景与研究意义

1．1．1 课题背景

1．1．2 研究意义

1．2 国内外研究现状

1．3 论文工作内容

1．4 论文结构

1．5 本章小结

2 相关工作综述

2．1 推荐系统架构介绍

2．2 常用推荐算法介绍

2．2．1 基于协同过滤的推荐算法

2．2．2 基于内容的推荐算法

2．2．3 混合推荐

2．3 Hadoop平台介绍

2．3．1 MapReduce编程模型

2．3．2 Hadoop文件系统

2．3．3 基于Hadoop的应用现状

2．4 数据集与推荐系统评测指标

2．4．1 数据集

2．4．2 推荐系统评测指标

2．5 本章小结

3 推荐系统数据稀疏性研究与改进

3．1 数据稀疏的原因及引起的问题

3．2 传统的数据填补方法

3．2．1 单一填补法

3．2．2 基于距离的填补方法

3．3 根据兴趣度加权的填充策略

3．3．1 基本思想

3．3．2 策略描述

3．3．3 具体步骤

3．4 实验及分析

3．5 本章小结

4 Hadoop平台下推荐的研究

4．1 推荐算法存在的可扩展性问题

4．2 问题描述与分析

4．3 算法基本思想

4．4 基于Hadoop平台的实现

4．5 实验与分析

4．5．1 实验环境

4．5．2 实验过程与结果分析

4．6 本章小结

5 总结和展望

5．1 总结

5．2 展望

参考文献

作者简历

学位论文数据集