基于预测置信度的协同过滤稀疏性问题研究

摘要

随着互联互通技术的高速发展和智能移动终端的广泛普及，人类已经进入了信息爆炸时代，信息量的指数级增长导致了信息过载问题的产生。如何在浩如烟海的互联网内容中找到真正需要的信息，特别在电子商务中从琳琅满目的商品列表中挑选心仪的产品，一直是热门的研究内容。分类目录仅提供了费时费力的树状条件筛选功能，搜索引擎技术的出现为人们提供了基本的信息查询方案，而个性化推荐系统则提供了智能化和个性化的信息过滤机制。个性化推荐系统根据用户的浏览历史记录推测用户的兴趣爱好，并据此将可能受喜好的资讯或者商品推荐给用户。协同过滤是目前个性化推荐系统中部署最广泛、效果最成功的推荐算法，有着预测准确率高、推荐覆盖度高、可以处理复杂结构数据等优点，但是面临数据稀疏和算法可扩展性等问题的挑战。
　　 在基于协同过滤的个性化推荐系统中，将用户对于项目的偏好量化为评分数据从而构建（用户—项目）评分矩阵，根据评分矩阵预测用户对于未知项目的评分，将预测评分较高的项目推荐给用户。由于推荐系统中用户基数较大且项目总量庞大，用户评分过的项目在总体项目中比例较小，同时存在着有些冷门项目几乎无人问津的情况，导致（用户—项目）评分矩阵稀疏，推荐算法在相似性计算、近邻空间选择和结果预测阶段精度受到影响。为了克服数据稀疏性问题，研究人员提出诸如缺失值填充、预测结果融合等方法。本文的主要工作内容如下:
　　 1.提出差异化的个体相似性计算算法
　　 传统的个体相似性计算算法无视用户和项目的个体性质区别，对用户相似性和项目相似性采用了相同的计算方式，这显然是不合理的。通过分析用户和项目的个体特性得到他们的数据特性，采用针对性的计算方式能够提高用户相似性和项目相似性的计算精度，降低数据稀疏性问题对协同过滤算法性能影响。
　　 2.基于预测置信度对多个预测结果进行自适应局部融合
　　 预测结果融合算法是指对未知评分使用多种方式进行预测，将多个预测结果进行整合得到最终预测结果，能够提高整体预测精度。由于评分矩阵的不规则，考虑不同的（用户—项目）评分项进行预测时能够信赖的预测方法的差异性，计算预测方法对每个未知评分的预测置信度，根据预测置信度进行自适应局部融合，能够取得比传统的全局融合算法更好的整体预测精度。

目录

声明

摘要

第一章 绪论

1．1 研究背景

1．2 研究意义

1．3 国内外研究现状

1．4 本文研究内容与结构安排

第二章 个性化推荐系统相关技术

2．1 个性化推荐系统概述

2．1．1 推荐系统架构

2．1．2 推荐系统性能评测指标

2．1．3 用户数据搜集

2．1．4 推荐理由解释

2．1．5 推荐系统面临的问题

2．2 个性化推荐算法分类

2．2．1 基于内容的推荐算法

2．2．2 基于关联规则的推荐算法

2．2．3 基于内存的协同过滤算法

2．2．4 基于模型的协同过滤算法

2．2．5 社会化推荐算法

2．2．6 混合推荐算法

2．3 本章小结

第三章 差异化个体相似性度量算法

3．1 引言

3．1．1 传统个体相似性度量算法

3．1．2 数据稀疏问题及影响

3．1．3 现有解决方案及缺陷

3．2 差异化个体相似性度量算法

3．2．1 用户和项目的个体性质差异

3．2．2 基于用户情感的用户相似性计算方法(EUSM)

3．2．3 基于评分质量的项目相似性计算(QISM)

3．3 实验结果

3．3．1 实验数据集

3．3．2 性能评测标准

3．3．3 实验方案

3．3．4 结果分析

3．4 本章小结

第四章 基于预测置信度的自适应局部融合算法

4．1 引言

4．1．1 传统评分预测算法

4．1．2 数据稀疏问题及影响

4．1．3 现有解决方案及缺陷

4．2 基于预测置信度的自适应局部融合算法

4．2．1 基于内存的协同过滤算法比较

4．2．2 预测置信度

4．2．3 自适应局部融合算法

4．3 实验结果

4．3．1 实验数据集

4．3．2 实验方案

4．3．3 结果分析

4．4 本章小结

第五章 结论与展望

5．1 本文工作内容

5．2 未来工作展望

参考文献

致谢

攻读硕士学位期间发表的学术论文