基于协同过滤算法数据稀疏性问题的研究

摘要

随着互联网的发展，推荐算法在各个领域都已经取得不错的应用，其中协同过滤算法是应用比较广泛且成功的算法，但是协同过滤算法在解决“信息过载”问题时还受到一些问题的影响，数据稀疏性问题是其面临的主要问题。协同过滤算法是依靠用户-项目评分矩阵计算出相似度值找到最近邻居集，但是过于稀疏的评分数据会导致计算不出准确的相似度值，进而难以找到到真实的邻居集合，且得出的最近邻居集合在预测评分时又因只考虑共同评分项目而再次稀疏，最后影响推荐的精度。本文针对协同过滤算法数据稀疏性问题，进行了较为深入的分析与研究，提出以下三点缓解该问题提高推荐精度的办法。 第一针对传统协同过滤算法的评分预测值受共同项目数量的影响，从降低最近邻居集中共同评分项目的稀疏程度入手，把与目标用户相似的但没有对目标项目评分的最近邻居用户也纳入评分预测中去，改进评分预测算法。 第二从降低用户-项目评分矩阵稀疏程度的角度出发，提出基于预测值和多元值的混合填充算法。使用传统算法计算出用户-项目评分矩阵中未评分项目的预测值并保存，将预测值结合多元值按照填充规则对用户-项目评分矩阵混合填充，推荐时采用直接把填充值作为预测值和在填充后矩阵上进行协同过滤算法实验两种策略验证该填充规则能够比单一值填充取得更好的推荐效果。 第三从优化相似度计算入手，提出基于用户兴趣偏好的混合协同过滤算法，挖掘用户评价过的项目属性，统计出用户对项目属性的偏好，建立用户-兴趣类型矩阵，再计算用户兴趣相似度，然后将用户评分相似度和用户兴趣相似度用一个动态参数融合形成综合相似度。 最后在Movielens数据集上进行实验，实验结果表明，以上提出的方法都能够有效缓解数据稀疏问题，提高推荐精度。

目录

第一个书签之前

摘 要

1　绪论

1.1　研究背景和研究意义

1.2　国内外研究现状

1.2.1　推荐系统研究现状

1.2.2　协同过滤推荐算法稀疏性问题研究现状

1.3　本文的主要内容

1.4　本文的组织结构

2　推荐系统及其相关理论介绍

2.1　推荐系统概述

2.1.1　基于模型的推荐

2.1.2　基于关联规则的推荐

2.1.3　基于内容的推荐

2.1.4　混合推荐

2.2　协同过滤算法

2.2.1　基于用户的协同过滤算法

2.2.2　基于项目的协同过滤算法

2.3　协同过滤算法数据稀疏性问题

2.4　推荐算法的评价指标

2.4.1　预测准确性

2.4.2　分类准确性

2.5　本章小结

3　稀疏数据的评分预测算法研究

3.1　评分预测数据稀疏性问题

3.2　相似度计算

3.2.1　余弦相似性

3.2.2　修正的余弦相似性

3.2.3　Pearson相关相似性

3.3　数据的评分预测

3.3.1　传统的评分预测算法

3.3.2　改进的评分预测算法

3.3.3　评分预测过程

3.4　实验设计与分析

3.4.1　实验数据集和环境

3.4.2　实验方案与结果分析

3.5　本章小结

4　基于预测值和多元值混合填充算法

4.1　问题的提出与分析

4.2　基于预测值填充

4.3　多元值填充

4.3.1　多原值填充分析

4.3.2　多元值计算规则

4.3.3　多元值单独填充实现

4.4　基于预测值和多元值填充的混合填充算法

4.5　实验结果与分析

4.5.1　实验数据集和实验环境

4.5.2　实验及分析

4.6　本章小结

5　基于用户兴趣偏好的协同过滤推荐算法

5.1　用户兴趣偏好的提出

5.2　基于用户兴趣偏好相似度计算

5.2.1　基于用户兴趣偏好相似度

5.2.2　综合相似度

5.3.1　评分矩阵的预处理

5.3.2　算法的实现过程

5.4.1　实验方案

5.4.2　实验结果与讨论

5.5　本章小结

6总结和展望

6.1　本文的总结

6.2　未来的展望

致　　谢

参考文献

攻读学位期间发表的相关学术论文及研究成果