协同过滤系统的稀疏性与冷启动问题研究

摘要

推荐系统通过预测用户对项目的喜好程度来为用户进行信息过滤，应用知识发现技术来生成个性化推荐。协同过滤是一种常用的减少信息过载的技术，已经成为了个性化推荐系统的一种主要工具，然而现有大多数协同过滤算法存在着几个主要问题：精确性，数据稀疏和冷启动问题。许多结合协同过滤与基于内容的信息过滤的算法可以解决这些问题，但是这些算法需要预先得到项目的内容信息或者用户的个人信息，而这些信息在很多推荐系统中是无法获得的，因此无法利用基于内容的信息过滤技术。 本文提出了在无法得到项目的内容信息和用户个人信息的情况下，在数据稀疏和冷启动情况下提高预测准确性的几种方法。在三个公开的数据集上进行了试验，试验结果显示这些方法比常用的算法效果要好。 我们采用了两种方法来提高数据稀疏时预测的准确性，即属于特征递增型的PearAfterSVD方法和属于转换型的LCMSTI方法。在特征递增型方法中，一种方法的输出用来作为另一种方法的输入。PearAfterSVD算法首先利用基于奇异值分解的方法来得到预测的评分，然后采用这些预测结果来获得活动用户的邻居，最后用基于邻居的Pearson算法得到最终提供给用户的预测值。在转换型方法中，推荐系统根据当前的情况决定在不同的推荐方法中进行转换。LCMSTI算法设置了一个阈值来决定如何在基于潜在分类模型的Pearson算法与STIN1算法这两种协同过滤方法中进行转换。在基于潜在分类模型的Pearson算法中，首先使用潜在分类模型的结果来进行邻居选择，然后根据最近邻方法来对活动用户未打分项目的评分进行预测。试验结果表明这两种方法在数据稀疏时准确性较高。 冷启动问题包括新项目问题与新用户问题。我们采用了基于统计的众数法以及信息熵法来解决冷启动问题。在基于统计的众数法中，利用人们的从众心理，对新用户问题，我们用所有用户在某一项目上的评分的众数作为新用户在该项目上的评分预测值；对新项目问题，我们用活动用户在他所有已评分项目上的评分的众数作为该活动用户在新项目上的评分预测值。在信息熵方法中，我们利用信息熵来选择一些有意义的用户或者项目，然后采用这些用户或者项目的平均评分来作为新用户或者新项目的预测评分。试验结果表明这些方法在推荐系统无法获取项目的内容信息和用户个人信息的情况下比简单平均法效果要好。 最后对协同过滤系统中的隐私保护与安全问题、时间序列问题、特殊项目的推荐问题以及如何解释推荐系统的结果等进行了简单的讨论。

目录

摘要

图表目录

第一章绪论

§1.1引言

§1.1.1信息过载与信息过滤

§1.1.2推荐系统与协同过滤

§1.2推荐系统的国内外研究现状

§1.2.1国内研究现状

§1.2.2国外的研究现状

§1.3本课题的研究意义和主要工作

§1.3.1本课题的研究意义

§1.3.2本课题的主要工作

§1.4本文的组织结构

第二章相关工作

§2.1基于内容的过滤技术

§2.2协同过滤技术

§2.1.1协同过滤系统简单描述

§2.1.2协同过滤技术的分类

§2.1.3协同过滤技术的优缺点

§2.2基于用户的协同过滤推荐系统

§2.2.1传统的相似性度量方法

§2.2.2其它度量方法

§2.3基于项目的协同过滤推荐系统

§2.4基于模型的协同过滤推荐系统

§2.4.1基于奇异值分解

§2.4.2基于关联规则

§2.5协同过滤与基于内容的过滤相结合

§2.6其它推荐方法

第三章推荐系统的评价

§3.1评价指标

§3.2数据集

第四章稀疏性问题研究

§4.1稀疏性问题

§4.2现有的解决方法

§4.3 Pear_After_SVD算法

§4.4 LCM_STI算法

§4.5试验及分析

第五章冷启动问题研究

§5.1冷启动问题

§5.2现有的解决方法

§5.2.1新项目问题解决方法

§5.2.2新用户问题解决方法

§5.3众数法与信息熵法

§5.3.1新项目问题解决方法

§5.3.2新用户问题解决方法

§5.4试验及分析

§5.4.1新项目问题的试验及分析

§5.4.2新用户问题的试验及分析

第六章结论与展望

§6.1本文主要内容总结

§6.2本文的创新点

§6.3进一步的工作

攻读博士学位期间发表的学术论文

致谢

参考文献