大数据背景下的信息推荐技术研究

摘要

为缓解推荐系统固有的数据稀疏性、冷启动和可扩展性等三大问题，本文从三个方面进行了研究，提出了相关推荐算法，实验结果表明所提出的推荐算法取得了良好的推荐性能。
　　首先，提出了一种称为INBIw（Improved weighted Network-Based Inference）的基于加权二部图网络的个性化推荐算法，该算法借鉴物理学上的热传导和资源分配等原理，将推荐系统建模成为一个加权二部图网络，二部图中边的权值即是用户对项目的评分，将评分值视为资源分配中的资源，同时在算法中引入一个可自由调节参数β来适当降低“大度”节点的影响，通过从项目到用户，再从用户到项目这两步资源分配过程实现个性化推荐。为定量评估该推荐算法的推荐性能，实验中计算了排名位置率RPR（Ranking Position Rate）和命中率HR（Hitting Rate）。首先根据排名位置率和命中率的取值情况确定最优β值βopt，其次在βopt确定的情况下，比较所提出的推荐算法与其他算法的推荐性能。在MovieLens数据集上所做的实验结果表明，无论是RPR还是HR，推荐算法INBIw的推荐性能都优于全局排名方法GRM（Global Ranking Method）、协同过滤CF（Collaborative Filtering）、基于网络推荐NBI（Network-Based Inference）、基于加权网络推荐NBIw（weighted Network-Based Inference）和潜在兴趣与主题挖掘LITM（Latent Interest and Topic Mining）等其他推荐算法。进一步地实验分析表明，该算法对数据集的大小和推荐列表长度两方面都不敏感，可以用于处理数据稀疏问题以满足现实生活中各种不同的需求，同时在数据量较大的多个大数据集上的实验结果也进一步证实了该推荐算法的有效性、可扩展性和鲁棒性。
　　其次，提出了一种称为ITNBIw（Improved weighted Tripartite Network-Based In-ference）的基于加权三部图网络的个性化推荐算法，该算法利用物理学上的热扩散和资源分配原理，在二部图网络推荐的基础上进一步将推荐系统建模为一个“用户-项目-项目属性”三部图网络，在三部图网络中资源分别经过从项目到用户再从用户返回到项目和从项目到项目属性再从项目属性返回到项目的两步资源分配过程，并将两者合并起来。为测定“项目-用户”和“项目-项目属性”两部分对最终推荐结果的影响，在计算资源分配权重矩阵时，通过在算法中引入一个比例参数λ来进行个性化预测推荐。为定量评估该推荐算法的推荐性能，实验中计算了RPR和HR，并首先根据RPR和HR的取值情况确定最优λ值λopt，其次在λopt确定的情况下，将所提出的推荐算法与其他算法进行性能对比。在MovieLens数据集上所做的实验结果表明，无论是RPR还是HR，推荐算法ITNBIw的推荐性能都优于GRM、CF、NBI、NBIw和LITM等其他推荐算法。进一步地讨论了在三部图中加入边的权值和引入可自由调节参数β对推荐性能的影响。实验分析表明，在三部图网络中同时加入边的权值和引入可自由调节参数β，算法的推荐结果性能最好；其次是加入边的权值而不考虑可自由调节参数β的情况；最差的结果是既不加入边的权值，也不引入可自由调节参数β的情况。
　　最后，提出了一种称为CFBDF（Collaborative Filtering Based on Data Filling）的基于数据填充的协同过滤个性化推荐算法，该算法利用三种数据填充方法、两种推荐策略和一种用户相似度计算方法进行协同过滤推荐。对评分矩阵中未评分数据的三种数据填充方法是：（1）采用行和列评分值的加权平均值填充；（2）采用行和列评分值的众数的平均值填充；（3）采用行和列评分值的中位数的平均值填充。两种推荐策略是：（1）直接用填充数据作为预测评分进行推荐；（2）将填充数据后的评分矩阵作为伪评分矩阵进行协同过滤推荐。一种用户相似度计算方法是基于加权二部图网络和资源分配原理，首先求解非对称的用户资源分配权重矩阵；其次将其转化成对称的用户相似度矩阵。采用GroupLens数据集进行的实验结果表明：上述几种推荐策略均可有效地缓解评分数据稀疏性问题，提高推荐准确度。

目录

声明

1 绪论

1.1 研究背景

1.2 国内外研究现状

1.3 存在的问题

1.4 研究目标与内容

1.5 论文组织结构

1.6 课题来源

2 现有推荐系统和推荐技术综述

2.1 定义与问题形式化

2.2 推荐系统

2.3 推荐技术

2.4 常见的推荐算法性能评价方法

2.5 本章小结

3 基于加权二部图网络的个性化推荐算法

3.1 引言

3.2 算法设计

3.3 算法复杂度分析

3.4 实验与分析

3.5 进一步的讨论

3.6 本章小结

4 基于加权三部图网络的个性化推荐算法

4.1 引言

4.2 算法设计

4.3 算法复杂度分析

4.4 实验与分析

4.5 进一步的讨论

4.6 本章小结

5 一种基于数据填充的协同过滤个性化推荐算法

5.1 引言

5.2 算法设计

5.3 算法复杂度分析

5.4 实验与分析

5.5 本章小结

6 总结与展望

6.1 主要工作总结

6.2 研究展望

致谢

参考文献

附录1 攻读博士学位期间发表的学术论文目录

附录2 攻读博士学位期间参与的科研项目

附录3 缩略语与重要术语索引

附录4 表格索引

附录5 图索引