基于LDA模型和核方法改进的协同过滤算法

摘要

在互联网高速发展的今天，“信息过载”问题使得人们难以在海量信息中找到真正的需求，成为新时代最重要的挑战之一。现在信息体系下，具有丰富的用户行为历史数据。推荐系统通过对此数据进行分析，从而挖掘用户的潜在兴趣，实现精准化推荐，有效过滤信息，因而具有巨大的应用价值。但是同时，推荐系统也面临着许多问题。本文主要针对数据噪声和稀疏性两个主要问题提出了改进方法。
　　针对数据噪声问题，构造了LOF离群点检测算法。本文分别基于用户的共同项目评分和用户评分数据分布特征指标两种方法计算用户离群因子。最后通过效果对比表明：基于构建指标数据的LOF算法比基于原始共同项目评分LOF算法效果具有更优的表现。
　　针对数据稀疏问题，构造了LDA-CF和Kernel-CF混合模型。
　　(1)LDA-CF模型根据主题生成模型的思想，假设用户喜欢某个项目是因为喜欢某些隐含的主题，利用用户评分数据生成伪文档，计算用户下的潜在主题分布和潜在主题下的项目分布，然后根据用户主题分布相似性和项目主题分布相似性，在此基础上结合邻域方法预测用户偏好。
　　(2)Kernel-CF模型假设用户的评分服从某一稳定的分布，利用核密度估计的方法分别估计每个用户评分分布密度函数，然后在根据用户的评分分布密度函数计算用户的相似度，最后结合邻域方法预测用户偏好。
　　通过在MovieLens数据集上的实验验证，表明了两种混合协同过滤在RMSE性能指标上均有优于基于用户和项目的协同过滤算法。
　　最后，本文介绍了推荐算法在课堂交互平台上的一种新型应用：利用Kernel-CF预测学生的答题得分。

目录

声明

1 绪言

1.1 研究背景和意义

1.2 国内外研究现状

1.3 本文主要工作

1.4 本文的组织结构

2 协同过滤技术

2.1 基于用户的协同过滤算法

2.2 基于物品的协同过滤算法

2.3 隐语义模型

2.4 评价指标

2.5 算法性能分析

3 基于LOF离群点检测方法检测异常用户

3.1 推荐系统中噪声数据的影响

3.2 离群点检测方法介绍

3.3 局部异常因子算法

3.4 离群检测算法检测异常用户算法描述

3.5 性能分析

4 基于LDA算法改进的混合协同过滤模型

4.1 LDA模型介绍

4.2 LDA-CF混合模型

5 基于核密度估计改进的混合协同过滤模型

5.1 核密度估计介绍

5.2 核密度估计理论基础

5.3 核估计领域混合模型

6 实证分析

6.1 LOF算法效果分析

6.2 LDA主题数目的影响

6.3 核密度估计核函数窗宽的影响

6.4 改进算法与传统算法

6.5 本节总结

7 推荐算法在课堂交互平台的应用

7.1 课堂交互平台

7.2 KERNEL-CF预测

7.3 本节小结

8 总结与展望

致谢

参考文献