潜在语义分析在互联网数据挖掘中的应用研究

摘要

互联网搜索现已成为人们学习和生活中必不可少的一部分，互联网知识的合理组织、互联网知识的快速有效地获取、对互联网链接结构的挖掘以及信息系统的个性化推荐都会在很大程度上影响互联网用户的使用体验。同时，信息爆炸式的增长已经使大量互联网用户迷失在知识的海洋。因此，对互联网数据进行挖掘对于改善人们的学习和生活具有重大的现实意义。 本文介绍了互联网数据挖掘的研究现状，重点论述了互联网链接结构挖掘和使用挖掘，同时在深入剖析了潜在语义分析技术的数学模型和实现原理的基础上，提出了两个算法：基于潜在语义分析的HITS改进算法以及基于潜在语义分析的个性化推荐算法。文章给出了改进HITS算法的具体描述，深入分析了算法的参数设置、实现、时间空间复杂度以及实验结果；对新提出的个性化推荐算法也从算法描述、算法系统框架、算法评价指标、算法实验等多方面作了深入的分析。接着利用对比实验验证了改进HITS算法在性能上的提高以及新提出的个性化推荐算法性能。本文最后给出了原型系统的设计。系统设计不仅考虑了系统功能的实现细节，同时也考虑了系统的可扩展性、可维护性以及对已有代码的重用。 实验结果表明，改进的基于潜在语义分析的HITS算法与原算法相比，有更高的查全率和时间效率，且算法返还的搜索结果总体上更加权威、更有参考价值：基于潜在语义分析的个性化推荐算法通过提供合理的推荐策略，在低维用户语义空间和低维资源空间中挖掘用户与用户、资源与资源之间的相似度，实现的个性化推荐系统在实验样本不太大的情况下，表现出较理想的推荐性能。 综上，本文提出的改进HITS算法与个性化推荐算法在潜在语义分析技术的支持下，不但提高了时间效率，而且由于加入了基于数学统计的“语义”支持，算法可以在低维的语义空间上进行信息处理，既提高了算法的空间效率，又提高了算法信息处理的准确度。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章绪论

1.1研究背景与意义

1.2本文研究工作及章节安排

第2章互联网数据挖掘相关技术概述

2.1引言

2.2国内外文献综述

2.2.1互联网搜索引擎

2.2.2互联网链接结构挖掘

2.2.3互联网搜索中使用的挖掘

2.3潜在语义分析技术

2.3.1潜在语义分析的提出

2.3.2矩阵奇异值分解

2.3.3潜在语义分析的在互联网数据挖掘中的实现

2.3.4潜在语义分析的应用

2.4用Matlab进行矩阵奇异值分解

2.5小结

第3章基于潜在语义分析的互联网链接结构的挖掘

3.1引言

3.2潜在语义分析在PAGERANK中的应用

3.3改进的HITS算法

3.3.1改进的HITS算法描述

3.3.2改进的HITS算法的参数

3.3.3改进的HITS算法的框架

3.3.4算法复杂度分析

3.4实验与结果分析

3.4.1实验流程

3.4.2评价指标

3.4.3实验结果与分析

3.5小结

第4章基于潜在语义分析的互联网搜索使用的挖掘

4.1引言

4.2个性化推荐

4.3基于潜在语义分析的个性推荐算法

4.3.1算法描述

4.3.2算法的系统框架

4.3.3算法的实现

4.3.4算法复杂度分析

4.4 实验与分析

4.4.1实验流程

4.4.2算法性能评价指标

4.4.3实验结果与分析

4.5小结

第5章面向教育搜索引擎子系统原型系统

5.1引言

5.2系统框架

5.2.1系统框架图

5.2.2系统类图设计

5.3实验及结果分析

5.3.1改进HITS算法与原始HITS算法的性能比较

5.3.2基于潜在语义分析的个性化推荐算法的性能评价

5.4小结

结论与展望

参考文献

致谢

附录A攻读学位期间所发表的学术论文与参加的项目