基于语义处理技术的信息检索模型研究

摘要

信息爆炸是当今信息社会的一大特点，当前信息检索技术面临着互联网网络信息更新越来越快，用户检索结果要求越来越精确的严重挑战。如何在海量的信息中有效地找到所需信息因而成为了一个关键问题，语义检索技术是解决这一问题非常有潜力的方法。然而，在语义网还没有完全实现的情况下，研究过渡时期的语义检索技术已成为近年来一个快速发展的新兴研究课题。
　　 本文对信息检索中的若干关键问题进行了研究，提出了基于语义处理技术的信息检索模型--SPTIR(Semantic Processing Technology based InformationRetrieval)。该模型围绕查询扩展和检索结果重排序而展开，主要由四个部分构成，即：基于词义消歧的语义查询扩展、基于词汇语义相关性度量的查询优化、基于文档语义相关性的检索结果重排序和语义加强的个性化信息推荐。
　　 1.在基于关键字的搜索引擎中，一个构造良好的查询是用户主观信息需求的客观表现，也是信息检索服务质量的基本保证。本文以用户查询关键字之间的语义关联为切入点，辅以隐式反馈技术获取消歧上下文，使用无导词义消歧的方法实现了查询关键字到本体概念的映射，基于概念词语关联进行语义查询扩展。基于词义消歧的语义查询扩展解决了传统的信息检索系统不能很好理解用户查询意图的问题。
　　 2.针对部分消歧失败的查询关键字，本文提出使用隐式反馈技术从相关文档中直接提取候选扩展查询词的策略。为了进一步精简和优化反馈产生的扩展词汇，避免查询扩展的“主题偏移”现象，本文采用基于词汇语义相关性度量的方法对扩展查询词进行过滤来优化查询。
　　 3.由于传统关键字检索返回的数据量过大，检索结果相关性评价成为研究的焦点。本文根据查询消歧的具体情况(成功、失败)，提出两种文档语义相关性度量的方法：基于语义向量空间模型的文档相关性和基于词汇向量空间模型的文档相关性。根据文档相关性对检索结果进行重新排序，优先返回与查询语义相关性强的文档供用户浏览。
　　 4.本文对如何满足不同用户的个性化查询需求进行了研究，提出了一种语义加强的个性化信息推荐方法。该方法综合利用语义数据源和历史评分数据进行混合推荐，语义数据源的引入解决了传统协同过滤系统的数据稀疏性和冷启动问题。另外，为了提高推荐系统的可扩展性和实时性，在数据的离线预处理阶段，本文使用数据挖掘方法对用户和项目进行了模糊聚类。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章 绪论

1.1 课题背景

1.2 研究动机及方法

1.3 主要工作及贡献

第2章 基于语义处理技术的信息检索研究综述

2.1 信息检索模型概述

2.1.1 布尔模型

2.1.2 向量空间模型

2.1.3 概率模型

2.1.4 语言模型

2.2 语义检索相关研究综述

2.2.1 语义查询优化

2.2.2 查询目标分析

2.2.3 复杂约束查询

2.2.4 语义查询个性化

2.2.5 语义关联分析

2.3 本章小结

第3章 基于无导词义消歧的语义查询扩展

3.1 引言

3.2 无导词义消歧研究综述

3.2.1 基于知识的无导词义消歧

3.2.2 基于统计的无导词义消歧

3.3 基于WordNet的无导词义消歧

3.3.1 相关知识介绍

3.3.2 基于局部上下文的无导词义消歧LCUWSD

3.3.3 基于图论的无导词义消歧GTUWSD

3.4 基于词义消歧的语义查询扩展

3.5 实验与评估

3.5.1 实验数据

3.5.2 实验结果与分析

3.6 本章小结

第4章 基于词汇语义相关性度量的查询优化

4.1 引言

4.2 词汇语义相关性度量研究综述

4.2.1 基于统计的语义相关性度量

4.2.2 基于知识的语义相关性度量

4.3 基于Wikipedia链接结构化信息的相关性度量

4.3.1 Wikipedia简介

4.3.2 利用Wikipedia的链接信息计算词汇间的语义相关性

4.4 基于隐式反馈和语义相关性的查询扩展与优化

4.5 实验与评估

4.5.1 实验数据

4.5.2 性能评价指标

4.5.3 实验结果与分析

4.6 本章小结

第5章 基于文档语义相关性的检索结果重排序

5.1 引言

5.2 文档相关性测度研究综述

5.3 基于文档语义相关性的检索结果重排序

5.4 实验与评估

5.4.1 实验数据

5.4.2 性能评价指标

5.4.3 实验结果与分析

5.5 本章小结

第6章 语义加强的个性化信息推荐

6.1 引言

6.2 个性化信息推荐研究综述

6.2.1 基于内容过滤的推荐

6.2.2 协同过滤推荐

6.2.3 混合推荐

6.3 语义加强的混合推荐SEHR

6.3.1 线性结合型混合推荐LCHR

6.3.2 连续结合型混合推荐CCHR

6.3.3 调整型模糊K-均值聚类UFKM

6.4 实验与评估

6.4.1 实验数据

6.4.2 性能评价指标

6.4.3 实验结果与分析

6.5 本章小结

第7章 SPTIR模型的系统框架及其检索性能分析

7.1 SPTIR模型的组成

7.1.1 查询扩展模块

7.1.2 查询优化模块

7.1.3 检索结果重排序模块

7.1.4 个性化推荐模块

7.2 SPTIR模型的检索性能分析

7.2.1 实验数据

7.2.2 性能评价指标

7.2.3 实验结果与分析

7.3 本章总结

第8章 总结与展望

8.1 本文工作总结

8.2 展望

参考文献

攻读博士学位期间主要的研究成果

致谢