一种基于主题的并行排序学习方法研究

摘要

在信息检索领域排序学习方法是目前主流的排序技术，目前，排序学习方法的研究以文档独立性假设为前提，重点关注如何精准预测单个文档与查询之间的相关性得分，忽略了对文档之间的关系进行考虑，这样就导致了排序结果中冗余信息的产生。此外，现有的排序学习方法对于所有类型的查询都用一个统一的排序模型来处理，忽视了查询的差异性，不能够有针对性的对查询进行处理，这样就降低了排序结果的准确率。
　　本文首先论述考虑查询之间的差异性的必要性。然后在此基础上，研究如何在训练排序模型的过程，打破文档独立性假设，对文档间的关系进行建模，具体的研究内容包括:
　　在离线阶段，本文提出在训练排序模型过程中同时将文档间的关系和查询的差异性进行考虑。首先提出将查询表示为查询特征向量的形式，采用聚类的方法，根据查询之间的相似性对查询集合进行划分，形成了不同的训练(子)集，针对每一个训练子集分别构建排序模型。在体现查询差异的子排序模型的训练过程中，将文档间的关系进行考虑，使得模型的创建更具有针对性和适应性，提出了关系排序学习模型。这样，最终对于一个文档的打分取决于其自身内容与查询的相关性，以及其与之前的所有已经排序好的文档之间的关系。基于以上考虑，定义了相应的排序函数和损失函数。
　　针对在线阶段如何对新到来的查询进行处理，本文提出一种并行排序框架，首先提出一种排序模型选择方法，该方法通过选择k个最善于处理目标查询的排序模型，使用该k个排序模型对待处理查询的相关文档进行打分，使用该方法能够针对不同类型的查询选择出更加适合的候选排序模型对其进行处理，进而能够将不同的排序模型划分到不同的节点并行的对查询进行处理。之后利用一种基于权重的打分函数产对候选排序模型产生的结果列表进行融合形成最终的排序结果列表。
　　在标注数据集LETOR上的实验结果表明，本文提出的针对现有排序学习方法的改进不仅可以有效地提高排序结果的准确率而且能够一定程度上解决检索结果多样化的问题。

目录

声明

摘要

第1章 绪论

1．1 课题的研究背景及意义

1．1．1 课题的背景

1．1．2 课题的意义

1．2 国内外研究现状

1．3 问题的提出

1．4 主要研究内容

1．5 论文的组织结构

第2章 排序学习方法相关技术

2．1 排序学习与机器学习的关系

2．2 排序学习基本框架

2．2．1 Pointwise方法

2．2．2 Pairwise方法

2．2．3 Listwise方法

2．2．4 排序学习资源

2．3 本文会用到的相关技术介绍

2．3．1 K-means聚类方法

2．3．2 查询相关排序模型

2．3．3 向量空间模型

2．4 本章小结

第3章 查询相关的关系排序学习方法

3．1 引言

3．2 研究概述

3．3 训练数据集优化

3．4 查询聚类

3．5 查询相关的关系排序学习方法

3．5．1 关系矩阵的构建

3．5．2 排序函数的扩展

3．5．3 排序学习损失函数

3．6 本章小结

第4章 排序模型选择方法

4．1 引言

4．2 问题分析

4．3 排序模型的并行执行

4．3．1 候选排序模型的选择方法

4．3．2 文档集合的选择

4．4 本章小结

第5章 实验及结果分析

5．1 引言

5．2 实验数据集

5．3 实验设计

5．3．1 实验方法

5．3．2 实验流程

5．4 评价方法

5．5 实验结果及分析

5．5．1 训练数据集优化分析

5．5．2 聚类数目k对精度的影响分析

5．5．3 排序效果对比分析

5．5．4 排序模型选择分析

5．5．5 查询难度分析

5．5．6 检索结果多样性分析

5．5．7 模型训练时间分析

5．6 本章小结

结论

参考文献

攻读硕士学位期间发表的论文和取得的科研成果

致谢