文本搜索排序中构造训练集的一种方法

摘要

在文本搜索领域,用自学习排序的方法构建排序模型越来越普遍.排序模型的性能很大程度上依赖训练集.每个训练样本需要人工标注文档与给定查询的相关程度.对于文本搜索而言,查询几乎是无穷的,而人工标注耗时费力,所以选择部分有信息量的查询来标注很有意义.提出一种同时考虑查询的难度、密度和多样性的贪心算法从海量的查询中选择有信息量的查询进行标注.在LETOR和从Web搜索引擎数据库上的实验结果,证明利用本文提出的方法能构造一个规模较小且有效的训练集.