基于用户点击信息检索评价方法综述

摘要

评价是信息检索研究长期关注的焦点,推动信息检索技术的进步.在简要分析Cranfield评价的优点和不足、基于检索日志进行检索评价的巨大潜力后,本文论述从搜索日志中获得可靠文档相关性估计存在的困难,分析了近年国内外研究人员提出的若干典型点击模型,并对其就可扩展性、增量可计算性、点击预测精度、模型的复杂性等方面进行讨论.简单的点击模型无法描述真实点击的多样性，点击预测精度也刻氏;复杂的模型带来的是计算上巨大的时间和空间开销。点击模型应在精确性与复杂性之间进行取舍。将点击贝叶斯斯网络简化为两个部分可观察的马尔可夫时序模型，做了模型复杂度与预测精度之间的折衷:有人考虑查询所类别不同，用户检索决策出发点不同，除了保证文档相关胜推理的可靠性外，一个理想的点由模型应能处理大规模、TB级点击数据，同时能根据数据更新动态更新模型。点击链模型、依赖点击模型、动态贝叶斯点击网络兼具三个特性。上述所有研究工作或是基于可控实验环境中，与真实网络用户行为有一定差距。比如检索日志可能包含大量非真实用户-网络爬虫行为，用户在检索过程受到广告干扰等等。上述所有研究工作或是基于大规模群体用户的点击行为分析，尤其是对同一查询，需要大量的用户点击信息，难以处理用户访问频度低的长尾查询词。