基于查询日志和隐马尔可夫模型的查询扩展方法研究

摘要

互联网技术的高速发展使搜索引擎成为人们获取信息的主要来源;在日常检索时;人们往往会获得海量结果但大多与真实需求相去甚远;如何高效地从浩瀚的资源里找到准确的信息一直是信息检索领域的难题。基于用户搜索日志的查询扩展技术立足于众多用户的多次“反馈”;成为当下研究的一个热点;本文针对其面临的困难和不足进行了分析和改进。 根据用户查询日志中的查询和文档都是由词组成的这个特点;对基于日志的查询扩展问题采用隐马尔可夫模型。将查询和对应的点击文档的标题分别抽象成模型的观测值序列和状态序列;用现有数据训练模型参数;将查询扩展任务转化成根据查询词序列找到一组能“最好解释”它们的扩展词序列;然后输出的问题。为了实现个性化检索和提高检索性能;对基于隐马尔可夫模型的查询扩展方法进行了优化。对噪音较大的用户日志;采用基于文档贡献度的无用查询项过滤算法进行清洗;有助于用户偏好分析和相似用户挖掘。对于新查询;采用识别度计算算法分析用户活跃度和查询本身歧义性;有效度量查询意图的模糊程度;从而用基于用户偏好的方法优化参数;确定扩展的个性化程度和扩展词的个数;实现自适应查询扩展。 经过实验验证;所提出的方法能合理利用日志对查询进行扩展;与直接检索、同义词扩展、词共现扩展、基于HowNet的扩展和不做优化的隐马尔可夫模型的方法相比;有更好的性能。

目录

第一个书签之前