基于文本相似度的搜索推荐点击预测模型

摘要

为了进一步提高用户在搜索引擎中的推荐内容点击预测准确率,本文采用了一种包含搜索内容相似度特征的方法。该方法的结构是由多个决策树构成的预测模型,使用了层次化softmax (Hierarchical softmax)将结果转换为二分类结果。为了理解用户搜索文本的语义,使用用户输入与推荐内容标题、高频相关内容以及推荐内容标签的文本相似度来增加点击预测模型的准确率。采用jieba分词将文本中的词汇切分出来,使用word2cev对所有词汇进行训练,构建词向量模型。最后使用LightGBM进行预测模型的构建。从205万条用户搜索记录中取出5万条作为验证集,剩下的作为训练集。实验结果表明,添加相似度特征之后模型的点击预测准确率得到了提升。