用户视频检索意图强度识别算法研究

摘要

随着数据爆炸性增长，用户在信息面前面临越来越多的选择性困难。搜索引擎是人们获取信息的一个重要手段，并且随着智能设备的普及，移动端的搜索占有越来越重要的地位。移动设备有限的展示空间决定了要为用户提供尽可能精准、有效的信息，因此需要更加准确识别用户的检索意图，从而为用户提供更加精准的服务，增强用户体验。然而在互联网发达的时代，人们的信息需求通常以短串的形式表达，一般由3-4个词组成，信息描述相对模糊、歧义性较强，造成了对用户实际需求识别不够准确。本文利用搜索引擎中丰富的数据资源以及用户的交互结果，分析、解决用户视频检索意图强度识别的问题。该技术应用于通用搜索和视频检索系统中，通过分析用户的检索串识别出视频意图强弱，从而将更加精准的结果以友好的方式展示给用户。
　　本文首先对用户输入的检索串利用搜索引擎展示结果以及用户点击结果中的标题进行扩展，同时根据本课题类别间文本重合度较高的特点提出了一种新的基于熵和词频的文本特征选择方法。其次，详细设计并抽取了基于文本、视频域名统计、搜索引擎返回结果类型、深度语言模型的语义信息以及session的统计等5组不同的特征及其组合方法进行实验，验证了本课题的有效性。受深度学习语言模型word2vec的启发，提出了站点域名的词向量表示方法Host2vec，将深度语言模型引入检索意图强度识别的问题中来。最后，针对用户检索视频检索意图强度随时序变化的关系进行了分析、挖掘。

目录

声明

摘要

第1章 绪论

1．1 课题研究背景

1．2 课题研究意义和目标

1．3 国内外研究现状

1．3．1 基于短文本的分析方法

1．3．2 基于点击图的分析方法

1．4 研究内容和难点

1．5 本文目录结构

1．6 本章小结

第2章 相关技术概述

2．1 检索意图识别概述

2．1．1 目标类目分类

2．1．2 检索串分类方法

2．2 常用分类算法

2．2．1 支持向量机算法

2．2．2 逻辑斯蒂回归算法

2．2．3 朴素贝叶斯算法

2．2．4 决策树算法

2．2．5 随机森林算法

2．3 Session切分算法

2．4 深度学习语言模型

2．5 本章小结

第3章 视频检索意图强度识别框架与特征抽取

3．1 视频检索意图强度识别框架

3．2 特征设计与提取

3．2．1 基于文本的特征(BTF)

3．2．2 基于视频站点的统计特征(VHSF)

3．2．3 基于搜索引擎结果类型的统计特征(SERP)

3．2．4 基于深度语言模型的特征(VECF)

3．2．5 基于session的特征(USF)

3．3 模型评价指标

3．4 本章小结

第4章 视频检索意图强度识别实验设计与结果分析

4．1 实验数据集分析构造

4．1．1 神马搜索引擎检索日志基本信息

4．1．2 数据抽样与人工标注

4．1．3 实验数据集构造

4．2 数据预处理

4．3 实验结果与分析

4．3．1 文本特征选择方法对分类结果的影响

4．3．2 特征组合对分类结果的影响

4．3．3 不同分类模型结果对比

4．3．4 训练样本数对分类结果的影响

4．4 本章小结

第5章 视频检索意图强度时序变化分析挖掘

5．1日志数据切分

5．2 视频检索串分类和抽取

5．3 模型预测和实验结果分析

5．4 本章小结

第6章 总结与展望

参考文献

攻读硕士学位期间主要经历

致谢