基于模板匹配需求识别的方法研究与应用

摘要

传统的搜索引擎的搜索方式是基于倒排索引的全文检索，也就是根据搜索语句查询索引库中的检索方式，并没有很好地利用搜索语句所表达的含义，这样就不能准确识别出用户的具体需求，势必会给用户带来更大的搜索成本。垂直搜索的引入解决了传统搜索引擎的这一不足，而实现垂直搜索首先就是要识别用户搜索语句的含义，这也是自然语言处理所要解决的问题。
　　本文设计了基于模板匹配的需求识别算法，并在这个需求识别算法的基础上针对股票垂直类目词典挖掘的具体应用进行了设计与验证，提出了相关的数据结构和算法。为了设计需求识别算法和股票垂直类目词典挖掘方案，本文研究了相关词典查找技术，并介绍了本文中使用的机器学习分类技术和海量数据处理技术。
　　首先，本文研究与讨论了需求识别算法以及股票垂直类目词典挖掘的常用的相关技术，包括相关数据结构与算法、常用机器学习算法以及本文中使用的海量数据处理相关技术，包括MapReduce分布式编程模型。
　　其次，本文在前面介绍的相关技术的基础上，设计了基于模板匹配的需求识别算法，介绍了具体的设计思路，设计了相关数据结构和算法。在设计的基于模板匹配的需求识别算法的基础上，本文针对一个具体应用场景—股票类目Query需求识别，设计股票垂直类目相关词典挖掘方案，主要关注于特征的选择，并应用机器学习经典算法逻辑回归进行分类。
　　最后，本文基于前面的设计，针对具体的应用对实验环境、实验数据和实验过程进行了详细的介绍，并对本文挖掘出的股票类目模板词典、专名词典的召回率和准确率进行了评估。
　　实验结果表明，本文设计的需求识别算法可以很好地识别用户的搜索语句的具体需求，并且本文设计的股票需求识别挖掘方案具有很好的召回率和准确率。

目录

声明

摘要

第一章 引言

1．1 研究背景

1．2 问题的提出

1．3 本文的主要工作

1．4 论文的结构安排

第二章 论文相关技术研究

2．1 词典查找技术

2．1．1 Hash技术

2．1．2 Trie树

2．1．2 双数组Trie树

2．2 机器学习分类技术

2．2．1 机器学习分类技术概述

2．2．2 感知机模型

2．2．3 逻辑回归模型

2．3 海量数据处理相关技术

2．3．1 海量数据处理技术概述

2．3．2 GFS技术原理

2．3．3 BigTable技术与原理

2．3．4 MapReduce编程框架

2．4 本章小结

第三章 基于模板匹配的需求识别算法设计

3．1 设计思路

3．2 相关数据结构设计

3．2．1 基于Hash加数组的Trie树设计

3．2．2 节点的数据结构

3．2．3 Hash表设计

3．3 需求识别算法设计

3．3．1 Trie树的建立算法

3．3．2 Trie树的解析匹配算法

3．3．3 模板匹配时间复杂度分析

3．4 本章小结

第四章 基于模板匹配的股票类目需求识别词典挖掘

4．1 股票类目需求识别整体方案说明

4．2 股票类目模板挖掘

4．3 股票类目专名挖掘

4．3．1 股票候选专名挖掘

4．3．2 股票专名验证

4．3．3 股票同义词挖掘

4．4 评估方案设计

4．5 本章小结

第五章 实验验证

5．1 实验环境

5．2 实验数据

5．3 股票类目挖掘实验过程

5．4 Query识别实验结果

5．5 挖掘结果评估

5．6 本章小结

第六章 总结与展望

6．1 总结

6．2 展望

参考文献

攻读硕士期间的研究成果

致谢