基于ELasticsearch的智能移动搜索引擎的研究与实现

摘要

快速发展的移动互联网改变了人们的生活方式，人们可以随时随地用手机享受各种生活服务，互联网企业也在手机上投放各种各样移动端的产品。用户在与各种移动设备的交互过程中会产生大量的交互信息，这些交互信息成为了移动产品为用户提供个性化服务的主要依据。然而在浩瀚无边的数据海洋之中，如何高效快速地从某一领域的海量数据中检索出用户所需要的个性化信息成为了现代搜索引擎发展的一大难题。传统的全文搜索引擎已经不能满足人们对于搜索结果个性化、地域化、实时化的需求，针对特定领域的移动垂直搜索引擎成为了帮助用户随时随地检索个性化信息的重要工具。
　　针对上述问题，本文构建了一个移动互联网环境下针对本地生活服务领域的智能移动搜索引擎，帮助用户快速准确地找到称心如意的本地生活服务。
　　本文的主要工作如下:
　　（1）本文分析了国内外搜索引擎产品、架构以及结果排序方法的研究现状及发展趋势，结合移动互联网多终端、可定位的特点，在Elasticsearch的基础上构建移动互联网搜索引擎。考虑到移动互联网可定位的特点，使用了地理位置检索过滤出用户所处坐标5km内的商家作为待排序对象。根据移动互联网多终端的特点，构建RESTful API，使得搜索引擎可以通过一套统一的接口为多终端提供服务。
　　（2）本文构建了基于XGBoost的商家排序模型。为了给用户提供个性化的搜索结果，将用户与商家的交互信息当做特征训练模型，使用交叉验证的方式进行模型参数调节和特征选择。本文还使用Redis对用户和商家的特征数据进行缓存，通过并行预测的方式加快模型预测商家得分的速度。
　　（3）本文使用Apache Bench对服务接口的性能进行测试，经过测试，接口有支持瞬间高并发请求的能力，并且接口的TP99指标满足人类处理信息的延迟要求，证明了系统的可用性。通过对照实验的方式对模型效果进行评估，对重排序结果和Elasticsearch默认排序结果进行对照，使用模型排序后的搜索结果明显优于Elasticsearch的默认排序结果，证明了系统的智能性。

目录

第一个书签之前

摘要

Abstract

Content

1 绪论

1.2 国内外研究现状

1.2.1 搜索引擎产品研究现状

1.2.2 搜索引擎架构研究现状

1.2.3 搜索引擎结果排序方法研究现状

1.3 本论文的主要工作和组织结构

1.3.1 主要工作

1.3.2 组织结构

2.1.1 Apache Lucene 介绍

2.1.2 Elasticsearch 介绍

2.2 Thrift 介绍

2.3 树模型介绍

2.3.1 CART 介绍

2.3.2 Boosting Tree 介绍

2.3.3 XGBoost 介绍

2.5 本章小结

3 基于 Elasticsearch 的移动搜索引擎

3.1 数据介绍

3.2 系统架构以及主模块介绍

3.3 接口设计说明

3.3.1 各模块参数介绍

3.3.2 接口介绍

3.4 召回模块

3.4.1 Elasticsearch 子模块

3.4.2 查询分析

3.4.3 索引建立

3.4.4 搜索结果召回

3.5 重排序模块

3.5.1 缓存设计

3.5.2 并行预测

4 基于 XGBoost 的搜索结果排序模型

4.2 特征工程介绍

4.2.2 人工选择特征

4.2.3 数据规范化简介

4.2.4 独热编码简介

4.2.5 用先验算法挑选特征

4.3 模型的评价标准

4.4 交叉验证介绍

4.5 模型参数调节

4.6 本章小结

5.1 实验环境以及设置

5.2 性能测试

5.2.1 Apache Bench 介绍

5.2.2 TP 指标介绍

5.3 算法效果

5.3.2 Elasticsearch 默认排序与加入模型加成后排序效果的对比

5.4 本章小结

6 总结与展望

6.1 总结

6.2 展望

致谢

攻读硕士期间主要成果

参考文献