移动终端本地资源搜索引擎的研究与设计

摘要

随着传统互联网和移动通信网络的快速发展，网络侧及对应的终端侧数据的种类和数量也得到了快速的发展，如何快速的获取用户所需要的数据成为了亟待解决的问题。 针对以上问题，相应的搜索技术及业务系统不断涌向。具体包括面向传统互联网的搜索系统，例如Google、Baidu、Yahoo等；面向传统PC（Personal Computer）中存储的数据的检索系统，例如Google Desktop、MSN Toolbar Suite、Yahoo Desktop Search等；面向移动通信系统的网络侧数据检索系统，例如Google推出的短信搜索、中国移动梦网搜索业务以及中国移动的语音搜索等。 在互联网、电信网以及PC发展的同时，以手机为代表的移动终端技术及产品也得到了快速的推广，移动终端的处理能力和存储容量越来越高，移动终端支持的业务种类和数据类型也在不断的增多，移动终端正在逐渐的成为用户的最重要的数据仓库。随着移动互联网的发展，移动终端的数据种类和数量将得到进一步的增加。因此如果针对移动终端自身的特点，根据用户的数据获取需求，快速的检索到存储在移动终端上的用户所需的用户数据，成为了一个需要迫切解决的问题。 根据以上背景，本文设计了移动终端本地资源搜索引擎MDSE（Mobile Device Search Engine）系统。本文首先对移动终端的软硬件特点进行了总结和归纳，同时对用户的业务需求进行了详细的分析，明确了本系统的目标。同时，本文就当前的检索技术进行了系统的分析，包括当前搜索系统的主要流程，流程各个环节的主要技术，关键问题及主要解决方案等；本文对当前流行的开源软件包Lucene也进行了系统的分析。根据业务需求及移动终端自身的特点，以前对当前主要搜索技术的分析，本文设计了适合移动终端特点及业务需求的引擎系统，即MDSE系统。本文对该系统的总体架构、检索主要流程、流程各个环节的主要技术及算法等进行了详细的阐述。 本文设计了一种移动终端上可行的“高频词优先的逐字二分分词词典机制”；设计并实现了一种移动终端上收集用户历史操作文档，清洗用户搜索日志，并完善终端初始的关键词词库的方法；同时设计并实现了一种适用于移动终端的未登录词识别方法。针对“高频词优先的逐字二分分词词典机制”以及未登录词识别算法，本文给出了仿真结果。对索引及检索和排序部分，本系统充分的借鉴了Lucene算法的实现。最后，我们根据开发的原型系统，对系统的功能和性能进行了测试，并对测试数据进行了分析。

目录

文摘

英文文摘

声明

第一章 背景介绍

1.1.网络搜索引擎

1.1.1.网络搜索引擎的分类

1.1.2.网络搜索引擎的发展方向

1.2.桌面搜索引擎

1.2.1.桌面搜索引擎的出现

1.2.2.典型产品

1.3.移动互联网及移动终端搜索引擎

1.3.1.移动互联网的发展

1.3.2.移动互联网搜索技术的发展

1.3.3.移动终端桌面搜索需求的产生

第二章 终端自身特点及系统功能需求分析

2.1.移动终端特点概述

2.1.1.硬件

2.1.2.操作系统

2.1.3.业务应用

2.2.移动终端搜索需求

第三章 主要搜索技术分析

3.1 搜索流程分析

3.2 流程各模块主要功能及相关算法分析

3.2.1.结构统一化

3.2.2.分词

3.2.3.索引建立

3.2.4.查找

3.2.5.结果排序及展现

3.3 Lucene算法分析

3.3.1.Lucene概述

3.3.2.Lacene架构

3.3.3.Lucene流程原理

第四章 方案论证及设计

4.1.引擎的架构

4.2.业务流程介绍

4.3.各模块及其关键算法设计

4.3.1.分词词典及词典更新模块设计

4.3.2.分词模块设计

4.3.3.索引建立及优化模块设计

4.3.4.检索词处理模块设计

4.3.5.结果排序及展现模块设计

第五章 实验结果分析

5.1系统功能测试

5.2系统性能测试

第六章 结束语

参考文献

致谢

攻读学位期间发表的学术论文