中文分词算法在工程建设材料搜索中的研究与应用

摘要

传统的搜索引擎一般使用两种技术来实现对信息的检索。一种是使用网站分类技术，但是它具有成本较高、对网站的描述过于简略、不能深入网站的内部细节等缺陷，因此用户查询不到网站内部的重要信息，造成了信息丢失。另一种是使用全文检索技术，目前在大多数搜索引擎中的全文检索使用的都是基于关键词匹配。基于关键词匹配的搜索技术有较大的局限性，首先，它不能区分同形异义；其次，不能联想到关键词的同义词。若使用中文分词算法技术，搜索引擎就可以自动分析中文，进行自动分词处理，并自动提取关键词，建立以关键词为基础的查询数据库，因而降低了系统开销，大大提高了查询效率。它充分考虑到中文语句的表达结构以及丰富多样的词语表达，通过“口语化的提问，智能化的结果”来满足广大用户的各种查询需求。通过识别用户的自然语言，帮助用户在最短的时间得到最详细最准确的答案，为用户提供方便和快捷的服务。
　　 该系统使用Delphi7.0和Access数据库开发，实现了工程材料信息的搜索、管理，使得对信息的搜索更加准确、高效，提高了工作效率。该工程材料信息搜索系统具有一般信息搜索系统的功能，主要包括材料搜索区和管理区，可为材料采购员提供材料信息的搜索，为各个材料提供商添加、删除、修改材料信息，为系统管理员提供整个系统的维护、管理的服务。

目录

文摘

英文文摘

声明

第一章绪论

1.1本课题的来源和意义

1.2本选题研究领域历史、现状及发展趋势分析

1.3建立工程建设材料价格信息搜索系统的必要性

1.4本课题研究主要内容及本文组织结构

第二章中文分词算法研究与改进

2.1什么是中文分词

2.2中文分词技术简述

2.2.1基于字典、词库匹配的分词方法(机械分词法)

2.2.2基于理解的分词方法

2.2.3基于统计的分词方法

2.2.4分词中的难题

2.2.5中文分词的应用

2.3最大匹配法分词的缺陷

2.3.1长度限制

2.3.2效率低

2.3.3掩盖分词歧义

2.3.4最大匹配的并不一定是想要的分词方式

2.4改进的中文分词算法

2.4.1改进目标

2.4.2算法的突破口—词库

2.4.3中文分词算法设计

本章小结

第三章开发工具及相关技术简介

3.1开发工具

3.2相关技术简介

3.2.1 Delphi简介

3.2.2 Access简介

本章小结

第四章可行性研究及需求分析

4.1可行性研究

4.2需求分析

4.2.1系统需求分析

4.2.2系统的运行环境

4.3系统结构设计

4.3.1系统的总体设计

4.3.2系统的客户端用例模型

4.3.3系统的服务器端设计

本章小结

第五章数据库设计

5.1数据库的基本概念

5.1.1数据库

5.1.2数据库管理系统

5.1.3数据库应用程序

5.2 E-R图分析

5.3建立表结构

本章小结

第六章系统服务器端数据库配置

6.1数据模块窗体设计

6.2数据库连接代码设计

本章小结

第七章系统的实现

7.1服务器端的实现

7.1.1服务器端窗体设计

7.1.2服务器端运行情况

7.2客户端的实现

7.2.1用户登录功能的实现

7.2.2搜索材料功能的实现

7.2.3材料库维护功能的实现

7.2.4用户管理模块的实现

7.2.5分词库维护模块的实现

7.3系统部分重要功能及其代码

7.3.1服务器端数据初始化

7.3.2分词算法的实现

本章小结

第八章系统测试

8.1软件测试的概念

8.2软件测试的目的和原则

8.2.1软件测试的目的

8.2.2软件测试的原则

8.3系统测试的具体步骤

8.3.1单元测试

8.3.2集成测试

8.3.3确认测试

8.3.4系统测试

结 论

参考文献

攻读硕士学位期间发表的学术论文

致 谢