一种适用于专业搜索引擎的分词方法

摘要

本发明公开了一种适用于专业搜索引擎的分词方法，包括以下步骤：根据专业主词典表和同义词词典表首先建立首字索引视图和首字词条视图；用数组将整个字典的两个视图数据装入内存；循环查找和匹配过程。做为专业搜索引擎其搜索对象通常是专业领域的技术文档，这些文档的特征项都基于专业词典，与通用词典相比专业词典包含的词汇量很少，因此只需匹配专业词条即可，无需像综合搜索引擎那样对句子中所有词条进行全部切分，因此本发明受首字哈希结构的启发，设计了一种可以提高专业分词的效率，避免传统最大匹配分词中频繁查词典的缺陷，以及首字哈希浪费存储空间的弊端的简单实用的分词方法。