通过预计算优化搜索引擎分词的方法及搜索引擎分词装置

摘要

本发明提出一种通过预计算优化搜索引擎分词的方法，包括以下步骤：按照Trie树子节点的数目对分词词典中字符进行编码以生成序列码，其中，对所述Trie树子节点的数目多的字符优先进行编码；根据所述序列码进行预计算以生成双数组Trie树的第一数组和第二数组；根据所述序列码、所述第一数组和所述第二数组在所述分词词典中进行分词查询。本发明提高了搜索引擎分词的空间利用率，加快了分词模块的载入速度，增强了线上服务的稳定性。本发明还公开了一种搜索引擎分词装置。