分词词典的生成方法和装置及分词处理方法和装置

摘要

本发明提出一种分词词典的生成方法和装置及分词处理方法和装置，该分词词典的生成方法包括获取原始句语料；对所述原始句语料进行切分，得到分词，并对所述分词进行过滤，得到过滤结果，所述过滤包括如下项中的至少一项：基于词频和逆频率的过滤，基于边界的过滤，基于拼接的过滤；根据所述过滤结果生成分词词典。该方法能够不依赖人工筛选和分词器，可以识别未登录的词条，从而提高分词词典的生成速度和效果。