具有概念联想功能的特定领域分词词典的自动构建

摘要

提出了一种基于PAT树型结构的高频字串提取的改进算法,并以此用来获得特定领域网页中的未登录词集合,利用基于语义距离的概念相似度计算公式来获得任一概念的相关概念,从而给出了用于特定领域搜索引擎的语义词典完整的自动构建方法.将生成的语义词典用于搜索引擎FlyingSender中.实验结果证明新的词典比原有的手工构建的词典分词效果要理想得多,而且提供了概念联想的功能.