基于全文检索的Segmenter分词算法改进

摘要

流行的Segmenter分词算法是开放的java源代码，它是一个很好的分词工具。但是，在全文检索系统中对分词有特殊的要求，例如歧义包客、专业词典等。所以在这里将Segmenter词典和算法都进行了改选，建立了树状词典，在匹配算法中使用了歧义包容法则、分支处理、动态规划和词库预载入。以适应电子商务案例全文检索系统。