实现Lucene接口的中文分词器的比较研究

摘要

Lucene自身提供的StandardAnalyzer虽然已经具备中文分词的功能,但是其分词正确率和切分速度不能够满足大多数应用的需要.为更好处理中文信息,必须引用独立的外部中文分词器.基于这种需求,文章对ChineseAnalyzer、CJKAnalyzer、IKAnalyzer、mmseg4j、imdict - chinese -analyzer和庖丁解牛6种主流中文分词器分别进行测试,并根据测试结果对分词效果做出评估.