基于双哈希结构的整词二分词典机制

摘要

为提高逆向最大匹配分词算法的速率,分析传统的整词二分词典机制,针对哈希结构尾字词典的不足,提出一种基于双哈希结构的整词二分词典机制,并改进对应的逆向最大匹配算法.利用记录词长的尾字词典机制,使用双哈希结构保存词条,降低词典的词条匹配时间复杂度.实验结果表明,该词典机制将逆向最大匹配算法的分词速率提高近一倍.