一种基于新颖度的中文新词发现方法

摘要

本发明涉及一种基于新颖度的中文新词发现方法，包括将所有候选新词的新颖度从大到小排序，取中间值作为阈值，过滤掉小于阈值的所有词后形成新词库并进行新词输出。本发明是基于N‑gram算法建立了二元语料模型，并在二元互信息基础上，结合词语特征，给出了三元到N元互信息的表示方式，并采用互信息与邻接熵阈值过滤。针对互信息只能表现词语出现概率大小，而不能体现是否新词的特点，以旧语料为筛选来源，引入了新颖度来优化和过滤新词候选集合。基于现有准确率和召回率等新词发现评价指标计算复杂、不确定性大的不足，提出了新的t‑MP评价指标替换原来的准确率、召回率和F‑value说明新词发现的结果有效性。使用户可以根据所需发现新词的数量和置信程度来从排序的候选新词中获取最佳新词。