新词发现中的字符串过滤方法

摘要

本发明公开了一种新词发现中字符串过滤方法，该方法包括：步骤A、抽取候选字符串；步骤B、估计候选字符串的成词概率；步骤C、将成词概率大于第一预设阈值的候选字符串作为词语串输出。本发明所述方法在区分垃圾串和词语串时使用了概率估计方法，通过词的上下文约束和词位的成词概率来给字符串排序，同时采用了N元搭配来过滤垃圾串。本发明所述方法的优点在于：1）支持任意长度的新词发现（大于等于2个汉字）；2）识别准确率明显提高；3）计算复杂度低，符合工程实用的目的。