一种基于领域差异性的新词提取方法

摘要

本发明涉及一种基于领域差异性的新词提取的方法，属于自然语言处理应用技术领域。本发明首先通过比较不同领域间字分布的差异性，获得差异字种子，然后通过n‑gram方式拓展差异字种子，构建候选词集，接下来根据领域差异大小去除候选词集合中的重复词，最后对候选词集合中每一个词，分别以领域差异值、凝合度，以及成词率作为衡量标准，剔除领域差异较低的候选词得到新词。对比现有技术，本发明通过利用不同语料领域间差异信息，选取种子字，并通过n‑gram拓展获得候选词集合；然后再次利用词本身以及领域间差异信息，自动地选择候选词中的新词，从而明显提高了新词发现的数目和准确度。