基于词内部结合度和边界自由度的新词发现

摘要

新词发现作为自然语言处理领域的一项基础研究,一直受到学术界和企业界的广泛关注.将新词发现问题转换为确定词语边界问题.首先对语料进行中文分词,然后统计“散串”,最后提出一种基于词内部结合度和边界自由度的新词发现方法.通过在大规模语料上进行新词发现实验,验证了该方法的有效性.今后的研究重点将放在如何有效地识别低频新词上,以提高系统的整体性能.