基于句法分析与词向量的领域新词发现方法

摘要

很多已经存在的词汇和词组可能会被运用于它们之前从未被运用过的领域文本中,这样的词汇或词组被称为领域新词.领域新词的发现可以为该领域的研究人员提供最新的领域发展动态,帮助其分析该领域的最新舆情,因此具有非常重要的意义.针对领域新词发现这一问题,文中提出了一种基于依存句法分析与词向量的领域新词发现方法.首先,提出了句法词典的概念,并基于依存句法分析,结合TF-IDF值的计算,提出了构建领域句法词典的方法;然后,使用领域句法词典,结合词向量技术,完成了领域新词发现方法的设计;最后,使用来自于护肤品论坛的真实文本数据集对所提方法进行了正确性验证.实验结果表明,构建的句法词典的质量较高,所提方法在进行领域新词发现时具有良好的性能.