基于主题-词向量的多粒度特征协同表达多义词研究

摘要

词向量作为一种新型的文本表示模型,目前在自然语言处理任务中取得了良好的效果,但是词向量无法很好处理文本中存在的多义词问题。文中深入研究Word2Vec词向量的生成机制,针对一词多义现象,提出“主题-词向量”的概念,该概念可以同时刻画粗粒度的主题信息和细粒度的词向量信息,协同表达多义词,较好地缓解多义词在不同语境下的语义区分问题,并设计了一个基于Skip-Gram的改进模型实现对主题-词向量的计算。最后运用主题-词向量进行多义词表示及文本分类的实验。实验结果表明,提出的“主题-词向量”概念及其实现模型能更好地完成混合了多种语义的文本分类问题。