带有GRU单元的通用句嵌入算法研究

摘要

在自然语言处理领域,将词语和句子转换成定长稠密向量的算法被称为词嵌入和句嵌入算法。句嵌入算法的主要目的是寻找通用的嵌入表达,使该表达中包含句子的特征,蕴含句子语义情感等信息,并能够在自然语言处理中的其他下游任务中作为输入值使用。目前主流的句嵌入算法多为有监督的方法,能在一些具体的自然语言处理任务中提供很好的表现,但是通用性不足,而且需要针对具体的任务寻找不同的标签语料库,对语料库的要求较高。而无监督的方法能够很好地解决这些问题,因此使用无监督的RNN编码解码器模型去训练更具有通用性的句嵌入模型。并使用固定窗口大小的句子上下文信息来构建损失函数,从而使向量表达更为准确。