使用特定于上下文的词向量的自然语言处理

摘要

提供了用于自然语言处理的系统。在一些实施例中，该系统包括用于为至少一个词输入序列生成特定于上下文的词向量的编码器。使用用于执行第一自然语言处理任务的训练数据对所述编码器进行预训练。神经网络使用该特定于上下文的词向量对所述至少一个词输入序列执行第二自然语言处理任务。所述第一自然语言处理任务不同于所述第二自然语言处理任务，并且所述神经网络与所述编码器分开训练。在一些实施例中，所述第一自然处理任务可以是机器翻译，而所述第二自然处理任务可以是情感分析、问题分类、蕴含分类和问题回答之一。