基于生成式对抗网络的自然语言处理文本建模

摘要

提供了用于实施用于自然语言处理的生成式对抗网络(GAN)的机制。利用这些机制，GAN的生成器神经网络被配置为基于噪声向量输入生成n元语法袋输出，以及GAN的鉴别器神经网络被配置为接收BoN输入，其中BoN输入是来自生成器神经网络的BoN输出，或者是与自然语言文本的实际部分相关联的BoN输入。这些机制进一步配置GAN的鉴别器神经网络，以输出关于输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的概率的指示。此外，该机制基于反馈机制训练生成器神经网络和鉴别器神经网络，该反馈机制将来自鉴别器神经网络的输出指示与输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的指示进行比较。