融合自注意力机制的长文本生成对抗网络模型

摘要

近年来,人类与计算机之间的通信已经达到密不可分的程度,因此自然语言处理作为人类与机器进行交互的技术越来越受到研究者的关注,文本生成是自然语言处理中的常见任务之一,目前生成对抗网络在文本生成领域广泛使用并且性能优异。针对传统生成对抗网络判别器的标量指导信号稀疏性问题和仅能学习文本局部语义信息的限制,提出了一种基于多头自注意力机制与LeakGAN结合的模型(SALGAN)。首先,采用融入多头自注意力机制的CNN模型作为特征提取器提取特征向量,以增强特征提取能力;其次,判别器提取的特征作为逐步指导信号发送给生成器以指导生成器生成文本,使得生成的文本更倾向于参考文本;最后,生成器完成文本生成后传递给判别器判断真假,确认文本是否符合人类语言标准。在两个真实数据集COCO图像字幕和EMNLP2017新闻上进行实验,采用BLEU指标进行评估。实验结果表明,将多头自注意力机制融入CNN模型后文本包含全局语义信息,CNN模型的特征提取性能有明显的提升。