一种基于潜层关系的文本生成模型

摘要

文本序列中各要素之间的依赖关系对于文本生成有重要影响,现有文本生成模型未能充分利用要素之间潜在的相互关系信息,导致文本生成具有很大局限性.为解决上述问题,提出一种融合关系网络的瓦瑟斯坦自动编码器(RN-WAE)模型,WAE在解决变分自动编码器训练困难的同时保留了生成结果的多样性,RN则加强了要素之间的联系,以此获得蕴含更丰富关系信息的潜层表示,使得RN-WAE模型能充分利用要素之间的联系与整体序列的结构化信息,最终生成更加多样化且合乎语法的句子.实验结果表明,该模型在PTB、Yahoo等数据集上都具有比普通WAE模型更好的性能.