基于分层信息过滤的生成式文本摘要模型

摘要

文本摘要模型的输入数据中通常包含被视为噪声的冗余信息,对输入数据中的噪声进行过滤可以提高摘要模型的表现。提出了基于动态路由指导的分层信息过滤(Dynamic Routing Based Hierarchical Information Filtering,DRBHIF)层,该层首先通过动态路由模块根据编码器的输出动态地计算全局向量,然后根据全局向量从词层面和语义层面对输入文本中的噪声进行过滤。具体来说,首先通过全局向量和编码器的输出从词层面上对原文中的关键字进行选择,然后通过双门语义噪声过滤算法在语义层面上进行噪声过滤。在Gigaword和CNN/Daily Mail两个数据集上的实验结果表明,DRBHIF能够有效地对输入文本中的噪声进行过滤,并且能提升摘要模型的表现。