基于预训练模型的文本摘要优化

摘要

Transformers的双向编码器表示(BERT)是最新的预训练语言模型的代表之一,它成功地解决了一系列自然语言处理(NLP)任务.用于文本摘要的BERT体系结构(BERTSUM)是一个文本摘要模型,在预训练模型BERT作为编码器,使用多个"[CLS]"标签、区间段标签和线性分类器、RNN分类器或Transformer作为分类器的情况下,BESTSUM在抽象和抽取摘要方面都优于其他模型.然而,当数据集太小或训练步骤太长时,BERTSUM可能会出现过拟合现象.提出了一种基于BERT的小数据集句子嵌入方法,并在损失函数中加入了余弦相似性约束来减少过拟合程度.最后在CNN/DailyMail数据集及其较小型版本上测试这些方法.实验结果表明,与BERTSUM相比,该模型提高了抽取式摘要的Recall-Oriented Understudy for Gisting Evaluation(ROUGE)F1分数,并且过拟合的程度更小.