基于改进遮盖策略的BERT实现文本摘要

摘要

文本摘要任务是自然语言处理中一个重要的学科。基于提高在中文数据集上生成的文本摘要效果的目的,该文通过调整数据预处理阶段的分词方式和生成词向量的方式,以及改变在BERT预训练阶段MLM任务中的Mask策略,在LCSTS数据集上,进行抽取式文本摘要生成的实验。实验结果表明,在同一中文数据集上,改进模型生成的文本摘要的评价指标Rouge_F相较于原始BERT模型提高了10%~17%。对数据进行中文分词预处理和在BERT中采取动态的Mask策略能够提高中文文本摘要的效果。