基于聚类与深度学习的自监督文本摘要方法

摘要

针对文本聚类过程中无法对多义词有效表征而导致的聚类效果低,引入Bert预训练语言模型增强句向量的语义表示,将生成的句向量利用K-Means算法进行聚类,选择最接近质心的句子作为此段文本的初始摘要;针对基于深度学习的生成式方法标签语料难获取,以及抽取式摘要可读性低的问题,将初始摘要作为语料标签,引入文本生成能力更强的GPT-2语言模型进行训练,最后得到最终摘要.实验结果表明,此自监督式摘要方法生成的摘要文本质量有所改善,一定程度上缓解了摘要标签获取困难的问题.