基于迁移学习的小规模医学领域文本摘要生成模型

摘要

随着人们对不同领域知识需求的增长,跨领域学习已经成为了当前人们所要面对的一项迫切任务。然而专业领域较强的文本对通用型学习者而言,因其晦涩难懂往往不能获得理想的阅读体验,因此对这些文本进行内容建模并生成可读性的专业领域摘要标题具有重要意义。以医学领域专业性较强的小规模文本数据为研究对象,提出了基于迁移学习的Seq2Seq(序列到序列)模型对文本内容进行摘要标题生成,并通过参数优化实现跨领域模型同参的效果;同时通过在预训练模型中加入随机嵌入位置层对长文本限制进行弱化,这使得模型具有更强的自适应性。实验结果表明,所提模型在小规模医学文本摘要生成任务中的表现优于标准的Seq2Seq模型并与人工处理结果具有较高的匹配度。