基于Masked-Pointer的多轮对话重写模型

摘要

针对多轮会话中的Non-Sentential Utterances(NSUs)问题,结合当前在自然语言处理领域广泛使用的预训练语言模型,将Masked Language Model用于多轮会话NSUs的重写任务,提出Masked Rewriter Model。与基于Seq2Seq的重写模型相比,重写效果提升明显。根据NSUs重写任务特点,将Masked Language Model与Pointer Network相结合,提出基于Masked-Pointer Rewriter Model的多轮会话重写模型,利用指针网络,提升重写模型对上文信息的关注程度,在BERT Masked Rewriter模型的基础上进一步提升重写效果。