自然语言场景下增量知识构造与遮蔽回放策略

摘要

在增量学习中,随着增量任务的数量增多,模型在新增任务上训练后,由于数据分步偏移等一系列问题,模型对旧任务上所学到的知识发生灾难性遗忘,致使模型在旧任务上性能下降.对此,本文提出了基于知识解耦的类增量学习方法,分层次的学习不同任务共有知识与特有知识,并对这两种知识进行动态的结合,应用于下游的分类任务中.并在回放学习中运用自然语言模型的遮蔽策略,促进模型快速回忆起先前任务的知识.在自然语言处理数据集AGNews、Yelp、Amazon、DBPedia和Yahoo的类增量实验中,本文所提出的方法能有效降低模型的遗忘,提高在各个任务上的准确率等一系列指标.