基于反事实推理的阅读理解去偏方法

摘要

目前,阅读理解模型在一些数据集上已经达到甚至超越人类水平。但研究表明,模型很可能利用数据集偏见,不需要理解原文进行推理就能完成任务,导致模型泛化性下降。针对此问题,提出一种基于反事实推理的阅读理解去偏方法,在原始训练集上训练得到模型,并基于选项与问题构建反事实输入,提取模型捕捉到的偏见,最后结合模型的原始输出和反事实输出调整模型预测,实现偏见消除。在中英文代表性阅读理解数据集C3、Dream上开展充分实验,结果显示该方法在这两种数据集上的性能分别提升2.31%、1.21%,具有一定的消偏能力。