一种基于预训练模型的阅读理解去偏方法

摘要

本发明提供一种基于预训练模型的阅读理解去偏方法，包括：以预训练模型BERT嵌入层为基础构建文本表示层，设定模型输入为文章‑问题构成的句子对，将输入句子映射为句子向量；对位置编码进行两次随机正则化操作，得到两个随机子模型并计算KL散度，评估其输出分布差异性，更新句子向量输入BERT编码器；将BERT编码器最后一个隐层输出通过全连接层与分类器，以交叉熵损失与KL散度之和计算样本的预测损失，在模型训练过程中根据样本的预测损失优化预训练参数，去除阅读理解位置偏差。本发明利用dropout技术正则化位置编码的基础上，通过在训练中拉低两次dropout产生的随机子模型分布的KL散度来约束随机性，提高模型对位置偏差鲁棒性的同时恢复答案预测准确度。