基于知识蒸馏的语言模型训练方法、文本分类方法及装置

摘要

本申请公开了基于知识蒸馏的语言模型训练方法、文本分类方法及装置。该语言模型训练方法包括：将训练语料输入到第一模型与第二模型中进行处理，以获取对应的中间层数据以及输出结果；利用对应的中间层数据计算得到第一隐层句子内容以及第二隐层句子内容，并基于第一隐层句子内容与第二隐层句子内容构造对比学习正负例，利用对比学习正负例、对应的中间层数据以及输出结果对第二模型进行训练，并将训练完成后的第二模型确定为语言模型。通过上述分类模型，本申请能够将第一模型丰富的句子语法以及语义表征迁移到第二模型中，使蒸馏获得的第二模型具有更好的迁移能力，从而满足跨领域的应用需求。