基于BERT模型与知识蒸馏的意图分类方法

摘要

意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于B E RT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法.然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程.提出一种知识蒸馏意图分类方法,以预训练后的B E RT作为教师模型,文本卷积神经网络Text-CNN等小规模模型作为学生模型,通过生成对抗网络得到的大量无标签数据将教师模型中的知识迁移到学生模型中.实验数据包括基于真实场景下的电力业务意图分类数据集,以及通过生成对抗网络模型生成的大量无标签文本作为扩充数据.在真实数据和生成数据上的实验结果表明,用教师模型来指导学生模型训练,该方法可以在原有数据资源和计算资源的条件下将学生模型的意图分类准确率最高提升3.8个百分点.