一种基于知识蒸馏的多语言模型压缩方法、装置

摘要

本申请提供一种基于知识蒸馏的多语言模型压缩方法、装置，电子设备及存储介质，属于机器学习技术领域。该方法包括：将训练好的N个不同语言的语言模型作为教师模型；通过知识蒸馏算法，利用所述教师模型对学生模型进行训练；其中，所述学生模型的词表中包含所有所述教师模型中的词表。在本申请实施例中，将训练好的N个不同语言的语言模型作为教师模型，通过知识蒸馏算法，利用教师模型对学生模型进行训练，使得最终训练获得的学生模型与现有技术中的多语言模型相比，模型参数少，简化了模型的结构，且在模型参数较少的情况下，还能保证模型的性能、效果。