多语言BERT序列标注模型的压缩方法及系统

摘要

本发明提供了多语言BERT序列标注模型的压缩方法及系统，涉及BERT类模型的知识蒸馏技术领域，该方法包括：步骤1：基于Wordpiece算法从多语语料中抽取词表；步骤2：对多/单语言BERT教师模型、多语言BERT学生模型进行预训练；步骤3：基于人工标注的下游任务数据对多/单语言BERT教师模型进行微调；步骤4：利用多/单语言BERT教师模型对预训练后的多语言BERT学生模型进行残差知识蒸馏；步骤5：基于人工标注的下游任务数据对蒸馏后的多语言BERT学生模型进行微调。本发明通过残差学习和多对一的知识蒸馏方式，提高了学生模型的准确率和泛化程度，降低了多语言环境下BERT类序列标注模型部署所需的硬件资源。