基于知识蒸馏的语言模型训练方法、文本分类方法及装置

摘要

本公开是关于一种基于知识蒸馏的语言模型训练方法、文本分类方法、基于知识蒸馏的语言模型训练装置、文本分类装置、电子设备及非临时性计算机可读存储介质。基于知识蒸馏的语言模型训练方法，包括：第一词向量层参数确定步骤和语言模型训练步骤。文本分类方法包括：获取待分类文本；基于待分类文本，通过提取得到待分类文本的关键词编码列表；根据关键词编码列表，通过语言模型，得到待分类文本对应的各关键词的词向量；进而通过文本分类层，得到待分类文本的分类结果。采用知识蒸馏的方法，保留模型准确性的同时，减少了对标注样本的依赖，且通过简化模型结构，有助于加快推理速度，从而提升文本分类方法在智能辅助定密系统中的适用性和可靠性。