语言模型的微调方法、装置、计算设备和存储介质

摘要

本发明公开了一种语言模型的微调方法、装置、计算设备和存储介质，包括：获取预训练好的语言模型、词组，所述词组包括离散的模板提示词和离散的标签词；设计微调语言模型的输入数据，所述微调输入数据包括文本语句、模板提示词以及遮蔽令牌；根据输入数据和标签词对语言模型进行遮蔽令牌预测任务的有监督学习，以优化语言模型的模型参数。通过弥合预训练的语言模型和微调的语言模型之间的差距，从而使微调的语言模型在下游的遮蔽令牌预测任务上表现更好；全量样本情况下，本方法相对传统微调方法效果较好，在少样本情况下，本方法效果提升更加显著，能够减少大量参数的计算成本，降低计算设备的计算开销。