一种预训练语言模型的训练方法、存储介质及服务器

摘要

本发明提供了一种预训练语言模型的训练方法、存储介质及服务器，该训练方法通过利用特定场景的文本语料对通用领域的语言模型进行预训练，所得到的专业领域的预训练语言模型可以更好地捕捉到特定场景下文本语料中的独有信息。通过分词工具分词，使得整体的词语作为是否被遮蔽的目标，能够加大语言模型的训练难度，提升语言模型的语义理解能力，进而提升经过训练所获得的预训练语言模型的准确性。增加的每条文本的类别标签信息也富有丰富的语义信息，通过加入类别标签信息，能够更好的让预训练语言模型理解整体的语言效果。改善采用预训练语言模型处理下游的自然语言处理任务过程中的准确性及效率。