语言模型的训练方法、文本匹配方法及相关装置

摘要

本申请公开了一种语言模型的训练方法、文本匹配方法及相关装置，本申请提供的方案能够通过粒度划分，将目标领域的高频词语融入第一训练文本，并以SOP任务和MSP任务为第一阶段的训练任务，采用该第一训练文本预训练语言模型。由此，在预训练阶段，该方法不仅能够让语言模型学习到通用领域的知识，还能够学习到目标领域的知识。并且，该方法还能够以文本匹配任务为第二阶段的训练任务，采用从目标领域获取到的第二训练文本训练语言模型，从而使语言模型能够更广泛地学习到该目标领域的基础知识。由此，可以增加该语言模型的泛化能力，从而确保模型的训练效果。