基于人工智能的预训练语言模型的处理方法、装置及设备

摘要

本发明公开了一种基于人工智能的预训练语言模型的处理方法，应用于人工智能技术领域，用于解决现有的分类模型对一词多义的语句理解能力弱的技术问题。本发明提供的方法包括：构建文本样本语句；通过该文本样本语句对待训练的预训练语言模型进行第一阶段预训练；当该待训练的预训练语言模型的输出对该文本样本语句的输出与该文本样本语句所属的类别相同时，得到训练好的预训练语言模型；将训练好的该预训练语言模型作为分类模型的编码器，将训练好的该预训练语言模型的参数作为该编码器的初始参数，在该编码器之后构建全连接层，得到初始分类模型；根据该初始分类模型的应用需求，对该初始分类模型进行第二阶段训练，得到训练好的分类模型。