预训练模型训练、文本分类和系统运维的方法和装置

摘要

本发明公开了预训练模型训练、文本分类和系统运维的方法和装置，涉及计算机技术领域。该预训练模型训练的方法的一具体实施方式包括：从训练样本中提取样本模板，基于自注意力机制构建所述样本模板的词向量和位置向量；通过词性分析确定所述样本模板的词性向量，为每个所述词性分配权重系数以得到所述样本模板的词性权重向量；拼接所述词向量、所述位置向量和所述词性权重向量，以拼接得到的向量作为模型输入、所述训练样本所属类别作为输出训练双向语言模型，得到用于进行文本分类的预训练模型。该实施方式能够在大规模的文本体量上进行无人工或者少人工的干预，充分将文本中不同字符的不同重要性考虑在内，提高分类准确性。