文本分析模型的训练方法及装置、文本分析方法及装置

摘要

本申请提供一种文本分析模型的训练方法及装置、文本分析方法及装置。其中，所述文本分析模型的训练方法，包括：获取训练样本，并输入至文本分析模型中，生成线性矩阵；基于所述线性矩阵进行处理，生成分数矩阵；基于所述分数矩阵与预先设置有掩盖位置的掩盖矩阵生成分数更新矩阵，以掩盖所述训练样本中的至少一个词单元；基于所述分数更新矩阵和所述线性矩阵进行自注意力处理，预测所述训练样本中掩盖的词单元，并基于预测结果与真实结果确定损失值；基于所述损失值对所述文本分析模型进行训练，直至达到训练停止条件。本申请提供的方法及装置，可以有效提高模型训练效果，有效提高文本分析的准确率。