一种基于正则化的去社会偏见的语言模型及应用

摘要

本发明公开了一种基于正则化的去社会偏见的语言模型及应用，包括以下步骤：(1)清洗PTB语料文本库后，筛选PTB语料文本库中会出现社会偏见的词语并标记；(2)搭建包括三层LSTM网络、全连接层、softmax层的语言模型；(3)利用PTB语料文本库训练语言模型，在训练时，以文本生成任务的损失Lossaccuracy和去社会偏见正则化项损失Lossfairness组成的总损失Loss为最终损失；(4)每训练一阶段，以语言模型输出的预测文本的社会偏见分数相对PTB语料文本的社会偏见分数的分布状态来评判语言模型的去社会偏见效果，当分布状态满意时，获得最终的语言模型。该语言模型提高了预测输出的公平性。