预训练语言模型的训练方法、应用方法、装置及设备

摘要

本申请提出一种预训练语言模型的训练方法、应用方法、装置及设备，该方法包括：获取包括安全信息文本的训练样本集；在预设安全知识图谱中检索安全信息文本对应的安全扩展信息，将安全扩展信息添加到安全信息文本中；根据STIX情报库，通过预训练语言模型对安全信息文本进行词嵌入训练，词嵌入包括实体类别和关系类别的嵌入。本申请基于预设安全知识图谱扩充安全信息文本。在预训练语言模型的结构中增加类别嵌入层，通过类别嵌入层标记安全信息文本中的实体类别和关系类别，过滤掉与安全信息不相关的信息，提高模型准确率。在位置编码时为安全扩展信息与其对应的原始词设置相同的位置标记，使模型能更好地对真实安全事件进行语义建模。