知识预训练模型的训练方法、装置和电子设备

摘要

本公开公开了知识预训练模型的训练方法、装置和电子设备，涉及语音、自然语言处理、深度学习技术领域。具体实现方案为：获取训练文本，训练文本包括结构化知识文本和对应的文章，结构化知识文本包括头节点、尾节点和头节点和尾节点之间的关系；根据训练文本对待训练的知识预训练模型进行训练。该方法中，待训练的知识预训练模型能够同时学习到常识知识和丰富的语义知识，可实现常识知识和语义知识的联合训练，且不需要将训练实体嵌入到待训练的知识预训练模型，知识预训练模型的性能增益不受到训练实体的嵌入质量的限制，知识预训练模型可从训练文本中的文章中获取丰富的上下文信息，并可进行动态调整，灵活性较高。