一种针对数学问题分类的预训练模型方法

摘要

本发明公开了一种针对数学问题分类的预训练模型方法，包括如下步骤：构建数学知识点关系的知识图谱，根据每个知识点之间的关系，对知识图谱中的每个知识点生成知识点向量；分别根据训练集和验证集中的数学问题生成文本向量，将文本向量和知识点向量导入并构建文本预训练模型，包括语义掩码语言模型训练、相关问题预测模型训练和问题相关性排序训练；将测试集导入预训练模型，对处理后的数学题目进行预测和输出结果。本发明集成了知识图谱，并提出了新颖的掩蔽和预测策略来增强知识点表示，使预测效果更加准确；模型使用知识嵌入算法编码知识图谱的图结构，并将多信息嵌入作为模型的输入，大大提高了预训练的准确度。