一种基于课程学习的文本实体识别方法

摘要

本发明提供了一种基于课程学习的文本实体识别方法，包括将构建的文本标注数据集划分为训练集、验证集和测试集；将训练集中的文本数据按照从易到难的顺序进行排列，通过自然断点分类算法将排序后的训练集中的文本数据划分为n个区块；使实体识别模型对训练集中n个区块的文本数据进行课程学习，直至模型收敛；学习训练过程中将实体识别模型在验证集上进行评估，获取最优模型参数设置；将符合训练效果的实体识别模型应用于真实项目文本实体识别场景中。本发明通过使实体识别模型进行课程学习，训练时模型对局部极小值的跟踪会引导其走向更优的参数空间，更有可能逼近全局最小值，使其具有更好的泛化性，从而达到提升训练效率和识别准确度的效果。