一种Span标注框架下的实体抽取采样方法

摘要

本发明公开了一种Span标注框架下的实体抽取采样方法首先获取互联网语料库，经并将其整理得到格式的数据集；然后对训练集数据进行预处理，采集训练样本；再构建实体抽取模型，通过训练集对实体抽取模型进行训练；最后进行模型预测。本发明训练样本数量适中、质量高，有助于模型较快收敛，提升模型的训练效率。本发明设置了与训练过程相配适的动态采样策略。在训练初期，通过增加与正例有相似边界的负样本占比，使得模型更好地学习实体边界切分。在训练中后期，增大负样本随机采样的比例，以便模型更好地学习上下文语义。加大了模型学习的难度，以达到锻炼模型的目的，有利于提高模型的鲁棒性。