面向事件检测的预训练主动学习模型

摘要

深度学习在事件检测任务上取得了显著的成果,但模型严重依赖于大量的标注数据.由于事件结构化的信息和丰富的标签表示,使得获取注释的成本很高,难以大量获得.针对事件检测任务,为了提高语料标注效率,减少训练过程所需的标注样本数量,提出一种联合主动学习和预训练模型的事件检测模型.针对主动学习模型存在的冷启动问题,设计了基于融合不确定性的特殊样本选择策略,估计样本在微调下游事件检测任务方面的潜在贡献.一方面,结合预训练模型从原始任务中带来的丰富的语义信息,避免了重新设计网络结构或从零开始训练;另一方面,利用主动学习选择信息丰富的样本能更好地微调预训练模型,减少数据标注成本.在ACE 2005语料上进行数值实验验证,结果证明了所提出的EDPAL算法的有效性.