一种结合BERT修剪的作文自动评分模型

摘要

在教学领域中,英语作文是评判学生对语言综合能力应用的体现.由于人工批改作文需要大量成本及不稳定性,作文自动评分成为较为热门的研究方向.大多数的作文自动评分系统核心技术不同但往往需要消耗大量的人力进行人工标注数据,以及无法全面的从语言、内容、结构上对作文进行评分.为此本文利用了BERT(Birdirectional Encoder Representations from Transformer)模型高并行、自监督的特性以及可以提取深层语义特征的优势来作为作文自动评分技术的核心.而BERT模型其复杂度高、参数量庞大、训练耗时长,为优化BERT模型,本文加入了动态小批量处理修剪的技术以提升模型的训练速度.通过实验证明,该模型较word2vec、attention以及rnn模型有更高的精度,且缩短了原有的训练时长近40％.