基于差分融合句法特征的英语语法纠错模型

摘要

当前的英文语法纠错模型往往忽略了有利于语法纠错的文本句法知识,从而使得英语语法纠错模型的纠错能力受到影响.针对上述问题,提出一种基于差分融合句法特征的英语语法纠错模型.首先,本文提出的句法编码器不仅可以直接从文本中无监督地生成依存关系图和成分句法树信息,而且还能将上述两种异构的句法结构进行特征融合,编码成高维的句法表征.其次,为了同时利用文本中的语义和句法信息,差分融合模块先使用差分正则化加强语义编码器捕获句法编码器未能生成的语义特征,然后采用协同注意力将句法表征和语义表征进一步融合,作为Transformer编码端的输出特征,最终输入到解码端,从而生成语法正确的文本.在CoNLL-2014英文纠错任务数据集上进行对比实验,结果表明,该方法的准确率和F0.5值优于基于Copy-Augmented Transformer的语法纠错模型,其F0.5值提升了5.2个百分点,并且句法知识避免了标注数据过少问题,具有更优的文本纠错效果.