CPLM-CSC:基于单字级别预训练语言模型的中文错别字纠正方法

摘要

由于汉语语义表达的多样性和复杂性,中文错别字自动纠正目前存在很多挑战.现有的错别字纠正算法的性能普遍不够理想,而且需要大量高质量的语料进行训练.本文提出一种基于预训练语言模型的错别字纠正方法,CPLM-CSC,能够显著地提高纠错性能.CPLM-CSC采用基于单字级别预训练语言模型来进行错别字检测,并采用掩字语言模型来进行错别字纠正.为了提高纠正性能,CPLM-CSC采用音近形近字判断等多种筛选纠正结果的方法,并针对一些典型且特殊的错误,例如:“的地得”误用,采取了专门的数据增强方法.CPLM-CSC在SIGHAN2015的评测数据集上进行了测试,并取得了0.654的F1值,性能优于其他模型.