学习者口语语料自动词性赋码的信度研究

摘要

词性赋码是对语料库进行句法分析的必要前提,可极大地拓宽语料库研究范围.而现有的英语自动词性赋码器多为本族语的书面语设计,能否准确地为学习者口语语料进行自动赋码尚未见到研究报告.本研究采用Brill和CLAWS7两种词性赋码器分别为高低分组学习者口语语料进行自动赋码,统计赋码准确率,并比较两种赋码器对学习者口语特征的处理能力,目的在于考察基于规则的词性赋码器和基于概率的词性赋码器对学习者口语语料进行自动词性赋码的适用度,以期为中介语口语的句法特点研究提供依据.研究结果与梁茂成对中国学生书面语赋码准确率的考察结果基本一致,基于概率的词性赋码器更适用于为学习者口语语料进行自动赋码,赋码准确率较高且性能稳定,其赋码准确率受学习者口语语言水平影响不大,而基于规则的词性赋码器受学习者语言水平和口语特征(停顿、重复、缺乏语法性等)的影响较大.本研究为学习者口语句法特点研究提供重要依据,对误码编辑(tag editing)也有一定意义.