基于条件随机场的维吾尔文组块分析

摘要

该文对维吾尔语树库标注体系进行分析,根据组块划分原则,在短语标记集的基础上制定了维吾尔语组块标记集,从已完成标注的3 000句语料库构建组块库.根据维文语言的特点,在英汉组块识别特征基础上,增加了词干、词缀、同义词标记等特征.该文中的性能评价指标采用了国际通用的准确率,召回率和F值,3 000个标注句子作为训练和测试语料库用,实验采用了交叉验证法,训练和测试语料库的比例分别为9∶1,8∶2,2∶1,召回率分别为80.34％,76.87％,66.76％.实验表明,语料库规模对模型性能影响较大.