基于最大熵的哈萨克语兼类词词性标注

摘要

本文采用最大熵模型进行了哈萨克语兼类词词性标注,并将未登录词转化为兼类词进行处理,当兼类词的左右词都是单性词时,可以直接进行最大熵算法兼类词词性标注,当有连续兼类词出现时,使用路径搜索算法与最大熵算法结合进行兼类词词性标注.使用过程中对模型进行了改进,在解码中取概率最大的前n个词性加入到下一个词的特征向量中,以此类推直至句子结束,最终选出一条概率最优的词性标注序列.在2008年1月份《新疆日报》哈语版语料库上进行的封闭测试和开放测试中,正确率分别为93.74%和87.69%.