改进的HMM应用于哈萨克语词性标注

摘要

哈萨克语的词性标注在自然语言信息处理领域中扮演着重要角色,是句法分析、信息抽取、机器翻译等自然语言处理的基础.在传统的HMM的基础上改进了HMM模型参数的计算、数据平滑以及未登录词的处理方法,使之更好地体现词语的上下文依赖关系.利用基于统计的方法对哈萨克语熟语料进行训练,然后用Viterbi算法实现词性标注.实验结果表明利用改进的HMM进行词性标注的效果比传统的HMM好.