基于字符和单词表示的哈萨克语词性标注研究

摘要

自然语言处理任务中词性标注是基础性的工作,其可以应用到后续各种NLP任务中。在神经网络自然语言处理任务中多使用分布式词表示,获取单词的语义和语法信息,并取得了非常明显的效果。对于像哈萨克语这样形态丰富的语言,在词性标注时,单词内部的各种信息非常有用。在文章中,我们构建了基础的哈萨克语词性标注语料库,并采用基于字符并联合单词信息,提出一种有效的哈萨克语词标注模型。使用这一方法,避免了传统机器学习方法中手工构建特征的问题,在新疆日报哈文版构建的语料库上,准确率达到了61.40%。为进一步提升性能提供了很好的参考。