基于完全二阶隐马尔可夫模型的汉语词性标注

摘要

该文基于隐马尔可夫理论,提出了一种三元词汇概率和词性概率相结合的汉语词性标注模型,并对传统的Viterbi算法进行了扩展.对统计模型中出现的数据稀疏问题,给出了基于线性插值法的平滑算法.实验表明,完全二阶隐马尔可夫模型比标准的二元、三元模型有更高的词性标注正确率和消歧率.