一种藏文命名实体的标注方法

摘要

本发明公开了一种藏文命名实体的标注方法，通过半监督学习方式，利用标注语料训练双粒度模型，即粗粒度级的基于词向量KNN聚类的NER和细粒度级的基于半马尔可夫的CRFs的NER，然后对未标注语料进行标注，并将新标注实体加入到标注语料进行双粒度模型的二次训练，迭代式提升双粒度NER。本发明克服了监督学习过度依赖标注语料的局限性、传统CRFs类方法单独式判别方式的问题，融合了实体语义特征、命名实体之间的相互作用等特征，以及结合了聚类和概率图，从命名实体的语义和语法结构的优势互补角度来提高模型拟合度，实现了集体式地NER，有效地提高了藏文命名实体识别的准确率和效率。