基于词向量的藏文语义相似词知识库构建

摘要

词向量在自然语言处理研究的各个领域发挥着重要作用.该文从语言学角度出发,讨论了词向量技术与语言学理论的关系;根据词向量的特征,提出利用藏文词向量构建语义相似词知识库.作者以哈尔滨工业大学的中文《词林》为基础,通过汉藏双语词典对译,在获取对译词的词向量的基础上,计算对译词的词向量与原子词群平均词向量的差值,利用不同的差值,自动筛选出与原子词群语义相似度较小的词.作者分别以藏文的词和音节为单位计算词向量,自动筛出不属于原子词群的词;自动筛选结果与人工筛选结果对比,发现两者具有较高的一致性,说明词向量计算结果与人的语言直觉具有较高的一致性.因此本文所采用的方法有助于提高藏文语义相似词知识库构建效率.