基于知网的词语语义相似度改进算法研究

摘要

词语语义相似度计算在很多自然语言处理相关领域都有着广泛应用。基于知网的现有词语语义相似度计算方法未深入考虑同棵义原层次树的义原距离、义原深度、义原密度及主次关系的影响,致使相似度计算结果并不够精确。针对该问题,提出一种词语语义相似度改进算法,通过分析知网中的义项表达式和义原层次树,用集合的加权平均值代替了义项相似度最大值,在新的边权重函数中引入义原密度,进而通过调节权重因子限制义原深度与义原密度对相似度计算准确度的影响。实验结果表明,改进后的算法有效提高了词语语义相似度准确率,取得了比较满意的结果,比现有方法更合理。