词汇间语义相关关系量化计算方法

摘要

词汇间语义关系的定量化研究是文本分类、信息检索和基于统计的语言模型等自然语言处理任务中一个重要的基础性工作.词汇间语义关系总体上分为等同关系、上下位关系、相关关系,现有的语义关系定量化工作主要集中于词汇间语义的等同关系(相似性)量化研究.本义研究了词汇间语义的相关关系定量化问题,分析了用协方差、共现频率和互信息等工具对词汇间语义相关关系进行定量化存在的缺陷,提出了量化词汇间语义相关关系的基本思路和新方法,并构造词汇相关关系二分图来求解和量化词汇间间接相关关系,该方法能够解决在统计语料中没有出现的词汇对的相关关系量化求解问题.实验结果表明,本文提出的方法比单纯用信息来计算和量化词汇间语义相关关系更为可行.同时,对于一个特定词汇而言,本文的方法能够得到一个相关关系量化的相对合理的趋势性结果.