词距离的计算方法

摘要

无监督地构建以词距离知识形式表示的自然语言词语相关性知识库是本文的研究目标.作为一种定量化的知识表示方式,词间距离可以为统计方法数据稀疏的平滑和基于相似性计算语言处理和信息检索等定量方法提供了一个基础性的支持.基于向量空间模型,本文将词语依据词语上下文映射到向量空间中,经过“上下文词语相关性分析权重”方法和主成分分析的降维和消除噪音后,在保持词语相对距离关系不变的情况下,进行2维直观显示验证;在计算词间欧氏距离构建词间相关性知识库后,将其引入Memory-Based Learning的属性值距离计算,针对汉语词义消歧进行实验,其效果得到初步验证.