聚类算法在结构化语言模型中的应用

摘要

逐步把握文章的语义对于自然语言处理来说是一项很大的挑战。在自然语言处理中，数据的稀疏性是一个让许多学者都感到头疼的问题。当一个词语的词频小到不能进行可靠的极大似然估计的时候，机器就不能准确的把握这个词的含义了。一个词的含义可以通过计算该词的相似词含义的加权得出。所以，词与词之间的相似度对于解决词语稀疏性问题将会有所帮助，本文所研究的词语相似度计算也是基于这一点进行的。实验证明，该算法在算法复杂度和聚类效果上比传统的基于贪婪原则的统计聚类算法都有明显的改进。在本文中，首先介绍国内外关于相似度计算的几种成熟的算法。然后，把问题层层细分到几个模块分别予以讨论，并采用基于上下丈环境的相似度算法。本系统的功能是对语料库进行统计学习，掌握其中词汇的上下丈分布特征，形成上下文信息集；对这些上下丈信息计算互信息值作为权重，通过计算两个词语的上下文环境的相符程度得到它们之间的相似度。最后，讲解一下系统的实现和性能评价，即交叉熵的计算。