潜在语义索引中特征优化技术的研究

摘要

潜在语义索引被广泛应用于信息检索、文本分类、自动问答系统等领域中.潜在语义索引是一种降维方法,它把共现特征映射到同一维空间上,而非共现特征映射到不同的空间上.在潜在语义索引的语义空间中,共现特征通过文档内部以及文档之间的特征传递天系获得.本文认为这种特征传递关系会引入一些不存在的共现特征,从而降低潜在语义索引的性能,应该对这种特征传递关系进行一些选择,削除不存在的共现特征信息.本文采用文档频率对文档集合进行特征选择,用Complete-Link聚类算法在二个公开语料上进行三个实验,实验结果显示,保留文档频度的10%-15%时,其F1值分别提高了6.5770%,1.9928%和3.3614%.