网页文本分类中的特征选择研究

摘要

由于超链接语言结构本身所提供的信息,网页分类问题不同于一般的文本分类.本文分析了网页内部特征,并在1000篇网页规模语料库的基础上,通过试验对比了三种特征选择方法对高维特征向量空间进行降维的效果.文章还提出了一种新方法,根据特征项所处的位置赋予不同权重的方法,实验表明这种由文本结构导出的权重计算方法能够取得很好的分类效果.