Text Categorization Method and Application Based on Improved KNN

摘要

随着WWW的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术。本文研究了基于KNN(knearestneighbors)的文本分类方法，KNN方法作为一种简单、有效的分类方法，在文本分类中得到了广泛的应用。本文对多种传统的特征抽取方法进行了分析，并且对互信息和文档频率两种特征抽取方法进行了改进，提出了基于互信息和文档频数的组合特征抽取方法，该方法过滤掉了无关的低频词和类间分布差异不大的词条，减小了分类的噪音。通过对常用的特征权重计算方法TF-IDF的分析后，提出了一种新的权值计算方法TF-WET。该权值计算方法将特征评估函数包含到特征权值计算中，按照特征对文本分类的辨别能力调整其在权重计...