一种微博特征项提取方法和改进TF‑IDF归一化方法

摘要

本发明公开了一种微博特征项提取方法和改进TF‑IDF归一化方法，结合CHI方法和改进TF‑IDF归一化方法的方法来提取特征项，从而来降低空间向量的维数。由于考虑到了中文词中存在一义多词或一词多义的缘故，对传统的归一化TF‑IDF归一化方法进行了一些改进，即在计算词的权重时结合了词的语义。通过该归一化方法来提取特征项不仅可以降低建空间向量时的维度，而且还可以减少话题的重复性，但在计算权重后容易忽略一些有利于分类的低频词，故在改进TF‑IDF归一化方法的同时还结合了CHI统计方法，该方法可以发现一些有利于文本分类结果的低频词。故能从一定程度上提高话题检测的准确率和速度。