基于块划分及位置权重的文本分类方法

摘要

本发明公开一种基于块划分及位置权重的文本分类方法。它包括步骤：对输入的训练或测试文本经过基本的预处理后，提取文本中的段信息；将每一段视为一个基本的文本块，对块信息做统计分析，根据块大小分布或预定义的块比率，对文本内容重新进行块划分，包括文本块的合并等操作。提取特征词、量化权重，并获取特征词对类别的后验概率，然后分析具有最大后验概率类别与文本类别标签相符的特征词的分布，最后生成文本向量；利用分类器完成分类模型训练或文本分类。本发明可用于文本分类系统的文本表示阶段，通过丰富传统的利用特征词构建文本向量时对文本内容信息的表达，提升文本分类效果。