基于向量空间模型的文本信息表示

摘要

文本分析向量空间模型中的表示方法和映射过程中用到的关键技术和算法--特征选取和向量映射,给出文本建立向量空间模型,并进行特征选取和维度压缩,生成字典.在特征选取部分设计了一个特征选取模块,模块中的三种特征选取算法和它们的实现方式以可插拔方式组合在模块中.在向量映射部分,分析了它的主要步骤,设计了文本解析流水线,并展示了如何利用它完成文本解析和向量映射.