基于向量空间模型的网络信息过滤方法

摘要

信息过滤是解决网络内容安全的重要方法,其研究涉及源信息采集、信息内容处理和信息匹配算法等内容.本文通过对信息过滤一般过程的分析,提出了基于向量空间模型的网络信息过滤方法.在源信息采集方面,建立了网络信息捕获构架,基于协议分析实现网络数据的提取;信息内容处理方面,采用设立切分标志进行文本信息的预处理,在此基础上,基于向量空间模型实现文档的结构化表示;在信息匹配算法方面,通过计算文档向量之间的相似度,实现网络信息的有效过滤.