基于向量空间的网页内容相似度计算方法研究

摘要

针对海量网页数据挖掘问题,提出基于向量空间的网页内容相似计算算法和软件系统框架.利用搜索引擎从海量网页中提取中文编码的网页URL,在此基础上提取网页的中文字符并分析提取出中文实词,建立向量空间模型计算网页内容间的相似度.该系统缩小了需要进行相似度计算的网页文档范围,节约大量时间和空间资源,为网络信息的分类、查询、智能化等奠定了良好的基础.