一种适合于中文网页文档的后缀树聚类方法

摘要

本发明提出一种适合于中文网页文档的后缀树聚类方法。后缀树聚类算法的提出是建立在英文网页聚类的基础上的，研究的对象是网页中的英文单词，而中文最大的特点是词与词之间没有分隔符。为满足中文网页的聚类需求，本发明针对中文网页文档的特点，对后缀树聚类算法进行了改进，使之适于中文Web信息搜索结果的聚类。文档预处理按照句子边界将每一篇文档转化为词的序列，同时过滤掉非词标记及停用词。后缀树构建由预处理得到的词序列生成后缀树。短语类识别通过后缀树识别短语类并对其打分。短语类合并通过基于二进制的及语义层面短语类间的相似性计算方法，合并相似度值高的短语类，并选取分值较高的短语类作为最终聚类结果。