一种基于多维数据异常簇挖掘的垃圾网页检测方法

摘要

本发明涉及一种基于多维数据异常簇挖掘的垃圾网页检测方法，属于数据挖掘和搜索引擎领域。该方法将垃圾网页视为多维数据中的异常簇。首先采集网页的内容和链接信息，计算网页邻居属性，将网页表示成多维数据集。然后采用多维数据独立性分析技术将网页集合分解成多个具有最大独立属性集的网页子集，并在每个子集中挖掘异常网页簇。最后返回最异常的垃圾网页集合。本发明具有较高的垃圾网页检测的准确率，并定义了离群因素用于解释垃圾网页不同于正常网页的原因，来帮助搜索引擎过滤最具欺骗性的垃圾网页。本发明涉及的异常数据的挖掘方法不仅可以检测垃圾网页，也可以为信息，商务，金融，传统工业和医学等多邻域提供一种有效分析异常数据的工具。