一种互联网无价值网页的挖掘方法

摘要

本发明提供一种互联网无价值网页的挖掘方法，包括：步骤1、整理核心无效词汇；步骤2、使用核心无效词汇，识别出所有的疑似无效短语；步骤3、统计分析疑似无效短语集合；步骤4、根据统计分析结果，识别无效页面。通过本发明提供的一种互联网无价值网页的挖掘方法，通过对网页聚类、统计分析的手段，解决了互联网网页中无效页面的高准确率、高召回率、自动化的挖掘问题，从而提高挖掘速度、改善搜索引擎的用户体验。