一种基于元搜索的网络信息采集器简单实现方法

摘要

本发明提供一种基于元搜索的网络信息采集器简单实现方法，集成多个搜索引擎，对搜索关键词并行进行搜索采集，然后对采集信息进行有效的组织，及时发现最新信息，提供给用户用作分析的基础数据源，该方法适用的体系结构包括：生成采集起始URL模块，模拟浏览器行为模块，搜索结果列表页下载并结构化信息提取模块，网页去重，网页正文抽模块。能及时发现最新信息，提供给用户用作分析的基础数据源。