基于爬虫的分布式信息采集处理平台的设计

摘要

针对网络信息的指数级增长,面对大量且复杂的信息,无法快速有效地从中获取满足要求信息的情况,本文提出了基于爬虫技术的分布式信息采集处理平台的设计.该平台基于爬虫技术,将信息采集、数据分析处理、个性化推送等合为一体.用户输入关键字词、链接地址等信息,平台内部的爬虫即可根据参考信息在指定网站上进行分布式爬取,采集后的数据经过聚类、自然语言处理等算法的分析处理,转变为成为符合用户需求的数据,最后采用可视化展示等多种形式将信息推送给用户.