互联网数据中心有害信息监测系统

摘要

本发明公开了互联网数据中心有害信息监测系统，包括爬虫系统和有害信息监测系统，有害信息监测系统通过爬虫系统获取互联网数据中心中的网页数据，并对其进行有害分析，爬虫系统包括多个由爬虫结点和爬虫根节点组成的爬虫集群，爬虫结点均包括多线程网页采集模块、网页库、编码识别处理模块、网页内容自动提取模块、URL过滤器、URL去重模块和URL调度模块；有害信息监测系统通过有害信息搜索单元、自动分词单元、关键字处理单元和模糊匹配单元实现更加精确的搜索。本发明提供了强大的数据收集功能，通过多个爬虫集群对动态网页和静态网页进行全面的实时监控，能够从海量数据中，采集到与敏感词有关的数据，做到主动发现有害网页。