基于自定义的关键词采集方式进行互联网数据采集系统

摘要

基于自定义的关键词采集方式进行互联网数据采集系统，包括数据库、数据接入层，还包括：信息采集和预处理层：根据用户设置的关键词采集互联网开源信息数据并对采集的数据进行预处理，将预处理完成后的数据送入分析层；分析层：对信息采集和预处理层送入的数据进行分析，剔除包含关键字的无效数据，将剩下的数据送入数据接入层。进一步的，还包括应用层：用于为查询用户提供查询检索功能，将检索查询的信息进行多维可视化输出，生成相应的报告。采用上述系统，在信息采集和预处理层通过爬虫技术采集到需要的数据后，通过分析层对数据的可靠性进行分析，将垃圾信息删除。