基于互联网大数据的信息采集整理方法及系统

摘要

本发明涉及一种基于互联网大数据的信息采集整理方法及系统，其中，在系统工作之前，需要对系统进行搭建。至少设置两个及以上的客户端，在每一客户端嵌入一源端数据采集端，在源端数据采集端内嵌入一个数据预处理模块；设置一数据服务器，将数据服务器配置成具有数据服务器缓存端和共享缓存端，然后建立客户端和数据服务器之间的通信连接。客户端和数据服务器之间的通信连接采用具有通信唤醒即用的方式；即数据预处理模块通过同步任务处理线程唤醒通信通道与数据服务器的连接。所述的目标数据均可以进行溯源，且所有的目标数据均以共享的方式进行缓存存储，存储能力强，支持随时修改，且对于数据变化的需求响应更加及时且具有全局灵活性。