一种数据刷新系统及数据刷新方法

摘要

本发明公开了一种数据刷新系统及数据刷新方法，其中的数据刷新系统包括中央服务器、两个以上的节点服务器和数据库；中央服务器包括：参数配置模块、URL队列生成模块、URL读取模块；参数配置模块设置请求参数；URL队列生成模块根据请求参数生成URL队列；URL读取模块读取URL队列内的URL，并将URL发送至各节点服务器；节点服务器中部署有爬虫程序，爬虫程序依据URL进行数据抓取，并将抓取的数据放入数据库。本发明提供的数据刷新系统具有两个以上的节点服务器，能够有效提高数据更新速度。通过URL读取模块，将URL分散均衡发送至各节点服务器，可以有效降低节点服务器的运行压力。URL队列生成模块用于生成URL队列，能够有效降低高并发量导致的系统崩溃。