一种基于互联网金融大数据处理方法

摘要

本发明涉及互联网技术领域，尤其为一种基于互联网金融大数据处理方法，包括以下步骤：S1：分三大步骤：大数据的采集、大数据的处理、大数据的存储，整体系统包含有以下几个模块：1、从Internet上抓取网页内容，并抽取出需要的属性内容的Web爬虫模块；2、对爬虫抓取的内容进行处理的数据处理模块，3、为爬虫提供需要抓取数据网站的URL的爬虫URL队列模块，4、包含需要抓取数据网站的URL信息、爬虫从网页中抽取来的数据以及经过数据处理之后的数据的数据模块，本发明对数据采集链接过滤的方法复杂度较低，能更快的进行数据处理，数据处理过程中的整合步骤使得匹配效率得到了很大的提升，同时准确度也得到了保障。