一种基于B2B平台的多线程数据抓取方法

摘要

本发明公开了一种基于B2B平台的多线程数据抓取方法，1)将B2B平台的首页、多级类型目录结构作为目标对象，对网页源文件进行分析；2)在URL处理器中分析出需要的目标规则；3)通过HTTP解析器，从隧道协议中获取一定格式的数据；4)对每次URL请求分配新的线程，通过多线程模式并发处理；5)通过分类管理器进行管理每一种商品大类到小类的规则；6)对该线程超时的设置；7)根据所述固定格式数据，将所有提取的商品数据内容保存至数据库；本发明提供的基于B2B平台的多线程数据抓取方法，在大数据并发实时采集、多线程数据抓取上有显著的效果。