一种骨干网链路中用户上网行为数据采集方法和系统

摘要

本发明公开一种骨干网链路中用户上网行为数据采集方法，该方法包括：捕获骨干网链路中包含HTTP请求报文的数据包，采用并行处理从数据包中根据HTTP协议解析提取用户访问的网站页面URL、以及反映用户上网行为的HTTP字段信息；根据URL模式特征树过网站页面URL进行过滤，获得需要抓取页面内容的网站页面URL；以异步方式抓取所述过滤后的网站页面URL的页面内容。通过本发明的方法和系统，能够实时截获万兆链路中包含HTTP请求报文的原始数据包；实现了从原始数据包中实时提取用户IP地址、网站页面URL地址、和其它相关的用户上网信息数据；实现了对海量网站页面URL地实时过滤和对页面内容的准实时抓取。