应用树结构的Xpath自动提取算法

摘要

网络爬虫是搜索引擎、数据分析、舆情监控、社交网络传播等应用的基础支撑技术,能够从海量数据中有效采集有价值的信息.编写网络爬虫的一个常用方法就是通过Xpath进行提取内容,常需要花费较多人工成本进行有效Xpath比对和获取.本文提出了一种基于树结构的Xpath自动提取算法.实验结果表明,该算法能够以较高的正确率提取有效Xpath.