基于Heritrix和HTMLParser的网页商品信息提取的研究

摘要

主要介绍Heritfix网络爬虫，分析了其系统结构。通过扩展Heritrix，使其能抓取太平洋电脑网站上的商品信息。在此基础上，利用ELFHash对效率抓取进行优化。最后，利用HTMLParser提取收集到的网页商品信息，为建立垂直搜索引擎提供信息源。