基于Heritrix的web信息抽取优化与实现

摘要

针对Heritrix抓取速度很慢的问题，运用ELFHash算法对Heritrix进行了多线程的优化，增加爬取线程数，实现了对指定网页精确的抓取，从而提高网页抓取的速度。实验表明本文的优化技术可行。