基于自动化测试的定向网络爬虫的设计与实现

摘要

cqvip:为了快速地获取精准的车辆品牌对应图片数据,提出了一种基于自动化测试的定向网络爬虫程序设计方法。通过自动化测试技术模拟人浏览网页的方式,自动采集指定网页的车辆品牌外观图片,按品牌、款系、年代分类别存储,引入了增量更新爬虫策略,提高了爬行效率。利用该爬虫对汽车之家产品库进行车辆品牌图片爬取,取得了较好的效果。