基于Scrapy的中药材网络信息采集方法研究

摘要

以中药材天地网站的信息收集为例,基于Scrapy框架设计了中药材品名、规格、产地、价格等信息提取的爬虫.首先,借助浏览器的网页审查元素工具分析目标网页的结构,并抽取目标元素的XPath路径;接着,采用Scrapy框架构建网络爬虫工程,分别在相应的文件中设计目标元素的解析规则及元素的存储方法;最后利用设计的爬虫采集目标网站信息进行测试,以西洋参、三七为例,将线上采集数据与线下实地调研的数据进行对比.结果表明,所设计的爬虫能快速、高效、准确获取目标网站的信息,且与线下实地调研数据相符,可为后续的研究提供数据支撑.