基于scrapy框架的房地产数据爬虫方法及装置

摘要

本发明公开了一种基于scrapy框架的房地产数据爬虫方法，包括：特征提取步骤，对目标网页的数据进行分析，提取所述目标网页中房地产数据的位置特征及结构特征；代码生成步骤，根据所述目标网页构建相应的项目，根据所述位置特征及所述结构特征生成基于scrapy框架的爬虫代码；数据爬取步骤，在scrapy文件集的setting文件中设置信息头将本地IP地址转换成正常的访问地址，根据所述爬虫代码，爬取所述房地产数据并按预设的规则保存。本发明通过对网页数据分析提取特征，根据特征自动生成相应爬虫代码，爬取房地产数据并保存，可便捷提取大量繁多网页中的房地产数据，节省用户时间，提供给用户便捷的查询方式，便于用户根据数据进行行业分析作出决策。