基于Scrapy的房屋租赁信息搜索系统的设计与实现

摘要

在互联网高速发展的的现代社会中，人们的衣、食、住、行都与互联网紧紧联系到了一起。以住房为例，房屋租赁市场已经逐渐完成了将市场重心从传统线下实体向互联网线上的迁移，越来越多的租房人群通过互联网来寻找合适的房源。互联网上可以提供租赁房源信息的网站越来越多。然而，随着互联网上关于房屋租赁信息的网站数量日益增长，用户在搜索房源信息时不得不辗转于多个网站，这无疑影响了信息搜索效率且降低了用户的使用体验。如何将分散在互联网上房源信息数据进行信息聚合，以及如何为用户提供内容全面、可靠的房源信息搜索体验成为互联网房屋租赁领域一个需要解决的问题。
　　本文首先借鉴学习了国内外其他领域中垂直搜索系统的研究成果和成功应用案例，结合房源租赁这一特殊领域，对本文的研究方向以及研究内容进行了确定。其次，根据垂直搜索引擎的基本工作原理，研究学习了Scrapy爬虫框架、BeautifulSoup解析库、朴素贝叶斯分类器、高德API等开发工具，分析确定了系统实现的技术可行性。再次，根据房屋租赁信息搜索系统的实际需求，对系统进行了需求分析，得出了系统所要完成的功能性需求和非功能性需求。功能性需求包括对房源数据的爬取、内容整合等，为用户提供房源搜索、收藏、推送功能以及对系统的管理功能等。非功能需求包括对系统整体的响应速度、房源信息获取的效率、房源中介分类的准确度等。然后，根据系统的需求分析结果，对房屋租赁信息搜索系统进行了设计。本系统包含数据服务、业务处理、内容表示等逻辑层次，包含功能有自动对互联网中房源数据信息的定期采集，房源信息数据的抽取模板化，房源数据的整合处理，房源数据的搜索，房源数据的可视化展示、系统管理等功能，并且选择合适的开发工具完成了对系统的开发实现。接着，针对系统的各项功能，设计了对系统的功能性和非功能性测试，完成对系统的可行性及可用性的验证。最后，对本文进行了研究进行了总结，并对进一步的研究工作进行了展望。
　　本系统经过开发验证，可以完成对58同城租房版块、链家网租房版块以及豆瓣网租房小组中房源信息的定时获取，并且可以通过数据抽取模板实现方便的数据来源添加调整，最终向用户提供基于

目录

声明

插图索引

表格索引

缩略语对照表

第一章 绪论

1.1研究背景及意义

1.2国内外研究现状

1.3主要研究内容

1.4论文结构安排

1.5本章小结

第二章 相关原理及实现技术

2.1搜索引擎的工作原理

2.2 Scrapy爬虫框架

2.3 BeautifulSoup网页解析库

2.4朴素贝叶斯分类器

2.5本章小结

第三章 系统需求分析

3.1系统总体需求分析

3.2系统功能性需求分析

3.3系统非功能性需求分析

3.4本章小结

第四章 系统设计与实现

4.1系统总体设计

4.2系统数据库设计

4.3公共模块设计实现

4.4数据收集模块

4.5数据整合模块

4.6数据搜索模块

4.7消息推送模块

4.8用户管理模块

4.9系统管理模块

4.10 本章小结

第五章 系统测试

5.1系统测试环境

5.2系统功能性测试

5.3系统非功能性测试

5.4本章小结

第六章 总结与展望

参考文献

致谢

作者简介