基于网络爬虫的互联网用户行为分析系统的设计与实现

摘要

随着各种智能终端普及，移动互联网终端产生了海量的数据信息。如何利用海量的数据信息，帮助企业快速找到目标人群进行精准营销，将广告投向真正有需求的人群，从而提高营销效率，是许多公司所面临的问题。通过用户行为分析，可以挖掘出用户的消费习惯、兴趣和偏好等，将用户特征抽象成短语标签，建立用户画像。针对用户在品类间的差异化比较，挖掘出每类用户特征，进而能够精准筛选目标人群。基于网络爬虫的互联网用户行为分析系统是以移动互联网用户行为分析为基础，利用大数据技术，从海量数据中提取有用数据，并使用实时网络爬虫进行数据抓取。
　　论文主要结合软件工程设计思想对基于网络爬虫的互联网用户行为分析系统的设计和实现过程进行较为详细地描述。论文从业务需求、功能需求和非功能需求三个方面对基于网络爬虫的互联网用户行为分析系统进行详细的需求分析。并以此为基础对本系统的总体架构进行了详细设计，将系统按功能划分为网络爬虫模块、日志处理模块、用户行为分析模块、用户画像分析模块、前端展示模块等五大主要模块，并对其进行了具体的功能设计，同时对系统的主要功能实现如爬取字段、分布式爬虫架构、用户行为分析、用户行为分析模块等进行详细的设计，较为详细地阐述了用户行为分析和用户画像的构建方法。在系统实现章节则重点论述了系统主要关键的设计思想以及实现过程等内容。最后，就本系统功能模块进行测试，并对实验结果做出相关分析。
　　该系统前端展示是WEB页面，方便用户操作，后端为JAVA程序能够跨实现平台部署，网络爬虫部分可以根据业务量来调整节点个数。系统具有部署简单，支持跨平台的特点。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 研究背景与意义

1.2 国内外研究概况

1.3 论文的主要研究内容

1.4 论文结构组织

2 相关技术分析

2.1 Java语言技术

2.2 J2EE技术

2.3 用户画像技术

2.4 网络爬虫技术

2.6 本章小结

3 基于网络爬虫的互联网用户行为分析系统的设计

3.1 需求分析

3.2 系统架构设计

3.3 系统功能设计

3.4 系统数据库设计

3.5 本章小结

4 基于网络爬虫的互联网用户行为分析系统的实现

4.1 系统开发环境及运行环境

4.2 网络爬虫模块实现

4.3 日志处理模块实现

4.4 用户行为分析模块实现

4.5 用户画像分析模块实现

4.6 前端页面展示模块实现

4.7 系统测试

4.8 本章小结

5 总结和展望

5.1 全文总结

5.2 展望

致谢

参考文献