基于网络爬虫与短文本相似度的网售化妆品监管系统的研究与设计

摘要

在经济快速发展，人民生活水平稳步提升的新时代，网购已经成为当下最为流行的购物方式。化妆品作为日常生活用品，其需求量日益提升。然而，关于网购出现假冒伪劣的化妆品事件不断爆出，并引起广泛关注。因此，完善网售化妆品的监管显得尤为重要。为强化企业自律诚信意识，方便监管部门对网售化妆品进行监管，本文研究设计了一套网售化妆品监管系统。 首先，论文从研究背景及其意义出发，分析了当前化妆品监管系统的优缺点以及相关技术的国内外研究现状，从而确定论文所要研究的内容及其研究方法。然后具体介绍了相关技术，在分析天猫网页URL的基础上，结合Bloom Filter的特点，对网络爬虫中的链接过滤模块进行改进，减少了因Bloom Filter存在误判率而带来的误差，使其在URL去重环节更适合于本系统。接着，论文在结合系统实际需求的基础上，对其进行需求分析以及系统设计。通过对用户权限及业务流程的分析，明确系统所需功能，利用UML建模工具进行建模，画出相关用例图；以上述需求为基础，确定系统构架，完成功能模块的详细设计及各模块数据库的设计。最后，使用Visual Studio2012、SQL Server2008 R2开发工具、C#开发语言，结合IIS、.NET Framework等技术对网售化妆品监管系统进行编码实现以及网站部署。 目前该系统功能已完成，基本已达到预期效果，信息采集、比对及编码方案切实可行。

目录

第一章 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3研究内容

1.4论文结构

第二章 网络爬虫

2.1通用网络爬虫

2.2网页URL去重

2.3布隆过滤器

2.4天猫网页URL分析

2.5网页URL去重策略的改进

2.6本章小结

第三章 短文本相似度

3.1短文本介绍

3.2短文本相似度相关技术

3.3本章小结

第四章 系统需求分析

4.1 功能性需求

4.2 非功能性需求

4.3 系统可行性分析

4.4本章小结

第五章 系统总体设计

5.1系统设计原则

5.2系统架构设计

5.3功能模块设计

5.4数据库设计

5.5本章小结

第六章 系统详细设计与实现

6.1系统开发环境

6.2软件工程结构

6.3系统功能实现

6.4本章小结

第七章 总结与展望

7.1 总结

7.2 展望

参考文献

攻读硕士期间发表论文情况

攻读硕士学位期间参与的科研项目

致谢

声明