招标信息汇总推送系统的设计与实现

摘要

随着互联网的高速发展，越来越多的行业借助网络以获取更好的效益和结果，招标也是如此，越来越多的招标活动通过网络进行发布，以期让更多的人了解，加强竞争，可以让更有实力的人或企业接手。对于有实力或者急于扩展业务的企业来说，网络上的每一条招标信息都有可能会对他们带来巨大的利益，同时，错过一条招标信息也意味着可能损失了一个巨大的机会。但是，目前在网上获取招标信息比较麻烦，原因有以下两点:第一，信息分散，人们需要到很多招标网站上去进行信息查找;第二，信息数目巨大，要从海量信息中筛选出符合自己需要的信息费时费力。
　　针对上述问题，本文设计和开发了基于网络爬虫和文本分类的招标信息汇总和推送系统。它主要有四个模块，一个是爬虫模块，能够从各大招标信息发布网站获取信息，并处理成统一格式存入数据库;一个是一般用户模块，所有人都可以通过系统门户网站浏览汇总后的招标信息，并且能通过多个条件进行搜索查询;一个是注册用户模块，注册用户可以设置自己关注的网站并设置相应关键词;最后一个是信息推送模块，推送程序对爬虫获取的消息进行筛选然后将符合用户要求的消息以邮件方式推送给用户。该系统能大大减轻用户负担，节省时间，具有较高的实际意义。
　　最终，本人在严谨科学的分析和设计基础上，利用多种热门和前沿技术实现了招标信息汇总推送系统，通过它，用户可以方便地获得自己需要的招标信息。

目录

声明

摘要

1．1 课题背景和意义

1．2 国内外研究现状

1．3 课题研究的主要工作

1．4 论文结构简介

1．5 本章小结

第2章 相关理论和技术

2．1 网络爬虫原理

2．2 文本分类

2．2．1 文档向量空间模型

2．2．2 卡方检验算法(CHI)

2．3 网页解析——htmlparser

2．4 招标消息筛选

2．5 邮件发送--SMTP

2．6 开发工具和相关技术

2．7 本章小结

第3章 系统分析

3．1 系统规划

3．1．1 系统开发目标

3．1．2 可行性分析

3．2 系统分析

3．2．1 业务流程分析

3．2．2 总体需求分析

3．2．3 功能需求分析

3．2．4 性能需求分析

3．3 需求分析

3．3．1 数据流程分析

3．3．2 用例分析

3．4 数据库分析

3．5 本章小结

第4章 系统设计

4．1 设计原则

4．2 系统架构

4．2．1 整体架构设计

4．2．2 软件结构设计

4．3 系统功能模块划分

4．3．1 爬虫模块

4．3．2 一般用户模块

4．3．3 注册用户模块

4．3．4 数据管理模块

4．3．5 邮件推送模块

4．3．6 文本分类模块

4．4 系统数据库设计

4．4．1 数据库数据表

4．4．2 数据库E-R图

4．5 本章小结

5．1 爬虫功能模块

5．1．1 网页获取模块

5．1．2 网页解析模块

5．1．3 文本分类模块

5．2 一般用户功能模块

5．2．1 浏览信息模块

5．2．2 查询信息模块

5．3 注册用户功能模块

5．3．1 注册模块

5．3．2 信息修改模块

5．3．3 订制模块

5．3．4 邮件推送模块

5．4 数据管理功能模块

5．4．1 数据备份模块

5．4．2 数据恢复模块

5．5 本章小结

第6章 系统测试

6．1 性能测试

6．1．1 压力测试

6．1．2 负载测试

6．2 模块测试

6．3 本章小结

第7章 总结与展望

7．1 总结

7．2 展望

7．3 本章小结

参考文献

致谢