网页数据采集和还原系统设计

摘要

互联网正在逐渐改变我们的生活，网络带给我们便利的同时，也存在着许多需要我们关注的安全问题。内网用户对外网的访问大部分通过W曲浏览器进行。
　　 为了实时地了解用户上网的内容，及时地发现用户访问非法和不健康的网页，进而统计内网用户对网络的访问习惯，我们需要对用户浏览的网页进行实时地采集和还原，这是本文的研究目的。
　　 在对TCP/IP协议和HTTP协议进行深入分析的基础上，本文首先使用libpcap函数库构建网络数据捕获程序，并采用CLAY下的有限状态机转移技术对数据包进行过滤和分析，完成对网页数据的采集并重组TCP会话；其次，采用MySQL建立自己的数据库用于存储采集数据；然后数据还原模块将数据库中的数据取出并存为本地文件；最后为本地文件中存储的数据创建超链接，从而实现网络链接的本地化和网页的还原。
　　 本系统在Linux操作系统下实现，以监听方式对内网用户访问的网页进行采集，并对采集到的网页数据进行了还原。实现了本课题的预期目标。