内容审计状态标记与预处理在网络监控系统中的应用及实现

摘要

目前，网络监控方面的理论和产品都非常多，然而网络监控仍然面临并将一直面临多方面的挑战。其中很重要的一方面是监控处理速度问题，网络传输技术的飞速发展带来的海量数据使速度成为网络监控处理的“瓶颈”。本文针对网络监控的处理速度作出了思考，并提出了一种可以明显提高处理速度的方法。 实际上，大量的网络流量内容是相同的(比如对同一热点新闻的点击)，而网络经济也是“眼球经济”，这说明相同内容在网络中重复传输现象非常普遍。即使在同一局域网中，不同的用户对同一内容重复访问的几率也非常大，因为这些相似用户的身份使得他们关注的内容比较趋同。由此可见，内容审计网络监控系统做了大量重复的工作，即对同一内容做了重复审计，而当前大多数网络监控系统没有考虑到这一点，这使得监控系统进行了很多重复审计，浪费了系统资源。 基于此，本文引入了“内容审计状态标记”机制，目的是减少不必要的重复审计。具体思路是：(1)在现有的网络内容审计监控系统的基础上，在监控审计开始前，嵌入一段标准模块，先到审计结果状态标记数据库中快速检索此内容(比如相同的URL)以前的审计结果，如果内容相同，并且以前做过审计，则直接使用上次审计结果，如果没有再返回进行审计．；(2)在审计结束后，将结果保存到状态标记数据库中，以备以后查询。 本文就状态标记机制提出了模型框架设计、流程、数据库设计、模块设计及实现的具体思路，最后形成标准化组件。本文还讨论了状态标记机制实现中的相关策略，针对审计结果可能已经过期(比如结果保存后，相关网页内容被更新)的情况，提出了审计状态标记的更新策略。针对大多数服务器在夜间负载明显减小的情况，可在夜间启动预处理审计，主动对结果进行更新。本文还提出了被监控对象刷新的识别策略——多随机向量内容标志技术。

目录

文摘

英文文摘

独创性（或创新性）声明及关于论文使用授权的说明

第一章 引言

第二章 内容审计网络监控理论、技术与发展

第三章 审计状态标记的意义及实现思路

第四章 系统结构、模块设计及相关策略

第五章 系统实现及性能比较

第六章 总结及展望

参考文献

致谢

攻读学位期间发表的学术论文目录