HTTP缓存系统设计与实现

摘要

随着上网用户数量剧增，互联网应用种类的不断增加，大量的数据流量吞噬了网络带宽，导致网络拥堵现象增多、数据传输速度下降。为此，网络缓存技术已经成为众多网络应用研究的热门领域。本文对现有的主流缓存技术进行分类与分析，发现如Squid、Apache等著名的WWW缓存代理服务器运行时，对于缓存未命中的用户请求，系统的拦截转发式监听过程都会额外的增加用户访问延时。
　　 针对这一问题，本文提出基于旁路镜像式监听的缓存技术。该技术采用旁路端口镜像方式监听用户Internet通信流量，根据用户访问的倾向，将频繁访问的Web资源本地缓存。当缓存系统监听到用户请求Web资源且请求资源已缓存时，系统采用会话劫持技术引导用户去内网缓存服务器获取所需资源，因此用户无需再与远程Web服务器进行连接。所以基于旁路镜像式监听的缓存技术不仅达到了减少网络出口流量、节省带宽资费、加快用户访问速度和传输速度的效果，同时解决了拦截转发式缓存技术影响用户访问延时的问题。
　　 本文在Windows平台下设计实现了旁路镜像式HTTP缓存系统。系统应用WinPcap工具捕获镜像流量中的原始数据包，经过网络协议解析和过滤，获取用户资源请求信息，实现镜像监听功能;对于用户频繁访问的Web资源，系统应用套接字网络编程实现将其从外网下载且磁盘缓存;系统通过ⅡS建立内部网HTTP服务器，实现对磁盘缓存资源的发布和管理;引导用户获取缓存资源过程是通过封装含有缓存所在地址的响应包，冒充Web服务器欺骗用户内网获取资源来实现的;系统应用MicrosoftSQLserver实现日志显示内网用户资源请求状况。
　　 与此同时,为了提高系统查找磁盘缓存的效率，本文实现了用来存储和组织用户请求资源信息的哈希表结构，采用哈希查询算法来缩短系统处理延时，并且系统采用缓存资源替换和过期检测方法提高缓存系统的命中率和资源一致性。
　　 最后本文对HTTP缓存系统的功能和性能进行测试，结果表明了本文设计的旁路镜像式缓存系统达到了镜像监听用户访问Internet通信数据、对用户请求劫持重定向、内网缓存加速、减少用户访问延时、SQLserver数据库记录显示内网用户资源请求状况的目的。从而验证了基于旁路镜像式监听的HTTP缓存系统的实用性和可行性。

目录

声明

摘要

第1章 绪论

1．1 选题背景

1．2 国内外研究现状

1．3 研究目的和意义

1．4 本文研究内容

1．5 论文章节安排

第2章 HTTP缓存技术介绍

2．1 WWW访问与缓存服务器工作过程

2．1．1 WWW传统访问

2．1．2 WWW缓存服务器工作过程

2．2 性能指标

2．2．1 命中率

2．2．2 访问延时

2．2．3 空间利用率

2．3 缓存服务器分类

2．3．1 主动缓存与被动缓存

2．3．2 正向加速与反向加速

2．3．3 传统代理缓存与透明代理缓存

2．3．4 一种新的缓存加速技术

第3章 旁路镜像式缓存关键技术研究

3．1 数据包捕获技术原理

3．2 协议分析技术原理

3．2．1 以太网数据帧的封装

3．2．2 以太网数据帧的解包

3．2．3 协议分析处理模型

3．2．4 HTTP层协议分析

3．3 HTTP会话重定向原理

3．3．1 HTTP会话劫持

3．3．2 响应报文的构造分析

3．3．3 RST欺骗和FIN欺骗

3．3．4 RST报文构造分析

3．4 数据库访问技术

3．5 基于套接字的网络编程

3．6 IIS网络信息服务技术

第4章 系统需求分析与概要设计

4．1 系统需求分析

4．1．1 HTTP访问加速需求

4．1．2 服务器负载均衡需求

4．1．3 用户控制管理需求

4．1．4 网络安全需求

4．2 系统基本功能

4．2．1 网络缓存加速

4．2．2 旁路镜像式监听

4．2．3 用户权限管理与网络安全控制

4．2．4 用户访问活动日志

4．3 系统概要设计

4．3．1 网络监听模块

4．3．2 系统调度模块

4．3．3 重定向处理模块

4．3．4 缓存管理模块

4．3．5 数据库日志模块

第5章 系统的详细设计与实现

5．1 系统运行与开发环境

5．2 网络监听模块的设计

5．2．1 请求信息数据结构

5．2．2 数据包捕获分析实现

5．3 系统调度模块的设计

5．3．1 缓存资源信息结构

5．3．2 哈希表组织结构实现

5．3．3 资源替换算法的实现

5．3．4 过期检测机制实现

5．4 重定向处理模块设计

5．5 缓存管理模块的设计

5．5．1 资源缓存实现

5．5．2 响应信息数据结构

5．6 数据库日志模块的设计

5．7 系统资源缓存加速过程

第6章 系统测试及性能分析

6．1 系统测试环境

6．2 重定向与缓存加速测试

6．3 Web资源的延时测试

6．4 镜像监听和SQL数据库日志测试

总结与展望

致谢

参考文献

攻读硕士学位期间发表的论文