一种基于PCI插卡的分布式cache的应用研究

摘要

随着网络技术的发展，千兆以太网的大规模应用是Internet发展的必然趋势，网络传输速率已经不再是数据传输的瓶颈，服务器的性能将是网络应用的关键问题。和文件服务器类似，流媒体服务器主要的工作是将本地的文件通过网络传送给客户。这类服务器在运行过程中必然产生大量I/O操作，而磁盘I/O的速率会很大程度上影响服务器性能，因此在服务器操作系统中就引入缓存(cache)机制提高系统I/O性能，如linux内核中的page cache机制，该机制就是将刚刚读过的数据缓存在内存中以至于下一次读相同数据时直接从内存读取而不用调用磁盘驱动，由于内存数据传输率远大于磁盘数据传输率，所以提高了系统性能。 由于内存容量的限制，同时为了提高服务器I/O性能，在linux-2.6.21内核中，提出了一种基于IXP425 PCI插卡扩展缓存层次结构来提高系统的读I/O性能的系统，称之为PCI CACHE。通过IXP425 PCI插卡增加了一级系统磁盘数据缓存，从而扩充了整个系统缓存的容量，减少访问磁盘的频率，提高磁盘寿命和系统I/O性能。 本文首先介绍了cache和分布式系统一些理论以及几个分布式系统和cache系统。然后介绍了linux-2.6.21内核中文件读页流程以及page cache机制。接着介绍了基于PCI插卡的分布式cache的设计和实现，其中包括对基于IXP425 PCI插卡的介绍和其驱动程序的实现，以及详细介绍了cache的管理，包括分布式的实现，cache块的读写以及cache的一致性。最后介绍了该分布式cache系统的一个应用——廉价流媒体服务器以及对该cache系统的测试。

目录

文摘

英文文摘

声明

第一章 引言

1.1课题背景

1.2课题研究内容和目标

1.3论文的组织结构

第二章 关于分布式Cache的相关理论和研究

2.1 Cache概述

2.1.1 Cache的作用和种类

2.1.2 cache的性能指标和分析方法

2.1.3 cache相关算法

2.1.4 Cache的数据更新

2.2 分布式系统概述

2.2.1 分布式系统的定义和种类

2.2.2 分布式系统的设计目标

2.2.3 分布式系统的应用和发展

2.3 国内外现状

2.3.1 GOOGLE文件系统-GFS

2.3.2 Memcached

2.3.3 The RAM Enhanced Disk Cache Proiect(REDCAP)

2.3.4 Energy-Efficient and Performance-Enhanced Disks Using Flash-Memory Cache

第三章linux2.6内核文件I/O

3.1 linux2.6内核中page cache机制

3.1.1 总体描述

3.1.2 radix树

3.1.3 LRU双向链表

3.1.4 调用流程

3.2 linux文件系统读

3.3 linux2.6内核中的预读机制

第四章PCI Cache的设计和实现

4.1设计目标

4.2系统总体架构

4.2.1系统的物理架构

4.2.2系统的逻辑架构

4.2.3系统总体调用流程

4.3系统软硬件支持

4.3.1基于IXP425的PCI插卡

4.3.2基于IXP425的PCI插卡驱动程序

4.4 PCI Cache管理模块

4.4.1 Cache管理模块总体架构

4.4.2 Cache管理信息

4.4.3 Cache的一致性

4.4.4 cache的读和写

4.4.5 PCI Cache管理模块中的内核线程

4.5分布式的实现

4.5.1 PCI Cache的分布式读

4.5.2 cache信息的一致性

4.6将PCI Cache系统加入linux-2.6.21内核

4.6.1 PCI Cache系统模块中对内核文件读的支持

4.6.2内核中的支持

第五章PCI Cache应用以及系统测试

5.1廉价流媒体服务器

5.2系统测试

5.2.1测试软硬件平台及其环境搭建

5.2.2功能测试

5.2.3性能测试

第六章结语

致谢

参考文献

攻硕期间取得的研究成果