面向流媒体应用存储系统的研究与实现

摘要

流媒体应用有着与其他应用所不同的特点,在分析流媒体对存储系统的特别要求的基础上,深入研究了能大幅度提高其读性能的技术——改进的文件系统与RAID算法,设计并实现了其在嵌入式Linux操作系统上的具体方案.对当前市场上常见的RAID卡深入分析后发现,它们并没有针对流媒体的应用进行优化.流媒体的存储有其自身的特点,需要进行优化才能达到理想的性能,在流媒体应用中绝大多数是读请求,而且单个请求读数据块大小往往比较大,而常用的文件系统都只支持4K的块大小,现有的RAID卡显然不适合流媒体的应用.另外,流媒体应用中对数据需要顺序存储,这也是现在的文件系统需要改进的地方.基于以上理论分析,面向流媒体应用的存储系统将可以大大提高存储系统的性能.面向流媒体应用的存储系统包括几个子系统:文件系统、PCI设备驱动程序、RAID算法、SCSI驱动程序与管理控制子系统.这些子系统分布在两个硬件平台上,主机硬件平台是普通的PC机或者服务器,主机软件平台为Linux2.4.18,嵌入式板采用Intel iq80310,软件平台采用Montavista Linux2.1,各子系统均是以Linux内核驱动的方式实现的.流媒体应用的特殊性在于,读请求数据块往往比较大,而最频繁的I/O操作是读请求,原有的文件系统和MD都不支持超过4K大小的数据块,所以设计了专用的流媒体文件系统并改进了Linux下的软件RAID算法,可以支持64K的读I/O请求与4K写I/O请求.对本存储系统进行了全面的综合测试,采用两块双通道Ultra160SCSI卡,当采用RAID5时最高可以达到300MB/S的数据读速率与70MB/S写速率,达到了预计的设计性能.

目录

文摘

英文文摘

独创性声明及学位论文版权使用授权书

1绪论

1.1课题的目的和意义

1.2国内外存储技术的现状

1.3课题的提出及意义

1.4本文的主要内容

2现有存储系统与Linux下软RAID的实现分析

2.1对现有存储技术的分析

2.2 Linux下的软RAID实现

2.3本章小结

3面向流媒体应用存储系统的原理和设计方案

3.1软件结构层次

3.2硬件设计方案

3.3功能划分

3.4服务器主机与存储子系统之间的接口

3.5存储子系统设计方案

4软硬件环境介绍

4.1嵌入式系统的技术特点

4.2嵌入式系统的发展

4.3 Intel IOP 80310介绍

4.4 80310嵌入式系统的组成

4.5嵌入式Linux的裁减技术

5驱动程序的设计

5.1 I/O接口设计方案

5.2 I/O接口处理流程

5.3 I/O代理模块设计与实现

5.4高效的内存管理

5.5两级DMA

5.6文件块大小的转化

5.7本章小结

6RAID5算法的改进及在嵌入式Linux系统中的实现

6.1 MD原理

6.2 RAID5算法的改进

6.3 RAID在Linux下的配置方法

6.4本章小结

7系统的性能测试及评价

8全文总结

致谢

参考文献

附录1攻读学位期间发表的学术论文目录