集群多媒体存储系统的数据组织研究

摘要

随着网络上多媒体数据的爆炸性增长，大量的多媒体数据在世界各地产生并共享，导致对海量可扩展存储系统的需求快速增长。在分布式网络共享环境，大量的分布式客户端同时访问服务器，对服务器的性能要求更高。本文针对多媒体的特点和需求，采用自治式服务器集群结构设计一种集群多媒体存储系统CMSS(ClusterMultimedia Storage System)，并着重研究CMSS系统的数据组织技术，包括元数据组织、数据组织及迁移和多媒体Cache 算法等。CMSS系统设计了一种TLMS(Two-level Metadata Server)元数据组织结构。TLMS通过分离存储数据的逻辑视图与物理视图，来实现两级元数据组织结构。其中逻辑视图由全局元数据服务器GMS(Global Metadata Server)来管理，物理视图由各个存储服务器上的本地元数据服务器LMS(Local Metadata Server)来管理。采用GMS双机热备技术，既实现了单一命名空间，又避免了单点失效；利用全局元数据Cache技术，缩短了请求的处理路径，减轻了GMS的负载，从而提高了系统的性能；采用LMS 技术，每个存储服务器能够自主的管理自己的存储资源和元数据及数据本身，并且能够独立提供存储服务；另外，CMSS的两级元数据组织技术避免了传统集中式元数据服务器的性能瓶颈，也解决了分布式元数据组织的元数据一致性和同步开为了实现高性能、高扩展性，通过对传统分布式和并行数据组织的分析，设计了一种AutoData数据组织结构。AutoData 采用多级数据组织结构，既具有分布式和并行数据组织的优点，又能克服两者缺点。AutoData将整个系统的存储空间分为三层：内存并行存储池、磁盘并行存储池和分布式存储池。所有存储服务器内存的一部分组成一个内存并行存储池；所有存储服务器磁盘的一小部分组成一个磁盘并行存储池；所有存储服务器的剩余磁盘存储空间组成一个分布式存储池。内存并行存储池性能最好，但是其容量最小；磁盘并行存储池性能次之，但是其容量要相对大一些；分布式存储池性能最低，但是其容量最大。通过分析，在多个客户端同时访问服务器的情况下，虽然每个客户端访问的地址可能是顺序的，但是从存储服务器磁盘调度看来，这些多个客户端的访问地址是随机的。为了减少对磁盘的随机访问次数，设计了一种CBP(Client-Based Prefetching)预取算法，CBP算法采用基于客户端的策略，为每个客户端设置一定的预取缓存，并采用大的预取数据块，减少对磁盘的访问次数，提高了系统的性能。在Cache替换算法中，基于多媒体请求访问地址可预测的特点，设计了一种FOPT(Forecast OPT)替换算法，FOPT算法根据多媒体访问的地址连续性，来预测将来访问的地址顺序，从而实现基于预测的OPT算法。在千兆以太网络环境下对CMSS系统进行了相应的试验测试和性能分析。在单个服务器的情况下，分别测试了CMSS和NFS的性能。总的来说，随机读情况下，CMSS 服务器性能略低于NFS服务器，但是顺序读情况下，CMSS服务器性能要比NFS 高20[％]左右。在多个服务器的并行测试环境，分别测试了CMSS、Lustre和PVFS的性能。测试结果显示，随机读情况下，CMSS服务器性能要高于Lustre，但是低于PVFS 服务器，而在顺序读情况下，CMSS服务器性能要比Lustre和PVFS 高30-40[％]。充分说明了CMSS系统针对多媒体应用顺序读优化的有效性。仿真不同的客户端的情况下，对FOPT和LRU算法命中率进行了测试，从结果看，当请求小于64KB时，FOPT和LRU算法的命中率都很高。这个主要是因为服务器Cache采取了64KB大小的预取算法，说明了CBP算法的有效性。当请求达到64KB时，不管客户端数的多少，FOPT算法的命中率比LRU命中率高50-70％，充分说明了FOPT算法的有效性。