云计算平台中数据存储与文件管理的研究

摘要

随着数字技术和互联网的快速发展,互联网提供的服务种类越来越多,需要处理的数据量也越大。如何处理好海量的数据与服务,有效地为用户提供方便、快捷的网络服务日益重要。云计算的到来为解决海量数据问题提供了良好的途径,它提供了安全可靠的数据存储、方便快捷的互联网服务和强大的计算能力,改变了传统以PC机为基础的生产模式,最终改变人们获取信息。同时,随着云计算的推广和流行,如何高速率、低成本储存和管理生成于云端的大量数据,也成为了各大企业和组织研究重点,这就需要有良好的云结构设计、数据存储及处理模式和云存储平台的设计。
　　 目前的云计算平台中的存储设计主要有Google的GFS和Hadoop的HDFS。但是,在GFS和HDFS中在都存在节点失效的问题。节点失效将对云平台带来不利影响,尤其是服务器节点失效影响更大。因此解决单节点甚至双节点同时实效成为一个重要的问题。
　　 针对节点失效这个问题,本文拟采用云计算与P2P相结合的方式搭建架构平台,即在存储数据的节点之间与其子服务节点之间采用云计算方式存储,在服务节点之间采用全分布式非结构化拓扑使得服务节点S之间是完全对等的模式,也就是一种混合拓扑结构模式。采用全分布式非结构化拓扑的非结构化系统中,出于冗余度以及延时的考虑,大部分DHT总是在节点的虚拟标识与关键字最接近的节点上复制备份冗余信息,这样也避免了单一节点失效的问题。这种混合拓扑结构模式可以有效的解决服务器节点失效的问题,构建可信服务器节点的云计算基础架构。
　　 同时,由于云计算中心需要面对的应用种类、数量和规模是前所未有的,所以应用及用户隔离技术是云计算中心需要考虑的问题。在隔离技术上数据的隔离是最为重要的,我们采用一种目录映射的单向指针分层用户隔离的方法以便于有效地实现了用户数据的隔离。
　　 接着,本文重点分析并给出云计算平台中数据存储方式,不同于关系数据库的、适用于云计算的一种基于列模式的映射数据存储模式,这种模式的数据表结构它是一个稀疏的,分布的,持续多维度的排序映射数组。
　　 最后,给出云存储平台设计的系统结构和分布式存储流程以及系统管理节点、子节点和客户端节点的模块设计。