一种分布式基础框架中的数据存取方法及装置

摘要

本发明提供了一种分布式基础框架中的数据存取方法及装置，用于实现分布式基础框架中的存储于计算分离。本发明中，HDFS Client将待存储于云存储系统的文件切分成数据块，使用NameNode作为元数据管理服务管理文件与数据块之间的映射关系，将数据块存储于云存储系统中，当需要从云存储系统中读取文件时，根据NameNode管理的文件与数据块的映射关系可开启多个任务并行从云存储系统中读取多个数据块。本发明实现了分布式基础框架中计算资源与存储资源的分离部署，不需要对上层的分布式并行计算框架进行修改，具有很好的兼容性，同时解决了分布式文件系统与云存储系统权限管理模型不一致导致鉴权过程复杂、文件重命名性能差的技术问题。