基于云芯一号的分布式文件系统设计与实现

摘要

随着大数据现代化的逐步推进以及各类大数据处理技术的快速发展,各种类型的数据量已呈指数级增长。与此同时,分布式文件处理技术也是日新月异,公众对处理系统的硬件和平台环境的要求也越来越高。因此,提出基于云芯一号硬件加速卡的分布式系统设计,在传统的X86架构上进行硬件扩充和优化,并采用Hadoop分布式文件系统对大量数据进行处理。通过不同平台环境的实验结果对比,得出无论是在纯文件压缩上还是HDFS平台中文件的写入读取速度上,提出的系统都远远优于传统压缩方式,为后续工作带了更好的创新方向和架构支撑。