分布式文件存储系统在电子通信大数据存储中的应用

摘要

为解决电子通信大数据存储问题,基于分布式文件系统设计一种崭新的海量数据存储方案。基于空闲容量策略优化传统HDFS系统的存储方法,明确HDFS集群不同层次空闲存储情况,将空闲容量高于阈值的存储层次视为健康层次,可正常分配数据存储任务。然后基于细粒度均衡算法优化文件在分布式存储系统中的放置策略,均衡热点文件对存储系统的负担。测试结果显示,此方法存储大规模子通信文件的延时较低,并且取得了良好的节能效果。