基于纠删码的HDFS存储调度技术

摘要

云计算环境下,对数据的实时处理要求高,降低时延、加快数据处理,可以提高客户对数据服务的满意度.在HDFS存储系统下,纠删码技术可以极大节省数据副本的存储空间,并能较好地实现冷数据的存储和使用.通过分析存储节点的负载率和性能指标对文件获取的平均时延的影响,设计了一种基于负载信息和吞吐量的调度算法.通过实验验证发现,调度算法在时延方面最高减少了20％平均时延,服务的稳定性提高了15％,使数据处理更加高效.