一种基于SSD的高性能Hadoop系统的设计与应用

摘要

在大数据平台中,随第一代Hadoop出现的基于磁盘的批处理计算框架MapReduce的局限日益显现:数据读入和中间结果数据均依赖于大量磁盘I/O,性能有限.基于内存计算的Spark成为当前重点,对比MapReduce性能可提升10-100倍,但内存使用的成本依旧高昂.采用超高速且相对廉价的SSD作为大数据的缓存解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的Spark计算引擎和行列混合式文件结构等优化技术,设计了一种基于SSD的高性能Hadoop系统,能有效地解决大数据计算系统的性能问题和存储空间问题,实验结果显示取得数倍性能提升.