基于非易失存储介质的大数据存储访问与处理的优化方法

摘要

本发明公布了一种基于非易失存储介质的大数据存储访问与处理的优化方法，针对现有的大数据处理框架Spark的Shuffe操作存在的大量存储开销的技术问题，通过基于非易失存储介质实现大数据处理框架Spark的Shuffle操作的方法来进行优化，减少磁盘访问开销和较长的I/O栈开销，提高非易失存储介质进行大数据计算处理的性能，实现对大数据存储访问与处理计算进行优化，可应用于词频统计分析等大数据处理应用中。