一种Hadoop存取海量小文件的优化方法

摘要

一种Hadoop存取海量小文件的优化方法；本发明目的在于提供一种应用于Hadoop的小文件合并、索引及查询方法，主要解决Hadoop中小文件的存取效率问题。本发明提出一种三层Hadoop小文件存取处理架构，三个层次分别为：用户界面层、业务逻辑层、数据存储层；本发明包括预处理器端小文件的合并映射技术和海量小文件的快速索引技术。