基于HDFS的小文件处理方法及装置

摘要

本申请提供了一种基于HDFS的小文件处理方法及装置，可用于金融领域或其他领域，该方法包括：获取目标文本文件，该目标文本文件包括：目标数据库集群对应的多条数据表记录，每条数据表记录包括：唯一对应的数据表的数据库名称和数据表名称，不同数据表记录对应的数据表不同，在每个数据表对应的HDFS中包含有至少一个小文件；根据预设的HQL语句模板、每个数据表对应的数据库名称和数据表名称，得到该数据表对应的小文件合并语句。本申请能够缓解HDFS存储压力，提高小文件合并的效率，进而能够提高数据库集群运行效率。