一种CSV大文件快速写入到HDFS的方法及系统

摘要

本申请提出了一种CSV大文件快速写入到HDFS的方法，该方法具体包括：S1、获取CSV的大文件，并逐行读取所述CSV的大文件的数据内容；S2、将读取的每行所述数据内容拼接到字符串中，每行所述数据内容之间用特殊字符分割开；S3、判断当前读取的所述数据内容是否大于某一数值X，若大于则将所述数据内容写入小文件，清空当前的所述字符串，并记录生成的所述小文件的名称以及路径，否则继续；S4、判断所述数据内容是否读取结束，将未写入的剩余所述数据文件写入剩余小文件中；S5、创建HDFS文件，读取所述小文件的数据内容并写入到所述HDFS文件中，并判断所述小文件是否写入完成。能够提升对数据的写入效率，减少数据写入过程中内存的占用。