一种基于分片方式对调研数据进行预处理的方法及装置

摘要

本申请公开了一种基于分片方式对调研数据进行预处理的方法及装置。所述方法包括：基于Celery后台多任务生成索引文件以及切片文件，当用户需要下载数据时，从索引文件筛选需要下载的数据，根据筛选后的索引文件的索引，从切片文件提取数据并且合并，将合并后的数据提供给用户。所述装置包括：包括：索引模块、切片模块、合并模块。使用本申请的方法，用户可以实时的快速下载，不同筛选条件、不同编码格式要求的csv调研数据，大大提高了下载的效率。