将数据流分组并存储至云端存储文件中的系统和方法

摘要

本申请涉及将数据流分组并存储至云端存储文件中的系统和方法。支持基于在流中数据项类型对一数据流进行分组和存储的新方法被提出，以进行有效的数据批处理和分析。首先，将上述数据流上传到一云端存储中，其中上述数据流包括由不同使用者和/或装置产生并收集不同类型的多个数据项。一预处理单元接着检索、分组和放置数据项到多个批数据队列中，其中每一批数据队列中的上述数据项具有相同的数据类型。一或多个批处理单元接着配置用以从批处理数据队列中获取及批处理上述数据项，并存储相同类型上述数据项至一或多个云端存储文件中，以便一次一批数据队列在上述云端存储上进一步处理和分析。