基于Hadoop的饮用水海量数据存储管理方法和系统

摘要

本发明公开了基于Hadoop的饮用水海量数据存储管理方法，包括以下步骤：将实时属性数据存入区域服务器，将区域服务器中的实时属性数据迁移Kafka集群中，并进行数据清洗，将清洗后的实时属性数据存入Hadoop集群中；将Hadoop集群中的实时属性数据根据属性进行第二次分类，将分类后的实时属性数据合并成大文件并生成索引文件；将合并后的大文件和索引文件存入Hadoop集群中。本发明对小文件的实时属性数据根据产生地域、时间后先做一次分类，然后再根据数据的元素类型再做一次分类，最后进行合并存储，这样大大减少了内存的消耗，提高了平台的性能。