一种基于联邦分布式文件存储系统的数据持久化存储方法及系统

摘要

本发明推出了一种基于联邦分布式文件存储系统的数据持久化存储方法及系统。本方法利用传感器收集物联网传送过来的数据，并上传到服务器同时对数据进行数据清洗划分以存入到具有不同备份策略的联邦HDFS中，联邦HDFS对数据进行持久化的存储，Spark Streaming读取联邦HDFS中的数据并进行处理，经过Spark Streaming处理后的结果数据分别写入到联邦HDFS和MySQL数据库中，对于写入到联邦HDFS的结果数据，在存储前也是要经过清洗划分再进行持久化的存储；对于写入到MySQL中的数据用于对结果数据进行分析。