基于迁移均衡策略的用电信息分布式文件存储方法与装置

摘要

本发明公开了基于迁移均衡策略的用电信息分布式文件存储方法与装置，数据采集模块将原始数据帧进行解析得到原始数据，以文件形式存入本地磁盘模块，将原始数据帧上传至关系数据库和MongoDB数据库；检测本地磁盘模块中文件的信息，选择是否将文件上传至数据存储模块；MongoDB数据库采用迁移均衡策略通过路由在mongos获取分片所在的节点负载，从数据量和负载两方面实现均衡；大数据管理引擎定时监测未进行数据转存计算的文件信息，将文件从MongoDB数据库提取，以时间为标签；将从MongoDB数据库提取到的文件数据转化为数据字符流，计算得到业务数据；最后进行数据持久化。实现用电信息大数据的高效存储，满足用电信息采集系统用电大数据存储容量、存储速率需求。