海量小数据分布式聚类优化与负载均衡算法

摘要

SensorFS系统中的集中式传感器聚类算法会使主节点成为系统瓶颈,并且在传感器量大时速度较慢.为此,分别设计分布式传感器聚类算法和细粒度负载均衡算法对系统进行改进.令主节点只负责初始写调度,传感器再次发出写请求时则直接与对应的ChunkServer节点进行交互.在各ChunkServer节点内部利用传感依赖图进行传感器聚类,得到多个传感器类后由主节点聚类.在此基础上,根据各传感器产生数据的速度计算服务器负载,以传感器类为最小单位进行细粒度迁移.实验结果表明,分布式聚类算法和负载均衡算法能有效提升Hadoop分布式文件系统对海量传感小数据的读写性能.