基于优化聚类算法的多源大数据跨源调度系统设计

摘要

由于多源大数据来源广、数量多,不同数据源之间跨源难度大,使得跨源调度模式单一,数据完整性较差、调度时间较长。为此,文中设计一种基于优化聚类算法的多源大数据跨源调度系统。在硬件采集器中引入Mifare RC522芯片,存储器内部同时加入原始数据存储模块和异常筛选数据存储模块,选用RR调度器完成状态分析;然后,计算多源数据节点度,分析数据源的精密度并确定数据集聚类中心,在优化聚类矩阵的基础上引入裁切系数,得到闭包关系矩阵,判断聚类关系后建立调度模型;最后,根据调度模型建立调度程序,通过优化聚类计算调度数据库,加入莫兰指数得到调度函数,在聚类循环模式下确定调度数据值。实验结果表明,所设计系统在顺向调度和逆向调度模式下,多源调度数据完整性都高于95%,调度时间分别为6.84 s和6.17 s,能够有效解决调度模式单一问题,提高调度效率。