基于键值分布的跨数据中心大数据处理

摘要

本发明提出了一种基于键值分布的跨数据中心（DC）大数据处理系统和方法，首先基于G‑Hadoop和G‑MR提出了一种新的架构，新增了一个用于收集DC相关信息以及key的分布信息的ResourceManager模块，该系统能对每个DC的输出进行抽样，从而得到近似的key分布并估算每个Reducer分配到的数据量，存储到ResourceManager模块；然后利用ResourceManager模块中存储的信息，本发明提出的二层分组遗传算法TLGGA，为每个reducer寻找目标DC。其中，TLGGA中初始种群的生成分别针对三个目标，即电价，物力资源和传输代价；TLGGA采用了局部优化的技巧，加快了算法的收敛。