一种MapReduce带宽优化方法

摘要

本发明公开了一种MapReduce带宽优化方法，包括：在Hadoop作业提交后，OpenFlow控制器根据JobTracker发送的任务执行节点信息，通过Map中间值路由策略确定执行Map中间值合并任务的节点，更新对应流表项，并发送至OpenFlow交换机，OpenFlow交换机通过安全通道对其接收并安装，然后对接收到的数据包进行流表项匹配，若其与合并Map中间值行为类型匹配，则对Map中间值进行合并。本发明通过结合OpenFlow和Hadoop，利用OpenFlow交换机的数据处理能力，对Map中间值，即经map()函数作用后得到的中间元组数据提前进行合并处理，从而大大缓解了数据迁移过程中的网络拥塞问题，显著提高了Hadoop工作效率。