基于改进MapReduce模型的BP神经网络并行化研究

摘要

为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进MapReduce编程模型及并行化的实现.采用MapReduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值对应的reduce工作方式分散为多个reduce进行工作,实现各个任务节点并行处理大数据,从而减少了处理大规模数据集的运行时间.选用不同大小数据集进行测试,通过与传统的神经网络并行化进行对比,发现改进后的MapReduce并行编程模型提高了神经网络的并行速率,在处理大数据集时具有一定的优越性.