面向异构平台的深度置信网络并行优化方法

摘要

深度置信网络(DBN)模型常伴随高维度、大数据量等计算,使得其训练过程相对缓慢.为提高深度置信网络的模型训练效率,提出了一种基于异构平台的混合并行优化方法.主要包括:(1)模型训练分解为细粒度子任务,设计单个子任务的并行优化方法.(2)针对多核CPU和众核GPU设备,设计细粒度子任务的调度方案,使两种计算资源负载均衡.(3)数据并行与任务并行策略相结合,实现一种异构混合并行算法.在Intel(R)Xeom(R)CPU(6核)和NVIDIA Tesla K20Xm GPU(2688核)实验平台上,针对MNIST手写体识别数据集,在保证识别准确率98.07％的前提下,混合并行算法与CPU串行程序相比,取得6.3x加速比,与CPU多核并行程序相比,取得2x加速比.