一种面向超级计算机的分布式并行深度神经网络性能评测方法

摘要

本发明公开了一种面向超级计算机的分布式并行深度神经网络性能评测方法，属于高性能计算与深度神经网络领域。本发明依次包括了分布式并行粒度设计、深度神经网络训练框架平台配置、分布式并行通信协议部署、深度神经网络优化、训练测试数据集切片、测试模式应用，为开发人员提供了一种通用的测试方法；分布式并行粒度的设计保障了单节点和多节点的全面测试；深度神经网络训练框架pytorch和底层分布式通信框架MPI的耦合确保了应用层部署和底层通信的可靠性；在不同处理器的单节点、不同处理器的多节点的测试，有助于实现对超级计算机计算资源的充分利用，提升程序计算性能，缩短神经网络训练花费时间，提升神经网络训练收敛速度。