MN-1から学hだこと：大規模並列深層学習向け計算機基盤の作り方

摘要

深層学習は，大量の計算能力を投入する必要があるタスクである．ChainerMNを用いることで，複数のノードに搭載された複数のGPUを連携させて分散学習が可能となる．これを最大限に活用するため，専用の計算機クラスタ：MN-1を構築し，計算能力を集約運用している．本稿では，MN-1の初期の運用から学hだ経験を共有しつつ，大規模並列深層学習向け計算機基盤のあり方について検討を行う．