GPUの計算結果を集約する10GbE FPGAスイッチの検討

摘要

近年、従来の機械学習の手法と比べて高い精度を持つ学習結果を得られるとして、ディープラーニングが注目を集めている。ディープラーニングでは学習に大量のデータに対する膨大な量の計算が必要であるため、高い計算能力を持つGPU（Graphics Processing Unit）が用いられている。また、高性能のGPUを搭載したマシンによるクラスタなど、多数めGPUを用いることで学習を高速に行うことができる。本論文では、10GbE（10Gbit Ethernet）ネットワークを介してGPUとホストマシンを遠隔接続するリモートGPUシステムによって、多数のGPUを単一のホストマシンに接続した環境での学習を想定する。しかし、多数のGPUを使用してデータ並列方式で学習する場合、全てのGPUを同期して計算結果を集約する必要があるため、通信によるコストが大きくなる。そこで、本論文では、ネットワークスイッチにGPUの計算結果を集約する機能を持たせることで、集約にかかる通信コストを低減する手法を提案する。10GbEインターフェースを有するFPGAボードであるNetFPGA-10Gにこのネットワークスイッチを実装し実験評価を行った結果、10Gbpsのラインレートをほぼ達成する速度で集約を行ことができた。