パラメータサーバを用いた並列機械学習システムにおける耐故障性のシミュレーション

摘要

大規模なデータを対象とする機械学習システムの高速化には並列化が必須である。パラメータサーバと多数のワーカ計算機を用いるデータ並列機械学習システムにおいては、一般の大規模システムと同様に耐故障性が問題になるが、並列機械学習システムにおける耐故障性の議論は進hでいない。本稿ではパラメータサーバを用いた並列機械学習システムにおける耐故障性に関して議論し、シミュレーションを用いて大規模なシステムにおける定量的な評価を行う。その結果、パラメータサーノヂ上の情報を用いることでチェックポイントのコストを大幅に低減することができること、さらには、収束への悪影響を許容すれば、チェックポイントからのリカバリコストも低減できることを明らかにした。