gMLPを用いた画像認識向けDNNアクセラレータのFPGA実装

摘要

Convolutionを用いない画像認識の深層学習モデルであるVision Transformerが登場してから、CNNの代替としてMLPベースのモデルに大きな注目が集まっている。MLPベースのモデルは、Convolutionを持たないにもかかわらず、画像認識において高い認識精度を達成する。MLP-MixerやgMLPなどのMLPベースモデルの研究では、よりシンプルな構造で高い認識精度を達成する。低レイテンシな推論は、処理単位あたりの計算データが小さいためGPUでは計算効率が低下し、FPGAなどの専用回路による設計が向いていると考えられる。本稿では、我々はMLPベースモデルのための推論アクセラレータのFPGA回路を提案する。MLPベースのモデルではMLPレイヤーにおける単純な行列積が計算の大部分を占めるため、提案回路において我々は行列積を高い並列度で効率的に計算することに注力する。我々はビット幅の広いGEMMと専用命令セットを設計し、2つの大きな行列の積を1サイクルで計算する回路を設計した。本稿では、提案回路をXilinx社ZCU102 FPGAボード上に実装し、gMLP-Sモデルの推論を実行した。ImageNetデータセットを用いたクラス分類の実験結果によると、我々の実装は74.5%の認識精度であり、159.0FPSと6.3msの推論速度であり、24.9Wの消費電力だった。モバイルGPUと比較して、提案する実装は4.4倍高速であり、6.1倍良い電力効率であった。CNNモデルを実装した既存FPGA実装と比較して、我々の実装は同等の推論速度でありながら、3%以上高い認識精度であった。