DNN向けニューロン毎の量子化ビット幅最適化に関する評価

摘要

近年，Deep Neural Network（DNN）において，重みや入力値のビット幅を削減して記憶領域と計算資源のコストを削減する研究が多く行われている．我々は，ネットワークの各層および層内のニューロン毎にビット幅を最適化する手法とそのアーキテクチャを検討している．本稿では，ニューロン毎の量子化を適用したネットワークに再学習を行った場合の評価や，量子化をモデル全体に適用する評価を行った。再学習を行わない場合と比較して1.82倍パラメータサイズを削減できることがわかった．