モデル圧縮における擬似データ生成手法の提案

摘要

機械学習による分類において，精度の高い手法として複数の分類モデルの結合であるアンサンブルがよく用いられるが，アンサンブルは多大な計算資源を必要とするため，携帯端末など計算資源の限られた環境で用いるのが難しい．この問題に対して，アンサンブルを小さなニューラルネットワークで近似するモデル圧縮の手法が提案されている．モデル圧縮では，オリジナルデータを基に大量の擬似データを生成して近似モデルの学習に用いるが，この擬似データ生成において真のデータ分布をよく近似した擬似データ分布を得ることが，近似モデルの性能を元のアンサンブルに近づけるために重要である．本研究では，分類クラスごとの分布の偏りを考慮することで，既存手法よりも近似モデルの学習に有効な擬似データを高速に生成するAdaptive MUNGEを提案する．実験により，提案手法は既存手法と比較して高速に擬似データを生成することができ，かつ，より精度を保つモデル圧縮が実現できることを示す．