小規模目標タスクを達成するためのCNNの初期化について

摘要

CNNを用いたファインチューニング法の有効性は,多くの研究事例によって検証された.しかし,この手法では,ソースモデルとしての学習済みモデルの構造,すなわち,入力画像のサイズ,ネットワークの階層数,畳込み層のフィル夕数,フィル夕カーネルのサイズなどに,目標モデルを合わせなければならないという強い制約がある.本論文では,この制約を取り除くために,小規模の学習デ一夕セットしか用意できない目標タスクを対象として,「最小エントロピ一損失法」および「最小復元誤差法」を提案する.両手法は,学習済みモデルをレファレンスとして利用する点において,ファインチューニング法と同様であるが,学習済みモデルのパラメ一夕を,そのまま利用するのではなく,重要な役割を果たす一部の代表的なパラメ 一夕のみを抽出して,目標モデルの初期化に用いる.提案手法によって,ソースモデルの構造に依存することなぐ目標タスクの規模に応じてモデルを柔軟に設計することが可能になる.実験では,提案手法による小規模ネットワークの初期化は,学習プロセスを加速させる効果に加え,目標タスクに対し,高い認識性能の達成が確認された.