未知クラスに対する属性情報を用いた画像修復

摘要

深層学習は大量の学習データの存在を前提としていることが多く，学習データに存在しない未知クラスの物体に対する画像処理が必要になることもある．この問題の一つの解決策として，ラベルの単語分散表現やクラス毎の属性情報といった補助情報を用いる，zero-shot学習と呼ばれるものが存在する．Zero-shot学習は主に画像認識タスクにおいて用いられることが多いが，今回は一部が欠損した画像を修復するinpaintingというタスクを拡張し，補助情報を用いて未知クラスの画像を対象に行うzero-shot conditional inpaintingを提案する．このタスクにおいて，ラベル毎の属性情報をモデルに反映させることで，意味情報を考慮したinpaintingを行った．また，ベースライン手法のパラメータ数を削減する残差構造を取り入れた．