未知クラスに対する属性情報を用いた画像修復

摘要

深層学習は大量の学習データの存在を前提としていることが多く，学習データに存在しない未知クラスの物体 に対する画像処理が必要になることもある.この問題の一つの解決策として，ラベルの単語分散表現やクラス毎の属性情 報といった補助情報を用いる，zeroshot学習と呼ばれるものが存在する.Zero-shot学習は主に画像認識タスクにおいて 用いられることが多いが，今回は一部が欠損した画像を修復するinpaintingというタスクを拡張し，補助情報を用いて未 知クラスの画像を対象に行うzeroshot conditional inpaintingを提案する.このタスクにおいて，ラベル毎の属性情報を モデルに反映させることで，意味情報を考慮したinpaintingを行った.また，ベースライン手法のパラメータ数を削減す る残差構造を取り入れた.