Image Inpainting by Minimizing Energy Function Based on Pattern Similarity Considering Brightness Change and Spatial Locality

摘要

本論文では，写真についた傷など画像内の不要な部分を取り除き，その欠損領域を自動的に修復する新たな手法を提案する．従来，欠損領域の修復に関しては，欠損領域と欠損領域以外のデータ領域のパターン類似度を用いて欠損領域全体のもっともらしさを表す目的関数を定義し，それを最適化することで画像修復を行う手法が提案されている．しかし，従来提案されている目的関数の最適化による修復では，以下に挙げる二つの問題により不自然なテクスチャが生じやすい．（ 1 ）データ領域におけるテクスチャパターンの種類に限りがあるため，単純なテクスチャのコピーによる修復を前提とした場合には，違和感のない修復に最低限必要なパターンがデータ領域に存在しないことが多い．（ 2 ）データ領域と欠損領域間のパターン類似度のみによる指標は自然なテクスチャの再現条件としては不十分である．本研究ではこのような問題に対して，テクスチャの明度変化を許容したパターン類似度を用いることで表現できるテクスチャパターンの拡張を行う．また，パターン類似度以外にテクスチャの局所性を表すコスト関数を用いることで不自然なテクスチャの生成を抑制する．実験では，様々な画像に対して欠損領域の修復を行い，従来手法との比較及びアンケート評価に基づく定性的評価により提案手法の有効性を示す．また，従来行われてきた評価方法である少人数・少数の画像による主観評価及び結果画像と原画像の差分に基づく定量的評価の問題点を実験により明らかにする．