顔の非剛体変形に頑健な複数フレーム超解像の検討

摘要

In a face recognition system with surveillance video cameras, the decrease in resolution of face images degrades the recognition accuracy. To overcome this problem, multi-frame super-resolution techniques could be used to improve the accuracy. However, most super-resolution techniques assume that a planar object is captured in input images. Therefore, it is difficult to apply them to face images that include non-rigid deformations caused by changes of face poses and expressions. In this report, we propose a multi-frame super-resolution method that can deal with changes of face poses and expressions. To achieve this, alignment of each local region between video frames is performed by using a free-form deformation method. Thus, the proposed method can easily deal with the non-rigid deformation of face images. Experimental results demonstrate that the proposed method improved the performance of super resolution for actual videos. From this, we confirmed the effectiveness of the proposed method.%監視カメラ映像からの顔画像認識において，顔領域が低解像度であることは認識精度の低下を招く．この問題に対して，動画像を用いた超解像技術を利用することで認識精度が向上できると考えられる．しかし，従来の超解像は，平面物体を撮影した動画像を対象としている場合が多く，顔画像のように向きや表情の変化によって2次元的に非剛体変形する動画像を扱うことが困難である．そこで本報告では，局所領域毎に位置合わせをすることで，顔向きや表情の変化に頑健な超解像を行う手法を提案する．具体的には，フレーム間の位置合わせに非剛体レジストレーションを用いることで顔画像の非剛体変形に柔軟に対応する．実際に撮影した動画像を用いた実験の結果，超解像の性能向上が見られ，提案手法の有効性が確認できた．