Virtual View Synthesis by a Variational Recovery Method with a Multiple Depth-Layer Model

摘要

多眼カメラで取得された多視点画像を用いて任意視点からの画像を合成する問題は，被写体の3次元構造rnが未知である場合，悪設定問題となる．そのため，多視点画像から3次元構造の推定を行い，その結果に基づき合成rnを行う手法が主流である．本稿では，画像の鮮鋭化手法を適用することによって，3次元構造の推定を行うことなく，rn高品質な任意視点画像を生成する手法を提案する．提案手法は二つの段階からなる．第一段階では，対象シーン中にrn複数枚の平面（仮定平面）を想牢し，それぞれの平面に基づいてlight field rendering（LFR）法により複数枚の任意視rn点画像を合成する．この段階で合成された画像では，奥行きが仮定平面に近い領域は鮮鋭に生成されるが，仮定平面rnから離れた領域には劣化が生じる．第二段階では，これらの画像にエネルギー関数最小化に基づいた反復復元法を適rn用し，劣イヒを除去した高品質な画像を生成する．%This paper presents a novel method for virtual view synthesis using an image recovery scheme based on energy minimization. The presented method first synthesizes multiple virtual views at the same position based on multiple depth layers by using the conventional view interpolation method. The interpolated views suffer from blurring and ghosting artifacts due to the pixel mis-correspondence. Secondly, the multiple views are integrated into a novel view in which all regions are focused. In this paper, we formulate the integration problem as the image recovery problem of minimizing energy that consists of data-fidelity and regularization terms. This integration method effectively recovers the all-focused view, avoiding problems of feature correspondence and scene geometry reconstruction.