視点位置に依存して変形する三次元メッシュモデルを利用した自由視点画像生成における違和感の低減

摘要

This report describes a method to reduce unnatural artifacts when producing free viewpoint images by a deformable 3-D mesh model. Hybrid rendering methods that have been proposed in the past mostly used only the geometric consistency. Therefore, discontinuous transformation and misalignment of textures have been still quite visible in generated images. In this report, in order to reduce the unnatural artifacts in generated images, we use not only the geometric consistency but also smoothness constraints on both spatial and temporal mesh deformations. Additionally, discontinuities in textures are avoided by improving the strategy of texture selection for each patch in 3-D model. The effectiveness of the proposed method is demonstrated by comparing with previous method using various scenes.%本報告では，近年盛んに研究されている実写画像に基づく自由視点画像生成において，合成画像上に生じる違和感を低減する手法を提案する.従来提案されているHybrid Rendering法では，幾何学的な整合性のみを考慮した画像合成を行うため，入力として用いられる幾何情報の精度が十分でない場合，テクスチャの不連続な変形や位置ずれに起因する歪みが生じていた.提案手法では，幾何学的な整合性に加えて，幾何モデルの時間的・空間的な連続性およびテクスチャの幾何学的・光学的な連続性を考慮した自由視点画像生成を行うことで，合成画像上に生じる歪みの低減を図る.実験では全方位マルチカメラによって実環境を撮影した全方位動画像を入力として用い，生成した自由視点画像を従来手法と比較することで，提案手法の有効性を示す.