全方位動画像の欠損修復による不可視領域のない全天球映像の生成

摘要

Omnidirectional cameras cannot usually capture the entire direction of view due to the blind side. Thus, such an invisible part decreases realistic sensation in the telepresence system. In this study, an omnidirectional video without invisible area is generated by filling a missing region using an image inpainting technique for high realistic sensation in telepresence. This report proposes a new method that successfully inpaints a missing region by compensating the texture's distortion and limiting the searched area considering the camera motion and the shape of the scene around the missing region. The quality of the inpainted image is improved by limiting the seaching area using the estimated plane and camera motion. In the experiment, the effectiveness of the proposed method is demonstrated by inpainting missing regions in a real image sequence captured with an omnidirectional camera and generating an omnidirectional video without invisible area.%本報告では，全方位動画像上において全方位カメラの死角により生じる欠損領域を修復し，臨場感の高いテレプレゼンスを実現する手法を提案する．本研究では，欠損領域周辺における掘影対象の形状とカメラの運動を考慮し，テクスチャの変形補正および，事例として用いる画像領域の限定を行うことで高品位な修復を行う．具体的には，全方位カメラの死角領域周辺の形状が平面で近似できると仮定し，Structure from motion法によって得られた点群に当てはめた平面に対して全方位画像を投影し，同一物体の見え方の変化を補償する．また，全方位カメラの位置・姿勢および作成した平面を用いて，欠損領域のテクスチャが他フレームの画像上で存在する領域を限定し．実際には存在しないテクスチャの生成を防ぐ．実験では，移動しながら全方位カメラにより撮影された動画像の欠損を修復し，不可視領域のない全天球映像を生成することで，提案手法の有効性を示す．