ネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システム

摘要

Abstract We present a real-time video-based rendering system using a network camera array. Our system consists of 64 commodity network cameras which are connected to a single PC through Gbit Ethernet. To render a high-quality novel view, we estimate a view-dependent per-pixel depth map in real-time based on a layered representation. The rendering algorithm is fully implemented on GPU, which allows our system to efficiently perform independent and parallel processing of CPU and GPU. Our system renders free-viewpoint videos at 24 fps using QVGA input video resolution. Experimental results show high-quality images synthesized from various scenes.%64台のネットワークカメラアレイを用いた実時間全焦点自由視点映像合成システムについて報告する．本システムでは，所望の視点位置における画素単位の奥行きマップを実時間で推定し，高品質な全焦点自由視点映像を合成する．画像合成処理をすべてGPU上で実装することにより，CPU とGPU で効率的な並列計算を行うシステムを1台のPC で実現した．これにより，解像度QVGA の入力多視点映像を用いて，フレームレート24 fbs での自由視点映像合成が可能となった．さまざまなシーンにおける高品質な自由視点映像を実験結果として示す．