オブジェクトの分離とカメラ間/フレーム間の予測に基づく自由視点映像生成

摘要

本論文では,サッカースタジアムなどの屋外大空間における高精度な自由視点映像生成を目的とし,追跡に基づくオブジェクト分離,カメラ間予測,そしてフレーム間予測を適応的に用いることで,複数オブジェクトが重なり合うオクルージョン領域において最適なテクスチャを獲得する手法を提案する.カメラ間対応によるオブジェクトの分離とカメラ間予測を組み合わせたテクスチャ取得手法を用いた従来手法では,カメラ配置による適用制限がある,分離に失敗したテクスチャにより合成画質が低下する,他のカメラにより予測したテクスチャの向きとオブジェクトの移動方向に大きなずれが生じる場合がある,といった課題があった.これを踏まえ,提案手法では追跡に基づくオブジェクト分離を行うことで,カメラ配置による制限を受けずに分離を可能とした.また,新たにフレーム間予測によるテクスチャ取得手法を導入することで,オブジェクト分離とカメラ間予測が不適な場合に対応する.更に,分離結果の適正判定,仮想視点の向き,予測フレーム数に基づく条件判断により,上記3種のテクスチャ取得手法の中から最適なものを選択する.実験により,提案手法は3種のテクスチャ取得手法によって得られたテクスチャのうち,最適なテクスチャを用いた自由視点合成が可能であり,主観品質の向上に有用であることを確認した.