複数オブジェクトの追跡と分離に基づく屋外大空間における自由視点映像生成

摘要

In this paper, we propose a multi-object segmentation method that can precisely extract object's texture even in occluded regions in order to realize free viewpoint video synthesis in wide outdoor space such as soccer stadium. As the drawback of the conventional method based on multi-object tracking and segmentation, the performance was degraded by the tracking error especially for the scene with continuing occlusions. To solve the problem, we propose the precise segmentation scheme of multiple objects based on mutual feedback between tracking and segmentation. More specifically, in order to reduce the tracking error, our scheme limits the tracking area dependent on the segmentation results. Experimental results revealed that proposed method successfully improved the visual experience of the synthesized free viewpoint video compared to the conventional method.%本稿では,サッカースタジアム等の屋外大空間における高精度な自由視点映像生成を目的とし,複数カメラ映像を対象に,各カメラ映像において複数オブジェクトが重なり合うォクルージョン領域からオブジェクトごとのテクスチャを獲得する手法を提案する.時系列的なオブジェクト追跡に基づき分離を行う従来手法では,オクルージョンが連続するシーンにおいて追跡誤差が発生し,その結果オブジェクト分離の精度が低下するという課題があった.これを踏まえ,提案手法では時系列的なオブジェクト追跡と分離の結果を相互的に用いることで高精度にオブジェクトを分離する.より具体的には,追跡誤差を低減するため,分離結果を用いて追跡領域を限定する.提案手法の有効性を検証する目的で実施した実験結果により,提案手法は従来手法に比べ,自由視点映像の合成画質を向上させることを確認した.