多視点カメラ撮影による野球のシースルー映像生成

摘要

This paper presents a generation method of see-through movie by merging multiple camera images and diminishing occluders from a middle camera. We apply this method for the movie of the baseball game and create the see-through movie of the pitcher by diminishing the catcher and the umpire. This method consists of "generating pitcher region", "diminishing umpire and catcher", and "visualizing trajectory of ball". In the generating pitcher region, the images of left and right cameras are transformed to the middle camera view by Homographies to merge them. The regions of umpire and catcher are diminished by Graph cut. The trajectory of the ball in the middle camera view is visualized by estimating the ball's position using Trifocal Tensor among the three cameras. By merging these results for each region, the see-through image is generated. In the experimental results, the see-through movie in which the catcher and the umpire ("occluders") are diminished is successfully generated.%本論文では，多視点のカメラの映像を合成することにより，中央カメラに映る障害物を取り除くとともに，障害物に隠れていた物体を透視することで，シースルー映像を生成する手法を提案する.本手法を野球の試合映像に適用し，審判とキャッチャーに隠されたピッチャーの姿を透視した映像を生成する.本手法は，ピッチャーの合成，審判とキャッチャーの除去，ボール軌跡の可視化の処理から成る.ピッチャーの合成では，左右カメラにおけるピッチャー領域を，Homographyによって中央カメラ視点へ変換して合成する.審判とキャッチャーは，Graph cutを用いた領域検出によって除去する.ボール軌跡は，左右および中央カメラ間に成立するTrifocalTensor を用いて中央カメラでのボール位置を推測することで可視化する.最後に，それぞれの処理によって生成された結果を領域ごとに合成することで，シースルー映像を生成する.実験では，球場にて撮影した多視点映像に本手法を適用し，障害物であるキャッチャーと審判を除去したシースルー映像を合成することができた.