屋外大空間におけるフレーム問および複数カメラ間の時空間情報を統合した被写体3次元領域推定方式

摘要

In this paper, we propose a robust object tracking method, which realizes an estimation of world coordinate in the field plane as well as an extraction of each object for every camera image, from multi-view videos shot in wide outdoor space such as soccer stadium. Our proposed method is based on the analysis by utilizing consecutive frames and multi-view images. The proposed method tracks each every camera image based on particle filter. Furthermore, the method represents a world 3-dimensional coordinate of each object as a 2-dimensional XY-coordinate in the field plane image that is acquired by looking down the field from the upper point in the sky, and alculates XY-coordinate of it using homograph matrix between each camera image and field plane image. As the frame by frame process, this method checks whether occlusion happens or not for each object, and modifies texture region by projecting XY-coordinate of the object which is estimated using another camera if it happens. Experimental results revealed that the proposed method successfully improved the robustness for occlusions compared to conventional method using only single camera.%サッカー等の屋外大空間で実施されるスポーツ競技を，複数のアングルから撮影した多視点映像を対象に，各カメラ映像中における選手等の被写体テクスチャ領域の抽出，ならびに被写体3次元位置の推定を高精度に実現する方式について提案する．提案方式は，フレーム間の時間軸情報と複数カメラ間の空間情報を統合的に扱うことを特徴とする．具体的には，被写体ごとに，パーティクルフィルタを用いて各カメラ映像中での領域を追跡すると共に，被写体3次元位置を，被写体が移動するフィールドを真上から見下ろした場合に得られるフィールド平面画像上の2次元XY座標で定式化し，各カメラ画像とフィールド平面画像間の平面射影行列を用いてXY座標の推定を行う．フレーム毎に，各カメラ画像中で被写体どうしが重なるオクルージョンの有無を調べ，オクルージョンが生じている場合は，他カメラで推定されるフィールド画像上XY座標を投影することで，被写体領域の補正を行いながら追跡を行う.提案手法の有効性を検証する目的で実施した実験結果により，従来の単一カメラ映像のみを用いる方式に比べて，オクルージョンにより頑健な結果が得られ，推定精度の向上が確認できた．