注釈情報を3次元的にAR提示可能な多視点映像閲覧方式

摘要

Bullet-Time映像上に3次元的な注釈情報をAR提示する手法について述べる．近年，撮影空間を様々な角度から観察可能な多視点映像を用いた映像メディアの要求が高まっている．多視点映像の閲覧方式の中でも，Bullet-Time方式は映像品質が高く，撮影空間内のオブジェクトの位置関係の把握が容易であるという特長を有する．一方で，Bullet-Time方式は撮影シーンの3次元情報を陽に復元しないため，AR提示における幾何学的整合の再現が困難であるという問題がある．本研究では，多視点映像から撮影空間の大まかな3次元情報を推定し，映像理解を支援する注釈情報を3次元的に提示する機能をBullet-Time方式に追加することを目的とする．提案手法では，画像特徴の対応付けから撮影空間の味な3次元情報やカメラポーズを推定するStructure from Motionと密な3次元情報を推定するMulti View Stereo法を用いて3次元情報を推定する．推定した3次元情報に基づき映像内の人物が注目している物体の推定や隠れの再現を行う．