バーチャルリアリティ技術を用いた映像例示型検索の性能評価

摘要

Query-By-Example (QBE) retrieves shots which contain similar features (e.g., color, edge and motion) to those of example shots provided as a query. One crucial problem of OBE is the diversity of shots, where even for the same query, relevant shots contain significantly different features due to varied camera techniques. QBE approach is impractical if it requires the user to provide a large number of example shots in order to retrieve diverse relevant shots. Thus, we are developing Query-By-Virtual-Example (QBVE) approach which can efficiently create a large number of virtual example shots by synthesizing the user's gesture, 3D object and background image. In this paper, using large-scale video data, we examine the effectiveness of virtual example shots from the perspective of retrieval performance. In addition, we study about the importance of camera movements, the individual difference in users, and the synthesis strategy of gestures, 3D objects and backgrounds.%“映像例示型検索（QBE:Query By Example）”は，クエリとして与えられたサンプル映像に，色，エッジ，動きといった特徴量に関して類似した映像を検索する手法である．QBEでは，同一のクエリに適合する映像でも，撮影技術によって，見た目（すなわち，特徴量）が多様に異なってくるという“ショットの多様性”が問題になる．つまり，多様なショットを検索するために，ユーザが大量のサンプルショットを与えなければならないようなQBEは非実用的である．そこで，我々は，バーチャルリアリティ技術を用いて，ユーザのジェスチャー，3Dモデル，背景画像を合成して，大量の“仮想的なサンプル映像”を効率的に生成し検索を行う“仮想映像例示型検索（QBVE: Query By Virtual Example）”を開発している．本論文では，大規模な映像データを用いて，検索性能の観点から，仮想的rnなサンプル映像の有効性について検証する．さらに，カメラワークの重要性，ジェスチャー，ユーザの個人差，及び3Dモデル，背景画像の合成方法が検索性能に与える影響についても検討する．