木構造クラスタリングを用いた動画像からの高次特徴抽出

摘要

動画像から「自動車」，「人」などの高次特徴を検出する問題に対し，木構造辞書とノード選択を組み合わせることで，計算時間とデータ記憶領域を抑えながら，各高次特徴に特化した特徴を利用可能な検出手法を提案する．まず，局所特徴の木構造クラスタリングを行うことで．全ての高次特徴に共通の木構造辞書を作成する．次に，高次特徴毎に利用するノードをこの木構造辞書から選択し，それぞれの高次特徴の素性(visual word)とする．さらに，そのvisual wordのうち，前後のフレーム画像から動きがあると判定されたものを，motion wordとして抽出する．これら2種類のwordの出現回数を要素とする特徴ベクトルを作成し，それを入力とする最大エントロピーモデルを学習する．このモデルを用いて高次特徴の検出を行う．TRECVID 2006，2007のデータセットで評価実験を行った結果，Mean Average Precision (MAP)の最大値においてベースラインの値0.097から，ノードの選択により0.100へ，motion wordを加えることで0.102へ向上し，提案手法の有効性が確認された．