無音動画中の歩行者の下肢の動き情報と面積変化に基づくDPマッチングを用いた歩行音の付加

摘要

本研究は，音声の欠落した無音動画に歩行音を自動で付加することを目的とする．無音動画中の歩行者の下肢の動きの特徴量による歩行パターン抽出を行う．その方法として，無音動画にwatershedアルゴリズムを適用し，歩行者の下肢の動き情報と面積変化の2種類の特徴量を得る．サンプルパターンと，足の着地タイミングを検出済の参照パターンとのDPマッチングを行い，サンプルパターンの着地のタイミングを検出し，音情報付加フレームを決定する．この際，自然な歩行における周期の定常性を利用することで，動き情報と面積変化の2種類の特徴量のうち，適切な方を自動で選択し適用する．これにより得られた音情報付加フレームでの足音の付加を試みた．