無音動画中の歩行者の下肢の動き情報と面積変化に基づくDPマッチングを用いた歩行音の付加

摘要

本研究は，音声の欠落した無音動画に歩行音を自動で付加することを目的とする.無音動画中の歩行者の下肢の動きの特徴量による歩行パターン抽出を行う.その方法として，無音動画にwatershedアルゴリズムを適用し，歩行者の下肢の動き情報と面積変化の2種類の特徴量を得る.サンプルパターンと，足の着地タイミングを検出済の参照パターンとのDPマッチングを行い，サンプルパターンの着地のタイミングを検出し，音情報付加フレームを決定する.この際，自然な歩行における周期の定常性を利用することで，動き情報と面積変化の2種類の特徴量のうち，適切な方を自動で選択し適用する.これにより得られた音情報付加フレームでの足音の付加を試みた.%The purpose of this research is to add walk sound automatically by extracting the feature quantity of a motion of the leg of the pedestrian in a silent video. After applying the watershed algorithm for walk pattern extraction, two kinds of feature quantity by the leg, the motion information on a domain and area change, were obtained. DP matching between a sample pattern and the reference pattern whose landing timing of the leg has been detected was performed, the timing of landing of a sample pattern was detected, and the sound information addition frame was determined. By using the stationarity of the cycle in the natural walk, among two kinds of feature quantity, that is motion information and area change, the more suitable one was chosen automatically and applied. Addition of the footstep was tried with the sound information addition frame obtained by this.