既存動画コンテンツを再利用して音楽にマッチした動画を自動生成するシステム

摘要

本稿では，入力された任意の音楽を元に，既存の動画コンテンツを再利用し，人間が音楽と映像が同期していると感じる音楽動画を自動的に生成するシステムを提案する．本システムの土台となる音楽と映像の同期手法は，音楽のエネルギーを示す特徴量であるRMSに対し，映像のアクセント（明滅や動きなど）を付加するというものである．これは，本研究で行った主観評価実験により人が音楽と映像が「合っている」と感じると確かめられた周期手法である．本システムの動画生成は，まずデータベースの構築として既存の動画シーケンスから各フレームの明滅，動きに関する画像特徴量の計算を行う．それに対し入力音楽のMSの挙動に最も近い挙動を示す映像特徴量を持つ動画シーケンスをデータベース中から探索し，それらの映像シーケンスを切り貼りすることで，音楽に最も同期している音楽動画の生成を行うというものである．