歌手映像と歌声の解析に基づく音楽動画中の歌唱シーン検出手法の検討

摘要

本稿では，ライヴ動画やPVなどに代表される音楽動画において，歌手が歌っているシーンである「歌唱シーン」を検出する手法について検討する．音楽において歌手は最も主要な役割を担っており，音楽動画における歌唱シーンも同様に動画のハイライトの一つであると言える．歌唱シーンは動画サムネイル生成や，大量の音楽動画の短時間ブラウジングなどにおいて有用である．歌唱シーンを検出するためには，歌手の顔認識，楽曲中の歌声区間検出といった要素手法及びそれらを組み合わせる手法についての検討が必要である．本稿では，顔認識を用いた映像解析，歌声区間検出を用いた音響解析，それらを複合したAudio-Visual解析のそれぞれについて比較·検討しながら歌唱シーン検出の実現可能性について議論する．