歌詞情報に基づくWEB画像検索を利用した楽曲連動スライドショー生成システム

摘要

本研究ではユーザが入力した楽曲に対して，楽曲の歌詞情報を基に検索したWEB 画像を，楽曲と同期させて再生するスライドショーを自動生成するシステムについて提案する．楽曲歌詞の内容に適した画像を楽曲と同期させて再生することで，楽曲が表現する情景表現を向上させ，より印象深い音楽体験の実現を目指す．具体的には，歌詞に含まれる単語と，歌詞情報から推定した全体印象語から最適な画像検索クエリを抽出し，表示候補となる画像を取得する．取得した画像に付与されているソーシャルタグと全体印象語の適合度を用いることで，行と連動して表示させる写真を選定する．さらに，歌詞行の表示時間の最頻値を利用して，スライドショー再生時の画像切替えを自動化する．最終的に被験者評価実験により本システムの有効性を示す．