歌詞情報に基づくWEB画像検索を利用した楽曲連動スライドショー生成システム

摘要

In this paper, we propose a system to automatically generate slide shows for music user selected, by utilizing Web images retrived by queries constructed from song lyrics. Proposed system aims to provide new and impressive user experiences with using Web images synchronized with lines of lyric. First, we propose a method to select images to compose the slideshow from the result of Web image retrieval based on query extracted from lyrics. The system selects matching images with the whole impression of lyrics and removes images which have many social tags related not to the image content. Furthermore, we propose a method to switch the images in the slides. Finally, subjective experiment is conducted to evaluate effectiveness of our system.%本研究ではユーザが入力した楽曲に対して，楽曲の歌詞情報を基に検索したWEB画像を．楽曲と同期させて再生するスライドショーを自動生成するシステムについて提案する．楽曲歌詞の内容に適した画像を楽曲と同期させて再生することで，楽曲が表現する情景表現を向上させ，より印象深い音楽休験の実現を目指す．具体的には，歌詞に含まれる単語と，歌詞情報から推定した全体印象語から最適な画像検索クエリを抽出し．表示候補となる画像を取得する．取得した画像に付与されているソーシャルタグと全体印象語の適合度を用いることで，行と連動して表示させる写真を選定する，さらに，歌詞行の表示時間の最頻値を利用して，スライドショー再生時の画像切替えを自動化する．最終的に被験者評価実験により本システムの有効性を示す．