ブラインド音源分離と頭部伝達関数を用いた音楽演奏を題材とした自由視聴点コンテンツの制作

摘要

本研究では，ユーザが選択した任意位置における映像，音を視聴することができる自由視聴点TVシステム(Free viewpoint and listening point TV system: FTV)の開発を目指す．本システムでは，任意視点映像の生成には光線空間法を用い，任意聴点音の生成には音源分離技術を用いる．様々な楽器で構成された信号から個々の楽器演奏を抽出し，ユーザが選択した任意位置と演奏者の間に対応する頭部伝達関数を畳み込み，再合成することで，任意聴点音を生成可能である．分離性能が高いほど，定位感のある演奏を聴くことが可能となるが，環境，音源の指向性，観測位置の違いがどのように分離性能に影響するかについて，スピーカを用いた実験で調査した．また，実環境にて楽器演奏を映像·音声を同期収録し，FTVのデモをWEBにて公開する．マイクロホンペア選択型の音源分離手法，及び参照音が得られない実音源に対する評価尺度を提案し，提案手法が楽器演奏に対して高い分離性能を発揮することが示された．