各楽器音の時間-周波数特徴の変化に追従可能なDeform-Conv Dense U-Net による音源分離法

摘要

楽曲音源分離とは複数の楽器で構成される音源から目標音源を分離する研究分野である．楽曲の音源分離では畳み込み層で構成されたConvolutional Neural Network(CNN) を用いた手法が主流であり，U-Net[1] などの深層学習法が成果を挙げている. しかし，それらの従来法は急激に時間-周波数特性が変化する箇所で分離性能が低下する問題を抱えている．そして，その問題は楽器音のスペクトログラムの違いが関係している．そこで本稿ではそれを改善するために楽器音と既存のCNN の関係に着目した. 前述のように各楽器音によってスペクトログラムに差異があるが，従来法はその差異を無視して均一な処理をする．そのため，楽器音に適した畳み込みが施されていないと考えた．そこで楽曲構成音の時間-周波数空間での局所的な特徴変化に追従して注視領域の形状を変形することで，分離性能を改善できるのではないかと考えた. 具体的には,各楽器音の局所的な特徴に追従するためにDeformableConolution(Deform-comv)[2] を用いた方法を提案する．