Listen and Tell: 深層学習を用いた音響シーンのキャプション生成

摘要

本研究では，深層学習を用いて音響信号からその内容を説明するキャプションを生成する手法を提案した．画像でのキャプション生成モデルを音響信号でのモデルに適用するために，音響信号に対するスペクトログラム表現と，複数のスペクトログラムを用いた可変長音響信号に対する固定長ベクトル表現を導入することによってモデルを拡張した．提案モデルを混合音とキャプションのデータセットで学習させた結果，完全に一致したキャプションが生成される割合は71.6%となり，また，音源の順序が表現できていることが分かった．