モダリティを統合したDNNの認識·単一化複合タスクによる感情の数理的表現

摘要

ロボット内で感情を再現するためには，感情コンピューティングの各要素において，感情を計算機内で数理的に表現するモデルが必要と考える．その手法として関連研究の多くは感情を連続値のべクトルで表現し，単一のモダリティによって感情の情報を低次元空間に写像するが，得られる感情の表現はそのモダリティに依存すると考える．本研究では，複数のモダリティを統合した感情の数理的表現（感情空間）を獲得するDNNを提案し，認識タスクと単一化タスクの複合によって，モダリティに依存しない感情空間の獲得を目指す．音声と顔画像データによる実験より，単一のモダリティから獲得される感情空間に相違があることと，提案手法によりモダリティ非依存な感情の情報が獲得可能であることを確かめる．