音声·画像のモダリティ間の相互作用に着目した音声認識のモデル適応

摘要

本論文は，マルチモーダル音声認識におけるMLLR法を用いたモデル適応において，音響情報と画像情報がそれぞれ異なるモダリティに与える影響（モダリティ間の効果）について調査するものである．マルチモーダル音声認識のモデル適応ではモダリティ間の情報が音声認識の精度向上に有効に働いている可能性がある．そこで，モダリティ間の効果が有効であるか否か調査を行った．具体的には，MLLR法の変換行列にいくつかの変化を加えてモデル適応を行い認識精度を比較した．実験にはマルチモーダル音声認識コーパスに音響雑音を加えたデータを使用した．実験の結果から，モダリティ間の情報の有効性が確認された．