SPLICEに基づく音声·口唇画像情報を用いた雑音環境下音声認識

摘要

音声認識技術において，ノイズは認識率の低下の大きな要因の一つである．ノイズにロバストな音声認識システムを実現するため，近年，マルチモーダル手法が注目されている．これは音声だけでなく，口唇の動きなどの画像など，異なる種類の情報を用いることによって認識率を向上させる手法である．マルチモーダル吉声認識は，音声と画像をどのように統合するかが問題となる．統合法は結果統合と初期統合の大きく2つに分けることができる．結果統合は対数尤度ベースでの統合であり，音声と画像のアライメントが一致しないため認識率が低下する可能性がある．それに対し，初期統合は特徴量ベースでの統合である．本稿では特徴量強調手法であるSPLICEに基づく音声と口唇画像を用いた新しいマルチモーダル音声認識システムを提案する，これは初期統合の一種であるが，従来から用いられている初期統合と違い，画像情報を音声信号からの雑音除去にのみ用い，認識のためのモデル構築には画像情報を直接用いない．音声と画像の対応が取れたコーパスであるCENSREC-1-AVを利用した評価実験により，特に雑音の大きな環境では従来手法のSPLICEに対し，約13％のエラー削減率を得た．