マルチモーダル音声区間検出を用いたマルチモーダル音声認識の検討

摘要

Audio-Visual Automatic Speech Recognition (AVASR) has been developed to enhance the robustness in noisy environments, using visual information in addition to acoustic features. Similarly, Audio-Visual Voice Activity Detection (AVVAD) has been investigated and used to increase the precision of VAD, since detecting presence of speech in noisy audio signals contributes ASR performance. In this paper, we propose a novel speech recognition method combining AVASR and AVVAD: combinations of model-based and model-free, and feature-fusion-based or decision-fusion-based methods. To evaluate the proposed schemes, recognition experiments were conducted using noisy audio-visual data. Then it is found that the proposed method using the model-free feature-fusion AVVAD method outperforms not only audio-only ASR but also conventional AVASR.%音声とロ唇動画像を用いるマルチモーダル音声認識は，雑音下で頑健に音声認識できる手法のひとつとして注目されている．他方，雑音下音声認識においては，音声区間の同定を行う苫声区間検出（Voice Activity DetectioIl，VAD）が有効である．我々はこれまでに，音響雑音の影響を受けない画像情報を併用したマルチモーダルVADを提案している．本研究では，マルチモーダルVADとマルチモーダル音声認識を組み合わせた音声認識手法を提案する．マルチモーダルVADでは，音声と非音声の識別に隠れマルコフモデル（Hidden Markov Model）を用いるモデルベース法と閾値を用いる非モデルベース法を，また音声情報と画像情報の統合方法として初期統合および結果統合を比較検討した．音響雑音を加えた音声・画像データを用いて音声認識実験を行ったところ，非モデルベース初期統合法がもっとも高い性能を示し，従来の音声認識手法よりも性能が改善した．